Инструментирование CPython с помощью DTrace и SystemTap¶

автор: Дэвид Малкольм
автор: Лукаш Ланга

DTrace и SystemTap - это инструменты мониторинга, каждый из которых предоставляет возможность проверить, что делают процессы в компьютерной системе. Оба они используют специфические языки, позволяющие пользователю писать скрипты:

фильтровать, какие процессы необходимо наблюдать

собирать данные по интересующим процессам

генерировать отчеты по полученным данным

Начиная с Python 3.6, CPython может быть построен со встроенными «маркерами», также известными как «зонды», которые могут быть замечены сценарием DTrace или SystemTap, что облегчает мониторинг того, что делают процессы CPython в системе.

CPython implementation detail: Маркеры DTrace - это детали реализации интерпретатора CPython. Никаких гарантий совместимости маркеров между версиями CPython не дается. Скрипты DTrace могут перестать работать или работать некорректно без предупреждения при смене версии CPython.

Включение статических маркеров¶

macOS поставляется со встроенной поддержкой DTrace. В Linux, чтобы собрать CPython со встроенными маркерами для SystemTap, необходимо установить средства разработки SystemTap.

На машине Linux это можно сделать через:

$ yum install systemtap-sdt-devel

или:

$ sudo apt-get install systemtap-sdt-dev

После этого CPython должен быть configured with the --with-dtrace option:

checking for --with-dtrace... yes

В macOS список доступных зондов DTrace можно получить, запустив процесс Python в фоновом режиме и перечислив все зонды, доступные провайдеру Python:

$ python3.6 -q &
$ sudo dtrace -l -P python$!  # or: dtrace -l -m python3.6

   ID   PROVIDER            MODULE                          FUNCTION NAME
python18035        python3.6          _PyEval_EvalFrameDefault function-entry
python18035        python3.6             dtrace_function_entry function-entry
python18035        python3.6          _PyEval_EvalFrameDefault function-return
python18035        python3.6            dtrace_function_return function-return
python18035        python3.6                           collect gc-done
python18035        python3.6                           collect gc-start
python18035        python3.6          _PyEval_EvalFrameDefault line
python18035        python3.6                 maybe_dtrace_line line

В Linux вы можете проверить наличие статических маркеров SystemTap в собранном бинарном файле, посмотрев, содержит ли он секцию «.note.stapsdt».

$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt        NOTE         0000000000000000 00308d78

Если вы собрали Python как разделяемую библиотеку (с опцией --enable-shared configure), вам нужно искать в разделяемой библиотеке. Например:

$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt        NOTE         0000000000000000 00365b68

Достаточно современный readelf может печатать метаданные:

$ readelf -n ./python

Displaying notes found at file offset 0x00000254 with length 0x00000020:
    Owner                 Data size          Description
    GNU                  0x00000010          NT_GNU_ABI_TAG (ABI version tag)
        OS: Linux, ABI: 2.6.32

Displaying notes found at file offset 0x00000274 with length 0x00000024:
    Owner                 Data size          Description
    GNU                  0x00000014          NT_GNU_BUILD_ID (unique build ID bitstring)
        Build ID: df924a2b08a7e89f6e11251d4602022977af2670

Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
    Owner                 Data size          Description
    stapsdt              0x00000031          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__start
        Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
        Arguments: -4@%ebx
    stapsdt              0x00000030          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__done
        Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
        Arguments: -8@%rax
    stapsdt              0x00000045          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__entry
        Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
        Arguments: 8@%rbp 8@%r12 -4@%eax
    stapsdt              0x00000046          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__return
        Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
        Arguments: 8@%rbp 8@%r12 -4@%eax

Приведенные выше метаданные содержат информацию для SystemTap, описывающую, как он может исправлять стратегически расположенные инструкции машинного кода, чтобы включить крючки трассировки, используемые сценарием SystemTap.

Статические зонды DTrace¶

Следующий пример сценария DTrace можно использовать для отображения иерархии вызовов/возвратов сценария Python, отслеживая только вызов функции под названием «start». Другими словами, вызовы функций времени импорта не будут перечислены:

self int indent;

python$target:::function-entry
/copyinstr(arg1) == "start"/
{
        self->trace = 1;
}

python$target:::function-entry
/self->trace/
{
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
        self->indent++;
}

python$target:::function-return
/self->trace/
{
        self->indent--;
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}

python$target:::function-return
/copyinstr(arg1) == "start"/
{
        self->trace = 0;
}

Его можно вызвать следующим образом:

$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"

Выходные данные выглядят следующим образом:

156641360502280  function-entry:call_stack.py:start:23
156641360518804  function-entry: call_stack.py:function_1:1
156641360532797  function-entry:  call_stack.py:function_3:9
156641360546807 function-return:  call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365  function-entry: call_stack.py:function_2:5
156641360591757  function-entry:  call_stack.py:function_1:1
156641360605556  function-entry:   call_stack.py:function_3:9
156641360617482 function-return:   call_stack.py:function_3:10
156641360629814 function-return:  call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770  function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853  function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640  function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28

Статические маркеры SystemTap¶

Низкоуровневый способ использования интеграции SystemTap заключается в непосредственном использовании статических маркеров. Для этого необходимо явно указать двоичный файл, содержащий их.

Например, этот сценарий SystemTap можно использовать для отображения иерархии вызовов/возвратов сценария Python:

probe process("python").mark("function__entry") {
     filename = user_string($arg1);
     funcname = user_string($arg2);
     lineno = $arg3;

     printf("%s => %s in %s:%d\\n",
            thread_indent(1), funcname, filename, lineno);
}

probe process("python").mark("function__return") {
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;

    printf("%s <= %s in %s:%d\\n",
           thread_indent(-1), funcname, filename, lineno);
}

Его можно вызвать следующим образом:

$ stap \
  show-call-hierarchy.stp \
  -c "./python test.py"

Выходные данные выглядят следующим образом:

python(8274):        => __contains__ in Lib/_abcoll.py:362
python(8274):         => __getitem__ in Lib/os.py:425
python(8274):          => encode in Lib/os.py:490
python(8274):          <= encode in Lib/os.py:493
python(8274):         <= __getitem__ in Lib/os.py:426
python(8274):        <= __contains__ in Lib/_abcoll.py:366

где находятся колонны:

время в микросекундах с момента запуска скрипта

имя исполняемого файла

ПИД процесса

а остальная часть указывает на иерархию вызовов/возвратов по мере выполнения сценария.

Для сборки CPython --enable-shared маркеры содержатся в общей библиотеке libpython, и точечный путь пробника должен отражать это. Например, эта строка из приведенного выше примера:

probe process("python").mark("function__entry") {

следует читать:

probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {

(предполагается наличие debug build CPython 3.6)

Доступные статические маркеры¶

function__entry(str filename, str funcname, int lineno)

Этот маркер указывает на то, что началось выполнение функции Python. Он срабатывает только для функций чистого Python (байткода).

Имя файла, имя функции и номер строки передаются обратно сценарию трассировки в качестве позиционных аргументов, доступ к которым должен осуществляться с помощью $arg1, $arg2, $arg3:

$arg1 : (const char *) имя файла, доступное с помощью user_string($arg1)

$arg2 : (const char *) имя функции, доступное с помощью user_string($arg2)

$arg3 : int номер строки

function__return(str filename, str funcname, int lineno)

Этот маркер является обратным function__entry() и указывает на то, что выполнение функции Python завершилось (либо через return, либо через исключение). Он срабатывает только для функций чистого Python (байткода).

Аргументы те же, что и для function__entry().

line(str filename, str funcname, int lineno)

Этот маркер указывает на то, что строка Python вот-вот будет выполнена. Это эквивалент построчной трассировки в профайлере Python. Он не срабатывает в функциях языка C.

Аргументы те же, что и для function__entry().

gc__start(int generation): Срабатывает, когда интерпретатор Python начинает цикл сборки мусора. arg0 - это поколение для сканирования, как и gc.collect().

gc__done(long collected): Выполняется, когда интерпретатор Python завершает цикл сборки мусора. arg0 - количество собранных объектов.

import__find__load__start(str modulename): Срабатывает перед тем, как importlib попытается найти и загрузить модуль. arg0 - это имя модуля.

Добавлено в версии 3.7.

import__find__load__done(str modulename, int found): Срабатывает после вызова функции find_and_load модуля importlib. arg0 - это имя модуля, arg1 указывает, был ли модуль успешно загружен.

Добавлено в версии 3.7.

audit(str event, void *tuple): Срабатывает при вызове sys.audit() или PySys_Audit(). arg0 - имя события в виде строки C, arg1 - указатель PyObject на объект кортежа.

Добавлено в версии 3.8.

Краны SystemTap¶

Более высокоуровневый способ использования интеграции SystemTap - это использование «tapset»: эквивалент библиотеки SystemTap, который скрывает некоторые детали нижнего уровня статических маркеров.

Вот файл tapset, основанный на не разделяемой сборке CPython:

/*
   Provide a higher-level wrapping around the function__entry and
   function__return markers:
 \*/
probe python.function.entry = process("python").mark("function__entry")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}

Если этот файл установлен в каталоге tapset SystemTap (например, /usr/share/systemtap/tapset), то эти дополнительные пробные точки становятся доступными:

python.function.entry(str filename, str funcname, int lineno, frameptr): Эта точка зондирования указывает на то, что началось выполнение функции Python. Она срабатывает только для функций чистого Python (байткода).

python.function.return(str filename, str funcname, int lineno, frameptr): Эта точка зондирования обратна python.function.return и указывает на то, что выполнение функции Python завершилось (либо через return, либо через исключение). Она срабатывает только для функций чистого Python (байткода).

Примеры¶

Этот скрипт SystemTap использует приведенный выше набор метчиков для более чистой реализации приведенного выше примера отслеживания иерархии вызовов функций Python, без необходимости прямого именования статических маркеров:

probe python.function.entry
{
  printf("%s => %s in %s:%d\n",
         thread_indent(1), funcname, filename, lineno);
}

probe python.function.return
{
  printf("%s <= %s in %s:%d\n",
         thread_indent(-1), funcname, filename, lineno);
}

Следующий сценарий использует приведенный выше набор для получения вида сверху всего выполняемого кода CPython, показывая 20 наиболее часто вводимых кадров байткода, каждую секунду, по всей системе:

global fn_calls;

probe python.function.entry
{
    fn_calls[pid(), filename, funcname, lineno] += 1;
}

probe timer.ms(1000) {
    printf("\033[2J\033[1;1H") /* clear screen \*/
    printf("%6s %80s %6s %30s %6s\n",
           "PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
    foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
        printf("%6d %80s %6d %30s %6d\n",
            pid, filename, lineno, funcname,
            fn_calls[pid, filename, funcname, lineno]);
    }
    delete fn_calls;
}

Аргументационная клиника как-никак

Лучшие методы работы с аннотациями

Вернуться на верх

Инструментирование CPython с помощью DTrace и SystemTap¶

Включение статических маркеров¶

Статические зонды DTrace¶

Статические маркеры SystemTap¶

Доступные статические маркеры¶

Краны SystemTap¶

Примеры¶

Python 3.10

Содержание

Дополнительно

Вы здесь: