Инструментирование CPython с помощью DTrace и SystemTap¶
- автор:
Дэвид Малкольм
- автор:
Лукаш Ланга
DTrace и SystemTap - это инструменты мониторинга, каждый из которых предоставляет возможность проверить, что делают процессы в компьютерной системе. Они оба используют языки, зависящие от предметной области, позволяющие пользователю писать сценарии, которые:
отфильтруйте, за какими процессами следует наблюдать
собирайте данные о процессах, представляющих интерес
создавайте отчеты на основе полученных данных
Начиная с версии Python 3.6, CPython может быть построен со встроенными «маркерами», также известными как «зонды», которые могут наблюдаться с помощью скрипта DTrace или SystemTap, что упрощает мониторинг того, что делают процессы CPython в системе.
Детали реализации CPython: Маркеры DTrace - это детали реализации интерпретатора CPython. Мы не даем никаких гарантий относительно проверки совместимости между версиями Python. Скрипты DTrace могут перестать работать или работать некорректно без предупреждения при изменении версий CPython.
Включение статических маркеров¶
В macOS предусмотрена встроенная поддержка DTrace. В Linux для сборки CPython со встроенными маркерами для SystemTap необходимо установить средства разработки SystemTap.
На компьютере с Linux это можно сделать с помощью:
$ yum install systemtap-sdt-devel
или:
$ sudo apt-get install systemtap-sdt-dev
Тогда значение CPython должно быть configured with the --with-dtrace option
:
checking for --with-dtrace... yes
В macOS вы можете составить список доступных зондов DTrace, запустив процесс Python в фоновом режиме и перечислив все зонды, доступные поставщиком Python:
$ python3.6 -q &
$ sudo dtrace -l -P python$! # or: dtrace -l -m python3.6
ID PROVIDER MODULE FUNCTION NAME
29564 python18035 python3.6 _PyEval_EvalFrameDefault function-entry
29565 python18035 python3.6 dtrace_function_entry function-entry
29566 python18035 python3.6 _PyEval_EvalFrameDefault function-return
29567 python18035 python3.6 dtrace_function_return function-return
29568 python18035 python3.6 collect gc-done
29569 python18035 python3.6 collect gc-start
29570 python18035 python3.6 _PyEval_EvalFrameDefault line
29571 python18035 python3.6 maybe_dtrace_line line
В Linux вы можете проверить, присутствуют ли статические маркеры SystemTap во встроенном двоичном файле, посмотрев, содержит ли он раздел «.примечание.stapsdt».
$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt NOTE 0000000000000000 00308d78
Если вы создали Python как общую библиотеку (с параметром --enable-shared
configure), вам нужно вместо этого поискать в общей библиотеке. Например:
$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt NOTE 0000000000000000 00365b68
Достаточно современный readelf может печатать метаданные:
$ readelf -n ./python
Displaying notes found at file offset 0x00000254 with length 0x00000020:
Owner Data size Description
GNU 0x00000010 NT_GNU_ABI_TAG (ABI version tag)
OS: Linux, ABI: 2.6.32
Displaying notes found at file offset 0x00000274 with length 0x00000024:
Owner Data size Description
GNU 0x00000014 NT_GNU_BUILD_ID (unique build ID bitstring)
Build ID: df924a2b08a7e89f6e11251d4602022977af2670
Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
Owner Data size Description
stapsdt 0x00000031 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__start
Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
Arguments: -4@%ebx
stapsdt 0x00000030 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__done
Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
Arguments: -8@%rax
stapsdt 0x00000045 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__entry
Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
Arguments: 8@%rbp 8@%r12 -4@%eax
stapsdt 0x00000046 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__return
Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
Arguments: 8@%rbp 8@%r12 -4@%eax
Приведенные выше метаданные содержат информацию для SystemTap, описывающую, как она может исправлять стратегически расположенные инструкции машинного кода, чтобы включить перехватчики трассировки, используемые сценарием SystemTap.
Статические датчики DTrace¶
Следующий пример сценария DTrace может быть использован для отображения иерархии вызовов и возвратов скрипта на Python, отслеживающего только вызов функции с именем «start». Другими словами, вызовы функций во время импорта не будут отображаться в списке:
self int indent;
python$target:::function-entry
/copyinstr(arg1) == "start"/
{
self->trace = 1;
}
python$target:::function-entry
/self->trace/
{
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
self->indent++;
}
python$target:::function-return
/self->trace/
{
self->indent--;
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}
python$target:::function-return
/copyinstr(arg1) == "start"/
{
self->trace = 0;
}
Он может быть вызван следующим образом:
$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"
Результат выглядит следующим образом:
156641360502280 function-entry:call_stack.py:start:23
156641360518804 function-entry: call_stack.py:function_1:1
156641360532797 function-entry: call_stack.py:function_3:9
156641360546807 function-return: call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365 function-entry: call_stack.py:function_2:5
156641360591757 function-entry: call_stack.py:function_1:1
156641360605556 function-entry: call_stack.py:function_3:9
156641360617482 function-return: call_stack.py:function_3:10
156641360629814 function-return: call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770 function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853 function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640 function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28
Статические системные маркеры привязки¶
Низкоуровневый способ использования интеграции SystemTap заключается в непосредственном использовании статических маркеров. Для этого необходимо явно указать двоичный файл, содержащий их.
Например, этот скрипт SystemTap можно использовать для отображения иерархии вызовов/возвратов скрипта на Python:
probe process("python").mark("function__entry") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s => %s in %s:%d\\n",
thread_indent(1), funcname, filename, lineno);
}
probe process("python").mark("function__return") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s <= %s in %s:%d\\n",
thread_indent(-1), funcname, filename, lineno);
}
Он может быть вызван следующим образом:
$ stap \
show-call-hierarchy.stp \
-c "./python test.py"
Результат выглядит следующим образом:
11408 python(8274): => __contains__ in Lib/_abcoll.py:362
11414 python(8274): => __getitem__ in Lib/os.py:425
11418 python(8274): => encode in Lib/os.py:490
11424 python(8274): <= encode in Lib/os.py:493
11428 python(8274): <= __getitem__ in Lib/os.py:426
11433 python(8274): <= __contains__ in Lib/_abcoll.py:366
где находятся столбцы:
время в микросекундах с момента запуска скрипта
имя исполняемого файла
PID процесса
а оставшаяся часть указывает иерархию вызова/возврата по мере выполнения скрипта.
Для сборки --enable-shared
на CPython маркеры содержатся в общей библиотеке lib python, и пунктирный путь зонда должен отражать это. Например, эта строка из приведенного выше примера:
probe process("python").mark("function__entry") {
вместо этого следует прочитать:
probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {
(предполагая debug build из CPython 3.6)
Доступные статические маркеры¶
- function__entry(str filename, str funcname, int lineno)
Этот маркер указывает на то, что началось выполнение функции Python. Он запускается только для функций, основанных на чистом Python (байт-коде).
Имя файла, название функции и номер строки передаются обратно в сценарий трассировки в качестве позиционных аргументов, доступ к которым должен осуществляться с помощью
$arg1
,$arg2
,$arg3
:$arg1
:(const char *)
имя файла, доступное с помощьюuser_string($arg1)
$arg2
:(const char *)
название функции, доступное с помощьюuser_string($arg2)
$arg3
:int
номер строки
- function__return(str filename, str funcname, int lineno)
Этот маркер является обратным
function__entry()
и указывает на то, что выполнение функции Python завершилось (либо с помощьюreturn
, либо с помощью исключения). Он запускается только для функций, основанных на чистом Python (байт-коде).Аргументы те же, что и для
function__entry()
- line(str filename, str funcname, int lineno)
Этот маркер указывает на то, что строка Python вот-вот будет выполнена. Это эквивалентно построчной трассировке с помощью профилировщика Python. Он не запускается в функциях C.
Аргументы те же, что и для
function__entry()
.
- gc__start(int generation)
Срабатывает, когда интерпретатор Python запускает цикл сборки мусора.
arg0
- это генерация для сканирования, подобнаяgc.collect()
.
- gc__done(long collected)
Срабатывает, когда интерпретатор Python завершает цикл сборки мусора.
arg0
- это количество собранных объектов.
- import__find__load__start(str modulename)
Срабатывает до того, как
importlib
попытается найти и загрузить модуль.arg0
- это имя модуля.Добавлено в версии 3.7.
- import__find__load__done(str modulename, int found)
Запускается после вызова функции find_and_load от
importlib
.arg0
- это имя модуля,arg1
указывает, был ли модуль успешно загружен.Добавлено в версии 3.7.
- audit(str event, void *tuple)
Срабатывает при вызове
sys.audit()
илиPySys_Audit()
.arg0
- это строка asC имени события,arg1
- этоPyObject
указатель на объект кортежа.Добавлено в версии 3.8.
Наборы отводов SystemTap¶
Более высокоуровневый способ использования интеграции SystemTap заключается в использовании «tapset»: эквивалента библиотеки SystemTap, который скрывает некоторые детали статических маркеров более низкого уровня.
Вот файл tapset, основанный на общей сборке CPython:
/*
Provide a higher-level wrapping around the function__entry and
function__return markers:
\*/
probe python.function.entry = process("python").mark("function__entry")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
Если этот файл установлен в каталоге Systemtap tapset (например, /usr/share/systemtap/tapset
), то эти дополнительные точки проверки становятся доступными:
- python.function.entry(str filename, str funcname, int lineno, frameptr)
Эта контрольная точка указывает на то, что началось выполнение функции Python. Она запускается только для функций, основанных на чистом Python (байт-коде).
- python.function.return(str filename, str funcname, int lineno, frameptr)
Эта контрольная точка является обратным значением для
python.function.return
и указывает на то, что выполнение функции Python завершилось (либо с помощьюreturn
, либо с помощью исключения). Она запускается только для функций, основанных на чистом Python (байт-коде).
Примеры¶
Этот скрипт SystemTap использует описанный выше tapset для более четкой реализации приведенного выше примера трассировки иерархии вызовов функций Python без необходимости напрямую присваивать статическим маркерам имена:
probe python.function.entry
{
printf("%s => %s in %s:%d\n",
thread_indent(1), funcname, filename, lineno);
}
probe python.function.return
{
printf("%s <= %s in %s:%d\n",
thread_indent(-1), funcname, filename, lineno);
}
Следующий скрипт использует приведенный выше набор нажатий, чтобы обеспечить представление всего запущенного кода CPython в виде вершины, отображая 20 наиболее часто вводимых кадров байт-кода каждую секунду по всей системе:
global fn_calls;
probe python.function.entry
{
fn_calls[pid(), filename, funcname, lineno] += 1;
}
probe timer.ms(1000) {
printf("\033[2J\033[1;1H") /* clear screen \*/
printf("%6s %80s %6s %30s %6s\n",
"PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
printf("%6d %80s %6d %30s %6d\n",
pid, filename, lineno, funcname,
fn_calls[pid, filename, funcname, lineno]);
}
delete fn_calls;
}