Работа с непитоновскими тестами¶
Базовый пример указания тестов в файлах Yaml¶
Вот пример conftest.py (извлеченный из плагина специального назначения Али Афшара pytest-yamlwsgi). Этот conftest.py будет собирать test*.yaml файлы и выполнять содержимое в формате yaml в качестве пользовательских тестов:
# content of conftest.py
import pytest
def pytest_collect_file(parent, file_path):
if file_path.suffix == ".yaml" and file_path.name.startswith("test"):
return YamlFile.from_parent(parent, path=file_path)
class YamlFile(pytest.File):
def collect(self):
# We need a yaml parser, e.g. PyYAML.
import yaml
raw = yaml.safe_load(self.path.open())
for name, spec in sorted(raw.items()):
yield YamlItem.from_parent(self, name=name, spec=spec)
class YamlItem(pytest.Item):
def __init__(self, *, spec, **kwargs):
super().__init__(**kwargs)
self.spec = spec
def runtest(self):
for name, value in sorted(self.spec.items()):
# Some custom test execution (dumb example follows).
if name != value:
raise YamlException(self, name, value)
def repr_failure(self, excinfo):
"""Called when self.runtest() raises an exception."""
if isinstance(excinfo.value, YamlException):
return "\n".join(
[
"usecase execution failed",
" spec failed: {1!r}: {2!r}".format(*excinfo.value.args),
" no further details known at this point.",
]
)
def reportinfo(self):
return self.path, 0, f"usecase: {self.name}"
class YamlException(Exception):
"""Custom exception for error reporting."""
Вы можете создать простой пример файла:
# test_simple.yaml
ok:
sub1: sub1
hello:
world: world
some: other
и если вы установили PyYAML или совместимый YAML-парсер, то теперь вы можете выполнить спецификацию теста:
nonpython $ pytest test_simple.yaml
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-7.x.y, pluggy-1.x.y
rootdir: /home/sweet/project/nonpython
collected 2 items
test_simple.yaml F. [100%]
================================= FAILURES =================================
______________________________ usecase: hello ______________________________
usecase execution failed
spec failed: 'some': 'other'
no further details known at this point.
========================= short test summary info ==========================
FAILED test_simple.yaml::hello
======================= 1 failed, 1 passed in 0.12s ========================
Вы получаете одну точку при прохождении проверки sub1: sub1 и один провал. Очевидно, что в приведенном выше conftest.py вы захотите реализовать более интересную интерпретацию yaml-значений. Таким образом можно легко написать свой собственный язык тестирования для конкретного домена.
Примечание
repr_failure(excinfo) вызывается для представления ошибок тестирования. Если вы создадите пользовательские узлы коллекции, вы можете вернуть строку представления ошибки по вашему выбору. Она будет представлена в виде (красной) строки.
reportinfo() используется для представления места тестирования и также используется при составлении отчета в режиме verbose:
nonpython $ pytest -v
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-7.x.y, pluggy-1.x.y -- $PYTHON_PREFIX/bin/python
cachedir: .pytest_cache
rootdir: /home/sweet/project/nonpython
collecting ... collected 2 items
test_simple.yaml::hello FAILED [ 50%]
test_simple.yaml::ok PASSED [100%]
================================= FAILURES =================================
______________________________ usecase: hello ______________________________
usecase execution failed
spec failed: 'some': 'other'
no further details known at this point.
========================= short test summary info ==========================
FAILED test_simple.yaml::hello
======================= 1 failed, 1 passed in 0.12s ========================
При разработке коллекции и выполнении пользовательских тестов также интересно просто посмотреть на дерево коллекции:
nonpython $ pytest --collect-only
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-7.x.y, pluggy-1.x.y
rootdir: /home/sweet/project/nonpython
collected 2 items
<Package nonpython>
<YamlFile test_simple.yaml>
<YamlItem hello>
<YamlItem ok>
======================== 2 tests collected in 0.12s ========================