Разработка¶
Тесты¶
pip install -e ".[dev]"
pytest # вся пирамида КРОМЕ e2e (e2e скипается без --run-e2e)
pytest --run-e2e # + e2e (локальный stub-сервер; боевой — skip без YAC_E2E_TOKEN)
pytest tests/unit # один уровень по пути
pytest -m smoke # один уровень по маркеру
Тесты не требуют установки токена — HTTP мокается через respx.
Тестовая пирамида¶
Тесты разложены по уровням tests/{unit,integration,smoke,e2e}/; уровень виден из ls, плюс на
каждом файле маркер pytest.mark.<уровень> (запуск и по пути, и по -m).
| Уровень | Что проверяет |
|---|---|
| unit | изолированные модули без сети: реестр (покрытие/дерево) и класс Client |
| integration | связку слоёв через respx-моки: resource↔client↔HTTP, multipart, команды CLI |
| smoke | дымовой прогон CLI без сети: справка, версия, структура групп, чистая ошибка без токена |
| e2e | сквозной прогон настоящего yac без моков (см. ниже) |
e2e¶
e2e по умолчанию пропускается (помечается skip, пока не передан --run-e2e):
tests/e2e/test_local_server.py— гоняет CLI против локального stdlib-сервера через--base-url(реальный сокет, без моков).tests/e2e/test_live_api.py— бьёт в боевойapi-audience.yandex.ru; пропускается без переменнойYAC_E2E_TOKEN.
pytest --run-e2e # локальный stub-сервер
YAC_E2E_TOKEN=... pytest tests/e2e/test_live_api.py --run-e2e # боевой (read-only)
Боевой smoke-прогон: scripts/live_smoke.sh¶
Bash-скрипт, прогоняющий все 28 эндпоинтов через настоящий yac на боевом Yandex Audience API.
Скрипт мутирует боевой аккаунт
live_smoke.sh создаёт и удаляет реальные объекты на вашем аккаунте. Безопасность обеспечена
дизайном: скрипт сам создаёт всё, что трогает (объекты с префиксом SMOKE yac), трекает их
и удаляет в trap EXIT — очистка срабатывает даже при падении. Существующие данные не
затрагиваются. Боевой base-url зашит и пробрасывается явно; токен из .env не может уйти на
чужой хост.
# токен в .env
bash scripts/live_smoke.sh
# ожидаемо: 30 PASS / 0 FAIL, в конце — cleanup всех созданных объектов
# (проверок больше, чем эндпоинтов: часть команд гоняется в нескольких сценариях — см. ниже)
Команды, которым нужен внешний ресурс (Метрика/AppMetrica/ClientId) или зрелый сегмент
(reprocess/modify-data), гоняются с заведомо невалидными/свежими данными и ожидают ошибку
API — это засчитывается как успех (проверяется, что CLI отправил запрос и разобрал ответ).
В CI скрипт не запускается (требует реального токена и квоты записи).
Линтер¶
Форматирование — black, статический анализ —
ruff (оба в группе [dev]):
black yac tests # отформатировать
black --check yac tests # проверка без изменений (как в CI)
ruff check yac tests # линтер (дефолтные правила; E501 — забота black)
В CI оба гоняются гейтом (job lint в .github/workflows/ci.yml) и падают при
несоответствии формата или замечании ruff.
Аудит покрытия: реестр ↔ спека Яндекса¶
tests/test_openapi_coverage.py сверяет реестр с снимком спеки Yandex Audience API
по (метод, нормализованный путь); multipart сверяется как атрибут. Тест offline —
читает закоммиченный снимок tests/data/audience_spec.json и падает на любом расхождении
(новый/удалённый эндпоинт, дрейф multipart), так что рассинхрон с API становится красным тестом.
Снимок добывает scripts/fetch_spec.py (вся сеть — только в нём; справочник Diplodoc, локаль ru).
Обновление — вручную:
python scripts/fetch_spec.py --probe # выверить слаги: по каждому 200|404 + (метод, путь)
python scripts/fetch_spec.py # перезаписать снимок
git diff tests/data/audience_spec.json # пусто → API не дрейфовал
Слаги справочника не выводятся из имени операции (список сегментов = слаг segments, не list)
и машинного оглавления у Diplodoc нет — поэтому карта op → slug задана явно в fetch_spec.py
и выверяется --probe. Еженедельно живую сверку гоняет .github/workflows/spec-audit.yml
(отдельно от CI, неблокирующе).