Перейти к содержанию

Разработка

Тесты

pip install -e ".[dev]"
pytest                       # вся пирамида КРОМЕ e2e (e2e скипается без --run-e2e)
pytest --run-e2e             # + e2e (локальный stub-сервер; боевой — skip без YAC_E2E_TOKEN)
pytest tests/unit            # один уровень по пути
pytest -m smoke              # один уровень по маркеру

Тесты не требуют установки токена — HTTP мокается через respx.

Тестовая пирамида

Тесты разложены по уровням tests/{unit,integration,smoke,e2e}/; уровень виден из ls, плюс на каждом файле маркер pytest.mark.<уровень> (запуск и по пути, и по -m).

Уровень Что проверяет
unit изолированные модули без сети: реестр (покрытие/дерево) и класс Client
integration связку слоёв через respx-моки: resource↔client↔HTTP, multipart, команды CLI
smoke дымовой прогон CLI без сети: справка, версия, структура групп, чистая ошибка без токена
e2e сквозной прогон настоящего yac без моков (см. ниже)

e2e

e2e по умолчанию пропускается (помечается skip, пока не передан --run-e2e):

  • tests/e2e/test_local_server.py — гоняет CLI против локального stdlib-сервера через --base-url (реальный сокет, без моков).
  • tests/e2e/test_live_api.py — бьёт в боевой api-audience.yandex.ru; пропускается без переменной YAC_E2E_TOKEN.
pytest --run-e2e                         # локальный stub-сервер
YAC_E2E_TOKEN=... pytest tests/e2e/test_live_api.py --run-e2e   # боевой (read-only)

Боевой smoke-прогон: scripts/live_smoke.sh

Bash-скрипт, прогоняющий все 28 эндпоинтов через настоящий yac на боевом Yandex Audience API.

Скрипт мутирует боевой аккаунт

live_smoke.sh создаёт и удаляет реальные объекты на вашем аккаунте. Безопасность обеспечена дизайном: скрипт сам создаёт всё, что трогает (объекты с префиксом SMOKE yac), трекает их и удаляет в trap EXIT — очистка срабатывает даже при падении. Существующие данные не затрагиваются. Боевой base-url зашит и пробрасывается явно; токен из .env не может уйти на чужой хост.

# токен в .env
bash scripts/live_smoke.sh
# ожидаемо: 30 PASS / 0 FAIL, в конце — cleanup всех созданных объектов
# (проверок больше, чем эндпоинтов: часть команд гоняется в нескольких сценариях — см. ниже)

Команды, которым нужен внешний ресурс (Метрика/AppMetrica/ClientId) или зрелый сегмент (reprocess/modify-data), гоняются с заведомо невалидными/свежими данными и ожидают ошибку API — это засчитывается как успех (проверяется, что CLI отправил запрос и разобрал ответ).

В CI скрипт не запускается (требует реального токена и квоты записи).

Линтер

Форматирование — black, статический анализ — ruff (оба в группе [dev]):

black yac tests            # отформатировать
black --check yac tests    # проверка без изменений (как в CI)
ruff check yac tests       # линтер (дефолтные правила; E501 — забота black)

В CI оба гоняются гейтом (job lint в .github/workflows/ci.yml) и падают при несоответствии формата или замечании ruff.

Аудит покрытия: реестр ↔ спека Яндекса

tests/test_openapi_coverage.py сверяет реестр с снимком спеки Yandex Audience API по (метод, нормализованный путь); multipart сверяется как атрибут. Тест offline — читает закоммиченный снимок tests/data/audience_spec.json и падает на любом расхождении (новый/удалённый эндпоинт, дрейф multipart), так что рассинхрон с API становится красным тестом.

Снимок добывает scripts/fetch_spec.py (вся сеть — только в нём; справочник Diplodoc, локаль ru). Обновление — вручную:

python scripts/fetch_spec.py --probe   # выверить слаги: по каждому 200|404 + (метод, путь)
python scripts/fetch_spec.py           # перезаписать снимок
git diff tests/data/audience_spec.json # пусто → API не дрейфовал

Слаги справочника не выводятся из имени операции (список сегментов = слаг segments, не list) и машинного оглавления у Diplodoc нет — поэтому карта op → slug задана явно в fetch_spec.py и выверяется --probe. Еженедельно живую сверку гоняет .github/workflows/spec-audit.yml (отдельно от CI, неблокирующе).