AQA-инженер по тестированию AI-агентов
Сигналы объявления: 1 из 3
Это счётчик доступных сигналов, а не рейтинг безопасности работодателя. Нет данных по 2 из 3 проверок.
- Источник «Работа России»: нет данных — Нет подтверждённых данных об этом объявлении на государственной площадке.
- Проверка hh.ru: нет данных — Подтверждённый флаг employer.trusted от hh.ru не получен.
- Свежесть публикации: есть сигнал — С даты публикации прошло 1 дн. Порог сигнала — 30 дней; обновление даты не доказывает наличие свободного места.
Сопоставьте ИНН, юридическое название и условия договора. Даже свежая вакансия проверенной площадки требует проверки перед откликом.
Как проверить работодателя →✍ Составить сопроводительное письмо
Письмо хранится только в вашем браузере. Проверьте название компании перед отправкой — чужое имя в письме читается как массовая рассылка.
Опыт и подпись возьмутся из вашего мини-резюме.
Пожаловаться на подозрительную вакансию
Опишите конкретные признаки обмана. Не указывайте паспортные данные, номера карт или чужие контакты. После трёх учтённых жалоб объявление скрывается до проверки; это не доказательство мошенничества.
Правотех создает продукты для юристов. Мы развиваем наш продукт — Право(Агент), который передаёт юридическую работу AI-агентам. Команда небольшая и быстрая: изменения в агентах выходят каждый день, и мы ищем инженера, который возьмёт качество агентов в свои руки.
Пожалуйста, в своем сопроводительном кратко укажите свой опыт в тестировании AI-агентов AI-агентами — этот опыт обязателен для нашей вакансии.
Чем предстоит заниматься
- Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза.
- Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.
- Проверять ответы модели с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.
- Тестировать RAG: качество поиска, точность ссылок, соответствие ответа источникам.
- Разбирать трейсы в Langfuse и телеметрию: где ошибся агент, сколько стоил и сколько длился каждый шаг.
- Готовить короткие отчёты: что сломалось, кто чинит, как сделать агента быстрее и дешевле.
- Писать автотесты API и UI, вести регрессию в CI, заводить баг-репорты.
Что для нас важно
- От 3 лет опыта в AQA или backend-разработке на Python.
- От года практики с LLM-агентами или LLM-приложениями: тестирование или разработка агентных систем.
- Опыт LLM-as-a-judge и оценки RAG.
- Langfuse или аналоги (LangSmith, Phoenix, OpenTelemetry): трейсы, датасеты, подсчёт токенов и стоимости.
- Python, pytest, автотесты API и UI (Playwright или аналог), Docker, CI.
- Понимание устройства агентов: вызовы инструментов, контекст, кэш промпта, reasoning-токены.
- Самостоятельность и скорость: вы сами замечаете изменение, тестируете его и приносите отчёт.
Будет плюсом
- Опыт backend-разработки на Python.
- Понимание архитектуры гибридного RAG.
- Pet-проекты с агентными системами.
- Профильное IT-образование.