description

Описание вакансии

#вакансия #remote #qa #ai #внеРФ

QA Engineer (AI Agents)

Мы — Aspirity Solution, студия разработки, уже более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.
Сейчас мы ищем внимательного и системного QA-инженера, который поможет обеспечить стабильность и качество работы AI-агентов.

Задачи

- Тестировать и оценивать работу AI-агентов (диалоговых и когнитивных систем).

- Разрабатывать и проводить eval-тесты (оценки корректности и устойчивости поведения агентов).

- Писать тест-кейсы и сценарии для функционального и не-функционального тестирования.

- Анализировать поведение агентов при нестандартных входных данных, выявлять ошибки в логике и промптах.

- Взаимодействовать с командой разработчиков и prompt-инженеров для улучшения моделей и тестовых пайплайнов.

- Поддерживать автоматизацию тестирования и документацию по процессам QA для AI-проектов.

Требования

- Опыт работы в QA (manual или automation) от 2 лет.

- Понимание принципов AI-агентов, LLM-систем, prompt-инженерии.

- Опыт работы с eval-фреймворками (например, OpenAI Evals, DeepEval, LangChain Evals или аналогами).

- Владение Python на уровне написания тестов и простых скриптов.

- Навыки работы с Git и системами отслеживания ошибок.

- Владение английским не ниже B2 — рабочая коммуникация внутри международной команды.

Будет плюсом

Опыт автоматизированного тестирования AI-агентов или чат-ботов.

Опыт работы с LangChain, vapi, synthflow или другими инструментами построения агентов.

Опыт анализа LLM-ответов по метрикам качества (accuracy, coherence, relevance).

Понимание CI/CD-процессов и инструментов мониторинга.

Мы предлагаем:

Удалённый формат работы и гибкий график.

Команду инженеров и AI-специалистов, работающих на стыке технологий и продуктового качества.

Возможность развиваться в области QA для LLM-агентов и AI-систем.

Оплата по уровню квалификации (от $20/час).

📎 контакты для связи:

tips_and_updates

Как откликнуться эффективно