QA Engineer (AI Agents)

#удаленка #внеРФ #remote #vacancy

QA Engineer (AI Agents) - вне РФ, разговорный английский!

Мы — Aspirity Solution, студия разработки, более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.
Ищем внимательного и системного QA-инженера, который будет отвечать за качество и стабильность AI-агентов.

Обязанности

— Тестирование и оценка работы AI-агентов (диалоговые и когнитивные системы).
— Разработка и проведение eval-тестов для анализа корректности, устойчивости и предсказуемости поведения агентов.
— Подготовка тест-кейсов и сценариев функционального и нефункционального тестирования.
— Анализ поведения агентов при нестандартных входных данных, выявление логических ошибок и погрешностей в промптах.
— Взаимодействие с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
— Поддержка автоматизации тестирования и развитие QA-процессов внутри AI-команды.
— Ведение технической документации.

Требования

— Опыт работы в QA (manual или automation) от 2 лет.
— Опыт тестирования AI-агентов или чат-ботов.
— Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
— Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
— Опыт автоматизированного тестирования агентов (желательно).
— Владение Python на уровне написания тестов и утилитарных скриптов.
— Навыки работы с Git и системами отслеживания ошибок.
— Английский не ниже B2 для коммуникации в международной команде.

— Кандидат должен находиться вне РФ.

— Обязательная доступность в PT-часовом поясе:
присутствие онлайн с 7:00 PT до 16:00 PT.

Будет плюсом

— Опыт работы с LangChain, vapi, Synthflow или другими инструментариями создания AI-агентов.
— Опыт анализа выходов LLM по метрикам качества (accuracy, coherence, relevance).
— Понимание CI/CD-процессов и базовых инструментов мониторинга.
— Опыт участия в построении тестовой архитектуры для AI-систем.

Мы предлагаем

— Удалённый формат работы.
— Работа в команде разработчиков, ML-инженеров и AI-специалистов.
— Возможность развиваться в QA-направлении для систем с LLM и AI-агентами.
— Оплата по квалификации: от 20 USD/час.

📎