Analyst-Developer (AI, LLM)

TL;DR

Аналитик-разработчик (AI, LLM): Создание правил и метрик для детекции качества ответов приложения Yandex AI, а также разработка систем LLM-as-Judge и управление краудсорс-проектами по разметке данных. Фокус на проектировании методологий оценки, обеспечении надёжного хранения и обработки больших объёмов данных разметки и интеграции автоматизированных методов оценки качества.

Локация: Требуется работать в российских офисах Яндекса.

Компания

Yandex AI — это продукт Яндекса, ориентированный на создание интеллектуального помощника нового поколения, способного решать задачи пользователя на месте, без необходимости переходить куда-либо.

Что делать

• Управлять редакторами и системой качества в краудсорс-проекте, обеспечивая выполнение плана по разметке.
• Проектировать и внедрять методологии оценки, разрабатывать инструменты контроля качества и системы измерения эффективности исполнителей.
• Обеспечивать надёжное хранение, обработку и доступность данных разметки, включая ETL-процессы.
• Развивать системы LLM-as-Judge, оценивать их надёжность и интегрировать получаемые сигналы в процессы дообучения моделей.

Требования

• Писать на Python и SQL.
• Знать математическую статистику и теорию вероятностей.
• Любить работать с данными и уметь извлекать из них практический результат.
• Уметь эффективно общаться в команде, ясно излагать мысли и убеждать коллег.
• Быть готовым разбираться в том, как и почему должен работать продукт.

Хорошо, если есть

• Опыт работы с Толокой или другими краудсорс-платформами.
• Опыт написания инструкций и самостоятельного запуска проектов разметки данных.
• Знание принципов функционирования и разработки LLM.
• Продвинутые навыки промпт-инжиниринга.

Культура и преимущества

• Расширенная медицинская страховка (ДМС) с первого месяца, включающая стоматологию, чекапы и неотложную помощь за рубежом.
• Страхование для детей и супругов по системе 80/20.
• Возможности для роста и развития: внутренняя образовательная платформа, менторство, оплата участия в профильных конференциях.
• Спортзалы во всех крупных офисах, корпоративные тренеры и скидки в фитнес-клубы, а также спортивный клуб Яндекса.
• Гибкий график работы без фиксированного начала и конца рабочего дня.
• Льготные жилищные займы для сотрудников, работающих в российских офисах Яндекса.
• Полный пакет поддержки для семей с детьми: страхование, детские дни в офисе, подарки и чекапы.