Analyst Developer AliceAI (Education)

TL;DR

Аналитик-разработчик AliceAI (AI, Образование): Разработка и создание метрик качества для большой языковой модели Алисы с акцентом на образовательный сегмент, анализ проблемных срезов и сбор данных для обучения моделей. Фокус на формулировании критериев, экспериментировании с подходами оценки качества и поиске проблемных областей в ответах модели.

Локация: Работа в российских офисах Яндекса.

Компания

Yandex — это крупная продуктовая компания, занимающаяся развитием большой языковой модели Alice AI, стремящаяся сделать её ведущим ассистентом в России.

Что делать

• Создавать стабильные метрики качества для оценки модели, экспериментируя с различными подходами (бенчмарки, LLM-as-a-judge, краудсорсинг).
• Проактивно искать проблемные срезы модели и совместно с командой разработки придумывать планы решений.
• Готовить данные для обучения моделей и оценивать эффективность внесенных изменений.
• Искать качественные источники инстрактов для обучения и валидации, а также контролировать соблюдение критериев эталонных ответов.

Требования

• Опыт работы над метриками в ML.
• Уверенное владение SQL и Python.
• Опыт анализа текстовых данных и построения эффективных процессов их обработки.
• Знание теории вероятностей и математической статистики.
• Самостоятельность и готовность браться за новые задачи, для которых нет готового решения.
• Интерес к развитию LLM.

Хорошо, если есть

• Опыт работы с LLM.
• Опыт работы с Толокой или другими краудсорс-платформами.

Культура и преимущества

• Расширенная медицинская страховка (стоматология, чекапы, неотложная помощь за рубежом, лечение критических заболеваний) с первого месяца работы.
• Психотерапия в офисе или онлайн-сервисах, лазерная коррекция зрения (через год работы), ведение беременности и роды (через два года).
• Мы оплачиваем 80% стоимости ДМС для детей и супругов.
• Внутренняя образовательная платформа, менторство, оплата участия в профильных конференциях.
• Спортзалы во всех крупных офисах, скидки в фитнес-клубах, спортивный клуб Яндекса.
• Гибкий график работы.
• Льготные жилищные займы для сотрудников, работающих в российских офисах Яндекса.
• Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.