Analyst Developer (AI)

TL;DR

Analyst Developer (AI): Developing and improving Yandex's Neuro LLM technology by formalizing product requirements, analyzing data quality, and enhancing annotation processes. With an accent on quality assessment, RLHF training, and collaboration with ML teams. Focus on designing metrics, fixing LLM bugs, and managing large-scale annotation projects.

Локация: Россия

Компания

Yandex — крупная российская IT-компания, развивающая технологии искусственного интеллекта и поисковые сервисы.

Что делать

• Формализовать продуктовые требования для оценки качества ответов LLM и разметки.
• Измерять и улучшать качество обучения LLM через RLHF совместно с ML-разработчиками.
• Проводить глубокий анализ качества разметки, создавать и поддерживать эталонные сеты (голденсеты).
• Развивать проекты в Yandex Crowd: набирать, обучать и контролировать исполнителей разметки.
• Разрабатывать инструменты и дашборды для мониторинга производительности и качества разметки.

Требования

• Локация: Россия
• Уверенное владение Python и знание алгоритмов.
• Знание математической статистики и опыт проверки гипотез.
• Опыт работы с данными и аналитикой.

Хорошо, если есть

• Интерес к продукту и понимание его целей.
• Навыки коммуникации и убеждения коллег.
• Опыт работы с SQL и табличными данными.
• Знакомство с крауд-проектами, например, Яндекс Толока.
• Базовые знания машинного обучения.

Культура и преимущества

• Расширенная медицинская страховка с первого месяца, включая стоматологию и лечение за рубежом.
• Психотерапия, лазерная коррекция зрения, ведение беременности и роды.
• Страховка для родственников по системе 80/20.
• Внутренняя образовательная платформа, менторство и оплата участия в конференциях.
• Спортзалы и спортивные клубы в офисах, скидки на фитнес и активный образ жизни.
• Гибкий график без фиксированного начала и конца рабочего дня.
• Льготные жилищные займы для сотрудников в российских офисах.
• Поддержка семейных программ и детские мероприятия.