AI-инженер по голосовым технологиям

#AI #LLM #embeddings #consulting #reactnative #вакансия

AI-инженер по голосовым технологиям (React Native проект)
💰 Оплата: 180 000 –250 000 ₽

О компании
Мы — аккредитованная ИТ-компания Октема (), работаем над федеральным цифровым проектом.
Ищем разработчика с глубокими знаниями и опытом работы с технологиями распознавания речи и синтеза голоса для проекта на платформе React Native. Основные требования включают работу с моделями машинного обучения, такими как Vosk, Embedding Gemma, Piper/VITS tts ONNX

Задача
Голосовой ассистент
1. пользователь вызывает ассистента
2. озвучивает команды «записи» в приложение

Сервис должен работать в офлайн режиме

Примеры диалога ассистента и пользователя:
Пользователь: найди объект N и добавь по нему в журнал новую запись
Ассистент: объект N найден, озвучьте информацию для ввода в журнал
Пользователь: Объект осмотрел, состояние такое-то, наблюдаются такие-то проблемы
Ассистент: В журнал добавлена следующая запись (проговаривает тот же текст, что озвучил пользователь)

Используемые AI модели
Изначально на распознавание внедрили Vosk, но в ее офлайн модели были ошибки
Поэтому заменили на Sherpa-ONNX

Для синтеза речи изначально были использованы встроенные библиотеки от от Android и IOS
Но не устроила "роботизированность" голоса
Поэтому сейчас тестируем Piper, к нему тоже есть нарекания

Нужен инженер с опытом работы с указанными моделями

Требования
- Интегрировать LLM / Embeddings / AI-моделей в мобильные приложения.
- Адаптация модели Vosk для эффективного распознавания специализированных терминов и сложных понятий.
- Оптимизация процесса обработки аудиоданных для повышения точности распознавания.
- Интеграция и настройка модели Piper/VITS ONNX для улучшения качества синтеза текста в речь.
- Работа над улучшением производительности приложения на мобильных устройствах.

Будет плюсом
- Опыт с React Native bridge / native modules.
- Работа с Whisper / Gemini / Hugging Face / .
- Опыт оптимизации и портирования моделей под мобильные устройства.

Условия
- Удалённый формат, гибкий график.
- Оплата по результату (120 000 – 200 000 ₽, обсуждаемо).
- Возможность привлечения к дальнейшим задачам проекта.

Контакты
Иван Петров,