Senior Data Engineer (LLM / RAG)

#вакансия #fulltime #remote #senior #dataengineer #llm #rag

Компания Centicore💙 находится в поисках Senior Data Engineer (LLM / RAG).

Мы занимаемся продуктовой и платформенной разработкой под ключ для крупных заказчиков. В рамках проекта команда строит промышленную data-платформу для работы с большими языковыми моделями (LLM) и Retrieval-Augmented Generation (RAG).

Формат работы: Удаленка по РФ
Вилка: 350–380k на руки (в зависимости от опыта и пожеланий кандидата)
Уровень: Senior

🔷 Требования:

Отличное знание Python: структуры данных, итераторы, декораторы,
асинхронное и параллельное программирование, OOP и FP
Уверенное владение SQL: сложные запросы, CTE, оконные функции
Опыт работы с vector DB: OpenSearch, Qdrant
Опыт построения batch и streaming-сервисов для расчёта embeddings и загрузки их в векторные хранилища
Понимание принципов RAG и обогащения LLM контекстными данными
Опыт разработки промышленных ETL-сервисов на Python
Опыт оркестрации пайплайнов: Apache Airflow, Argo Workflows
Хорошее знание Apache Spark / PySpark (производительность, отладка, Spark History Server)
Опыт асинхронного взаимодействия с веб-сервисами по REST API (aiohttp, httpx)
Опыт работы с PostgreSQL, Oracle
Опыт работы с Big Data-хранилищами: Hadoop/HDFS, S3, Hive, Iceberg
Опыт работы в JupyterLab / JupyterHub

🔷 Будет плюсом:

Опыт потоковой обработки данных
Опыт работы в AI / ML / LLM-проектах
Понимание требований к данным для обучения и эксплуатации ML-моделей
Опыт построения отказоустойчивых data-сервисов в enterprise-среде

🔷 Обязанности:

Разработка сервисов пакетной и потоковой обработки данных для вычисления векторных представлений (embeddings)
Загрузка и сопровождение данных в векторных хранилищах для использования в RAG-сценариях
Разработка и поддержка ETL-пайплайнов под управлением Airflow / Argo
Оптимизация SQL-запросов и Spark-приложений
Взаимодействие с командами Data Science, ML/LLM и инфраструктуры
Участие в развитии data-платформы для LLM-решений

💌 Для откликов и вопросов — писать в лс
Будем рады знакомству! ❤️