Lead Data Engineer

Lead Data Engineer
#удаленка #lead
Компания: Wildberries
🔹Что нужно делать
-Проектирование и сопровождение ETL/ELT пайплайнов для Feature Store и аналитических витрин (Airflow, Spark, Feast, ClickHouse, S3).
-Разработка и поддержка офлайн (batch) сервисов инференса ML-моделей
-Архитектурное проектирование хранилищ и систем обработки данных с обеспечением масштабируемости и отказоустойчивости
-Управление данными и инфраструктурными ресурсами с соблюдением Data Governance и стандартов naming conventions
-Участие в построении и поддержке интеграции inference сервисов с клиентскими приложениями и DWH с использованием брокеров Kafka/RabbitMQ
-Настройка мониторинга и алертинга качества моделей, метрик и ресурсов (Airflow, s3, clickhouse)
-Совместная работа c командой платформы DWH по развитию корпоративного хранилища данных и обучению команды ML инструментам по работе с данными

🔹Какой опыт и знания нужны
-Опыт работы в Data Engineering/MLOps не менее 5 лет.
-Уверенное владение Python, SQL, знание DWH-концепций.
-Опыт с Airflow, Kubeflow, Spark, Kafka, RabbitMQ, ClickHouse, PostgreSQL, Milvus или другими векторными БД.
-Навыки работы с контейнерами (Docker, Kubernetes), CI/CD, мониторингом (Prometheus, Grafana).
-Опыт с Feature Store (Feast и т.п.) и API разработкой (REST/gRPC) будет плюсом.
Контакты: %contact_placeholder%?

🔥 / @best_itjob / @it_rab