Senior Big Data Engineer

Senior Big Data Engineer
#офис #senior
Локация: Москва
Компания: Lamoda
☑️Задачи
-Разрабатывать и развивать платформу данных Lamoda для e-commerce нового поколения;
-Проектировать и разрабатывать инструменты для создания ETL пайплайнов на Airflow для Spark, Hive, Trino;
-Работать со стриминговыми процессами (Spark Streaming, Kafka);
-Оптимизировать существующие пайплайны и джобы на Spark - мониторить с помощью Graphana и Prometheus нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
-Взаимодействовать с продуктовыми аналитиками, помогать оптимизировать сложные SQL запросы, формировать культуру работы с данными;
-Анализировать и внедрять инструменты инжиниринга данных.

☑️Мы ожидаем:
-Опыт работы со Spark, включая Structured Streaming;
-Уверенное владение Python и Scala/Java;
-Опыт работы с S3-подобными хранилищами (например, Yandex Cloud);
-Опыт работы с Docker и Kubernetes;
-Опыт написания юнит/интеграционных тестов;
-Знание SQL и опыт оптимизации запросов;
-Опыт работы с Kafka.
Контакты:

🔥 / @best_itjob / @it_rab