Data Engineer

Data Engineer (направление качества пунктов выдачи)
#офис
Москва
Компания: OZON
🔹Вам предстоит:
-Построение и поддержка ETL/пайплайнов:
-Разработка, оптимизация и мониторинг для гарантированной доставки данных.
-Развитие сервисной модели для аналитиков:
-Предоставление качественных, документированных и актуальных данных через витрины и инструменты автоматизации, сокращая время на рутинные запросы.
-Повышение надежности и прозрачности:
-Помощь во внедрении единых стандартов на тестирование, мониторинг и алертинг для всех data-процессов.

🔹Технологический стек проекта:
-Оркестрация: Apache Airflow. Обработка данных: SQL, Python (Pandas), Apache Spark (PySpark).
-Аналитические СУБД: ClickHouse, Vertica, Trino
Инфраструктура и инструменты: Git, Docker, Hadoop (HDFS, Hive), Kafka. Язык программирования: Python (Pandas, requests, асинхронное программирование).

🔹Мы ожидаем:
-Знание SQL (CTE, оконные функции, оптимизация запросов).
-Базовые навыки профилирования и оптимизации SQL-запросов (чтение explain plan, понимание индексов).
-Понимание принципов построения ETL/ELT-пайплайнов и опыт работы с Apache Airflow.
-Базовые знания Python для целей обработки данных (Pandas, PySpark). Опыт работы с Git.
-Понимание концепций распределенных систем и работы с большими данными (архитектура Spark, Kafka, Hadoop).
Контакты: %contact_placeholder%

🔥 / @best_itjob / @it_rab