Technical Lead Data Engineer (Data)

TL;DR

Technical Lead Data Engineer (Data): Разработка надёжных ETL-пайплайнов, повышение стабильности и качества данных, влияние на архитектуру данных и помощь бизнесу в получении ценной аналитики. Фокус на внедрении стандартов, лучших практик в области обработки и хранения данных, оптимизации рабочих процессов и устранении «узких мест» в архитектуре и процессах обработки данных.

Компания

Яндекс — это сервис для людей и бизнеса: предпринимателей, ритейлеров и маркетплейсов.

Что делать

• Проектировать и поддерживать ETL-пайплайны для обработки данных, обеспечивать стабильность и производительность витрин и дашбордов, разрабатывать механизмы контроля качества данных и оптимизировать существующие процессы обработки.
• Поддерживать работу ключевых компонентов платформы (ClickHouse, Greenplum, YTsaurus, ETL-сервисы), взаимодействуя с инфраструктурными командами.
• Быть основным контактным лицом для аналитиков по техническим вопросам работы с данными и инструментами платформы.
• Распределять задачи, контролировать их выполнение, участвовать в планировании и определении стратегических направлений развития платформы.
• Внедрять стандарты и лучшие практики в области обработки и хранения данных, оптимизировать рабочие процессы и устранять «узкие места» в архитектуре и процессах обработки данных.
• Взаимодействовать с другими командами и стейкхолдерами для согласования технических решений и интеграции данных, а также помогать сотрудникам расти профессионально, организовывать обучение и обмен знаниями, проводить код-ревью и способствовать повышению качества кода.

Требования

• Отличное знание Python
• Работа с Greenplum, Vertica, ClickHouse или любыми другими MPP СУБД
• Работа с большими объёмами данных в экосистемах Hadoop (HDFS, Spark, Hive), YTsaurus или аналогичных
• Понимание принципов проектирования хранилищ данных, ETL-фреймворков, а также систем мониторинга за состоянием хранилища
• Умение оптимизировать запросы и оценивать вычислительную нагрузку
• Опыт руководства небольшой командой (2–3 человека)

Хорошо, если есть

• Создание сложных высоконагруженных ETL- и ELT-пайплайнов (плюсом будет знание code-driven ETL Luigi, Airflow)
• Разработка процессов обработки сложных событий (CEP) почти в реальном времени (Kafka Streams, Spark, Flink и пр.)
• Работа с инструментами стека Python для Data Science (Jupyter, pandas, SciPy, Matplotlib, Bokeh и пр.)
• Разработка проверок качества данных, мониторинга стабильности и использования данных
• Понимание ценности данных для принятия решений бизнесом
• Коммиты в публичные репозитории или написание статей с примерами работ

Культура и преимущества

• Расширенная медицинская страховка с первого месяца работы, включающая стоматологию, ежегодные чекапы и психотерапию.
• Возможности для развития и обучения на внутренней образовательной платформе, а также оплата участия в профильных конференциях.
• Спортзалы в офисах и скидки в фитнес-клубах и студиях.
• Гибкий график работы.
• Льготная ставка на покупку жилья и улучшение жилищных условий для сотрудников, работающих в российских офисах.
• Страхование и подарки для детей сотрудников.