Инженер Данных DWH В Путешествия (DWH)

TL;DR

Инженер данных DWH (DWH/ETL): Разработка и сопровождение конвейеров поставки данных в хранилище на базе YTsaurus и ClickHouse с акцентом на проектирование архитектуры слоев и моделей данных. Фокус на создании высокопроизводительных ETL-процессов, оптимизации запросов и обеспечении качества данных для аналитических сервисов.

Локация: Не указана (в тексте упоминаются офисы в России)

Компания

%hirify_global% — глобальная технологическая компания, развивающая экосистему поисковых, рекламных и сервисных продуктов.

Что делать

• Разрабатывать, сопровождать и проводить ревью ETL-процессов поставки данных.
• Проектировать структуру хранения данных в разных слоях хранилища (Lambda, Data Lake, Data Vault).
• Выявлять и оптимизировать неэффективные участки в процессах поставки данных, профилировать данные для обнаружения аномалий.
• Изучать бизнес-процессы и ключевые метрики компании, становясь экспертом в прикладных областях.

Требования

• Опыт проектирования DWH (слои, модели хранения данных, ETL-процессы).
• Опыт разработки ETL-процессов на Apache Airflow или аналогичных инструментах.
• Экспертное владение SQL.
• Владение одним из языков высокого уровня (Python, Go, Java и т. д.).
• Понимание устройства и архитектуры реляционных баз данных.
• Знание основных алгоритмов и структур данных, используемых в Big Data.

Хорошо, если есть

• Опыт работы с MPP-СУБД (ClickHouse, Greenplum, Vertica, Teradata и т. д.).
• Понимание принципов работы технологий распределённой обработки данных (Hadoop, MapReduce).

Культура и преимущества

• Расширенная медицинская страховка с первого месяца, включая стоматологию и чекапы.
• Поддержка ментального здоровья (психотерапия), лазерная коррекция зрения и ведение беременности.
• Льготные жилищные займы для сотрудников, работающих в российских офисах Яндекса.
• Доступ к внутренней образовательной платформе, менторство и оплата участия в профильных конференциях.
• Спортивные залы в офисах, корпоративный тренер и скидки в фитнес-клубы.
• Гибкий график работы без фиксированного времени начала и конца дня.