description

Описание вакансии

🗺

Дата-инженер в Карты

Мы ищем опытного дата-инженера, который будет развивать хранилище данных (DWH) для аналитики Яндекс Карт. Вам предстоит иметь дело с огромными объёмами данных и разрабатывать надёжные и эффективные решения, которые будут обеспечивать качественную работу сервисов.

Какие задачи вас ждут:
• Разрабатывать и поддерживать DWH: создавать масштабируемую и надёжную архитектуру, улучшать производительность запросов и структуру хранилища
• Проектировать и оптимизировать ETL-процессы (извлечения, трансформации и загрузки данных) в DWH, разрабатывать эффективные пайплайны для работы с данными из различных источников, сокращать время обработки и повышать качество данных
• Обрабатывать сотни терабайт данных ежедневно: очищать их от шума, трансформировать, интегрировать и обеспечивать их высокое качество и целостность
• Участвовать в создании и поддержке систем мониторинга состояния DWH и генерации отчётов
• Взаимодействовать с разработчиками, аналитиками и другими специалистами, узнавать требования к данным и реализовывать их

Мы ждём, что вы:
• Работали дата-инженером или в смежных ролях
• Работали с технологиями для обработки больших данных, включая MapReduce
• Хорошо знаете SQL или YQL, работали с реляционными БД
• Владеете Python и С++
• Знаете и применяли ETL-инструменты

Будет плюсом, если вы:
• Работали с YTsaurus и YQL
• Работали с ClickHouse
• Умеете разрабатывать DAG для Airflow

📩 на нашем сайте

#карты #data #DWH #ETL #mapreduce #SQL #YQL #python #CPP

tips_and_updates

Как откликнуться эффективно