description
Описание вакансии
Data Engineer в Yandex Cloud
Наша команда DWH развивает корпоративное хранилище данных и обеспечивает качество и своевременность их поставки. Для интеграции данных (Data Transfer, Schema Registry и других) мы используем сервисы Yandex Cloud, обрабатываем данные с помощью YQL (расширенный SQL) и Nirvana (аналог Airflow), а хранилищем данных выступает YT.
Ищем опытного инженера данных, который любит сложные задачи. Вам предстоит настраивать обновление данных и строить нагруженные системы.
Какие задачи вас ждут
Активация данных
Вам предстоит интегрировать данные из разных источников (API, PG, YDB, YDS) и передавать их на последующие уровни хранилища данных, используя различные режимы (CDC, increment, snapshot).
Оптимизация ETL-процессов
Вы будете применять различные техники оптимизации к ETL-процессам.
Управление данными в хранилище
Вы будете добавлять, обновлять и удалять данные в системе.
Наша команда DWH развивает корпоративное хранилище данных и обеспечивает качество и своевременность их поставки. Для интеграции данных (Data Transfer, Schema Registry и других) мы используем сервисы Yandex Cloud, обрабатываем данные с помощью YQL (расширенный SQL) и Nirvana (аналог Airflow), а хранилищем данных выступает YT.
Ищем опытного инженера данных, который любит сложные задачи. Вам предстоит настраивать обновление данных и строить нагруженные системы.
Какие задачи вас ждут
Активация данных
Вам предстоит интегрировать данные из разных источников (API, PG, YDB, YDS) и передавать их на последующие уровни хранилища данных, используя различные режимы (CDC, increment, snapshot).
Оптимизация ETL-процессов
Вы будете применять различные техники оптимизации к ETL-процессам.
Управление данными в хранилище
Вы будете добавлять, обновлять и удалять данные в системе.
tips_and_updates
Как откликнуться эффективно
- arrow_right1–2 релевантных кейса (ссылки/скриншоты)
- arrow_rightСроки и формат работы (когда на связи)
- arrow_right2–3 уточняющих вопроса по задаче
handshake
Рекомендации работодателю
- arrow_rightОпишите результат и критерии приёмки
- arrow_rightУкажите бюджет/вилку — это повышает качество откликов
- arrow_rightСразу обозначьте сроки и доступность по коммуникациям
lists
Ещё вакансии
Business Development Manager (Web3)
Lagrange Labs
4 500 ₽ — 6 500 ₽
Удалённо
Полная занятость
TEXTURE ARTIST
Карамель и Ко
Не указан
Удалённо
Полная занятость
Tech Lead .Net Developer (Fintech)
habr.career
Не указан
Офис
Полная занятость
Tech Lead Java (Управление Рисками Строительных Проектов)
Sber
Не указан
Офис
Полная занятость
Корпоративный блогер
Oskelly
Не указан
Офис
Полная занятость
Conversation Designer
Авиасейлс
Не указан
Удалённо
Полная занятость