Data Engineer

Инженер данных DWH в Маркет
Яндекс
Senior
Москва / Санкт-Петербург / Минск (гибрид)

Кажется, сегодня тот самый день, когда стоит попробовать свои силы в Яндекс Маркете!
У нас ты сможешь развиваться в дата-инженерии DWH.
Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Наше хранилище сейчас самое крупное среди всех подразделений Яндекса — порядка 30 петабайт, и дальше будет только расширяться)

Какие задачи вас ждут
• вести разработку ETL-процессов поставки данных;
• выявлять неэффективность в существующих процессах и оптимизировать их;
• проектировать структуру хранения данных;
• участвовать в развитии фреймворка поставки данных;
• погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом;
• сопровождать разработанные процессы ETL.

Мы ждем, что вы
• уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов;
• знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом, если вы
• проектировали DWH: слои, модели хранения данных, процессы ETL;
• понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse;
• имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++;
• умеете работать в командной строке систем Unix-like: Linux, macOS.

Что мы предлагаем
• современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха;
• официальное трудоустройство, компенсация оплаты питания на территории кампуса и в его окрестностях;
• гибкий график: мы не контролируем ваше время, главное — выполнять задачи;
• профессиональная команда, у которой можно многому научиться и перенять опыт;
• культура открытости и взаимопомощи: у нас работают увлечённые люди, небезразличные к тому, что они делают;
• высокая скорость процессов и возможность быстро увидеть свой вклад;
• работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.

Если это вы, или пишите ✍️