Data Engineer

Data Engineer Баланс Продавцов
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Разработка ETL/ELT процессов с использованием различных хранилищ и технологий (важно также умение подружить их между собой)
-Интеграция данных из различных источников в различных режимах (потоки, батчи) в различные хранилища (от классических СУБД до хранилищ класса BigData)
-Разработка фреймворков и решений для автоматизации рутинных и ad-hoc задач
-Доформирование и декомпозицией задач, полученных от бизнеса (превращение задачи с формулировкой «мне надо/я хочу…» в ТЗ для инженера)
-Документирование разработок и решений команды
-Обеспечение поддержки решений команды

🔹Какой опыт и знания нужны
-Практический опыт работы с BigData-хранилищами (Hadoop и/или S3, аналитические базы данных (Clickhouse, Greenplum, Vertica))
-Практический опыт работы с движками распределенных вычислений (Spark и/или Trino)
-Опыт разработки на Python (приветствуется опыт разработки фреймворков, приложений, а не только скриптование), знание SQL на продвинутом уровне (не только простой DML, но и расширенный DDL)
-Практический опыт в оптимизации структур данных для их более эффективного хранения и обработки
-Знание Linux на уровне пользователя и умение пользоваться терминалом
-Знание и опыт применения различных моделей данных
-Опыт разработки базового DQ, и понимание принципов его построения
-Наличие опыта базового системного и дата-анализа
-Опыт в разработке архитектурных схем и проектировании решений
-Обязателен опыт написания технической документации по решениям, которые вы разрабатывали
Контакты: ?

🔥 / @best_itjob / @it_rab