Data Engineer

Data Engineer
#удаленка
Компания: Билайн
🔹Из основных задач:
-Анализ требований к витринам данных.
-Поиск и исследование источников данных для последующей интеграции.
-Оценка пригодности, качества исходных данных.
-Разработка ETL процессов на Spark.
-Оркестрация ETL процессов в Airflow.
-Проектирование баз данных.
-Создание конвейеров данных NiFi.
-Вывод отчётности в Qlick Sense.

🔹Описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.
-Любит работать в команде и умеет это делать.
-Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции).
-Работал с Hive, PostgreSQL.
-Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество).
-Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron.
-Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче.
-Умеет использовать Инструменты, которые позволяют создавать интерактивные отчеты, дашборды и визуализации на основе данных - Power BI, Qlik.
-Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink.
-Интересуется Flink, пробовал применять его в проектах.
-Понимает принципы работы реляционных СУБД и HDFS.
-Понимает подходы к работе с качеством данных.
-Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.
Контакты:

🔥 / @best_itjob / @it_rab