Data Инженер

Обязанности:

• Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow, как и батч загрузку, так и стриминг с помощью Kafka


• Готовить витрины данных, в том числе из сырых логов


• Разрабатывать API и сервисы по данным


• Подключать новые источники и отвечать за бесперебойную поставку данных

Требования:

• Уверенный Python и Отличные знания SQL (JOIN, подзапросы, оконные функции);


• Уверенные знания стека Hadoop (HDFS, YARN, Hive) и Pyspark;


• Понимание принципов построения data-пайплайнов (kappa И lambda - архитектуры);


• Знакомство с Kafka и Airflow, понимание их роли в data-пайплайне;


• Знание базовых команд Linux-консоли, git;


• Интерес к технологиям больших данных и большое желание учиться;

Будет плюсом:

• Знакомство с системами контейнеризации и виртуализации Linux (Docker, Kubernetes);


• Опыт разработки REST-сервисов на Python (Flask / FastAPI);


• Знакомство с Kafka;


• Знакомство с CDC (Debezium);


• Работа с No-SQL БД (Redis. Hbase);


• Оптимизация и хранение данных в Clickhouse

Условия:

• Работу в профессиональной команде, которая готова делиться знаниями и опытом;


• Возможность внешнего обучения и прокачки твоих скиллов за счет Компании;


• Заботу о сотрудниках: возможность прохождения медицинских chek-апов, безлимитные бесплатные консультации с финансовыми консультантами, юристами и психологом. В компании поддерживается и развивается культура ЗОЖ;


• Отличный социальный пакет, включающий ДМС, скидки на страховые продукты компании, скидки от наших партнеров (туризм, фитнес и т.д.);


• Обеспечение техникой для работы;


• Гибридный график работы 5\2 (гибкое начало дня с 8 до 10)

Откликнуться:
hh.ru/vacancy/129291462
job@alfastrah.ru
Можно прислать нам резюме

по электронной почте