Data Инженер (Senior)

#вакансия #data_engineer

Data инженер_Senior

Грейд: Middle/Senior
Локация специалиста: Строго РФ
Тайм-зона проекта: мск
Гражданство: Строго РФ

О проекте:
Название конечного клиента или отрасль: Райффайзен
Дата старта проекта: конец августа - начало сентября
Продолжительность проекта (от 3х месяцев): середина 26 года, но возможна пролонгация до конца 27 года.

Оформление:
Тип занятости: удалёнка
Ставка закупки: 2200
Загрузка: фулл-тайм
Условия оплаты: отсрочка 40 рабочих дней

Обязательные данные по кандидату при подаче:
● ФИ
● Страна+Город
● Грейд
● Ставка
● Оценить требования ДА/НЕТ, в соответствии с наличием опыта.
● ВСЕ ТРЕБОВАНИЯ ИЗ ЗАПРОСА ОТРАЖЕНЫ В ПРОЕКТАХ РЕЗЮМЕ

Задачи:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
- Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.);
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты;
- Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.

Требования:
Обязательные требования:
- Владение SQL на уровне оптимизированных сложных запросов;
- Понимание принципов функционирования традиционных СУБД и баз данных класса MPP;
- Опыт программирования на языках Python и/или Java, Scala;
- Опыт оркестрации ETL-пайплайнов с помощью Airflow;
- Наличие опыта взаимодействия с инструментом dbt;
- Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop);
- Владение технологией Apache Spark (Spark DataFrames, Spark SQL);
- Опыт работы с банковской предметной областью.
- Опыт работы с Kafka, Trino;
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
- Знания и опыт CI/CD-практик и инструментов.

Текущий основной стек:
Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.

Писать: