ETL-разработчик

❗️В аккредитованную ИТ-компанию Greenlabs требуется ETL-разработчик / Data Engineer ❗️


🤝Оформление: ТК РФ, ИП, ГПХ - любой вариант
З/П: 300 000 рублей gross
Формат: удалённо

Компетенции:

- Хороший опыт разработки ETL-процессов с использование инструментов SAS (от трех лет;
- Опыт разработки ETL-процессов для Greenplum;
- Опыт участия в проектах по созданию и развитию DWH;
- Умение работать с Bash-скриптами;
- Опыт промышленной разработки на Python;
Опыт участия в проектах по созданию и развитию Data Vault.

Задачи:

- Разработка архитектуры системы копирования данных;
- Разработка архитектуры системы трансформации данных;
- Настройка тестовой центральной ETL среды и тестовой MPP Greenplum;
- Модуль управления (добавления) заданиями;
- Разработка переноса таблиц staging в конечные таблицы хранилища;
- Процесс создания view и плоских таблиц на основе мета данных для интеграции другими системами;
- Реализация ETL-процесса c копированием таблиц SAS;
- Оптимизация производительности;
- Проведение нагрузочного тестирования;
- Адаптация разработанного функционала для переноса на продуктивный стенд;
- Продуктивизация сборки витрин и создание интеграций с источниками по разработанным концепциям архитектуры.

Технологии: Oracle/Hadoop/Teradata, SQL/Python/Spark/Hive, Airflow, Grafana/ SAS

Контакты:

- %contact_placeholder%
- %contact_placeholder%
- %contact_placeholder%