Data Engineer

Data Engineer
#удаленка #200k
Опыт работы: 3–6 лет
Компания: РОССКО
ЗП: от 260 000 ₽
🔹Вам предстоит:
1. Разработка и поддержка ETL-процессов
- Проектирование, разработка и оптимизация пайплайнов для загрузки, трансформации и выгрузки данных
- Поддержка существующих процессов, устранение сбоев и оптимизация времени обработки
- Интеграция данных из внутренних и внешних источников (API, базы данных, сервисы)
2. Обеспечение качества и надёжности данных
Настройка автоматических проверок качества данных (data quality checks)
Контроль полноты и актуальности загружаемых данных
Реагирование на инциденты, связанных с данными, и оперативное восстановление пайплайнов
3. Мониторинг и алертинг
Настройка системы мониторинга (например, с использованием Airflow, Grafana, Metabase или аналогов)
Конфигурация алертов при сбоях, задержках или отклонениях в данных
Анализ логов и метрик для предупреждения сбоев
4. Подготовка и поддержка витрин данных
Создание и обновление витрин данных для аналитиков и бизнес-подразделений
Работа совместно с аналитиками над требованиями к витринам и источникам данных
Оптимизация запросов и структур данных для ускорения аналитических выборок
5. Документация и взаимодействие с командой
Документирование всех ключевых пайплайнов, витрин и интеграций
Взаимодействие с разработчиками, аналитиками и бизнесом для согласования требований к данным

🔹Мы ожидаем от Вас знаний:
-Языки и технологии: Python (основы, ООП, работа с библиотеками для обработки данных, например pandas), SQL, особенности работы с ClickHouse
-ETL и DWH: принципы построения и архитектуры хранилищ данных, нормальные формы, особенности распределённой обработки данных
-Оркестрация: базовые принципы работы Apache Airflow, настройка пайплайнов через Python-операторы, понимание дефолтного сетапа
-Интеграции и API: как забирать данные через API, обработка ответов, базовое понимание работы с RabbitMQ
-Хранилища данных: текущее использование Elasticsearch (базовые знания, без глубокого погружения), понимание концепции хранения сырых данных в S3
-ОС и инфраструктура: основы работы в Ubuntu / Linux, умения для локального тестирования и развертывания (ClickHouse, Elasticsearch, Airflow)
-Архитектура и производительность: понимание, как работают движки баз данных, особенности вставки и обработки данных

🔹Вас ждет:
Комфорт:
-удаленный режим работы и гибкий график;
-полный онбординг за 3 месяца;
-работаем по Kanban, SDM поможет выстроить работу и быстро достичь результата.
Забота:
-соблюдаем баланс жизни и работы;
-ДМС через полгода работы;
-предоставим технику для работы при необходимости.
Контакты:

🔥 / @best_itjob / @it_rab