Data Engineer

— международная цифровая платформа track & trace.
Создаём технологическое решение для маркировки, отслеживания и контроля движения товаров по цепочке поставок.

В связи с расширением круга проектов компании мы ищем опытного Data Engineer (Apache Superset).

Обязанности:
*Разработка архитектуры доставки, хранения и обработки данных (РСУБД, NoSQL).
*Проектирование моделей данных и построение аналитических витрин для операционной аналитики и интерактивных дашбордов.
*Оптимизация существующих процессов обработки данных, снижение задержек в доставке данных.
*Автоматизация ETL/ELT процессов, настройка мониторинга и алертинга для критически важных пайплайнов.
*Разработка отказоустойчивых и масштабируемых решений для работы с большими объемами данных.
*Взаимодействие с аналитиками и разработчиками для формирования требований к аналитической отчетности.

Стек:
*Хранение данных: YTsaurus, Cassandra, CockroachDB, ClickHouse, PostgreSQL.
*ETL & обработка данных: Apache Airflow, Apache Spark, Python, Java, SQL, YQL.
*BI & визуализация: Apache Superset.
*CI/CD и инфраструктура: Kubernetes, Docker, GitLab.

Требования:
*5+ лет опыта в сфере Data Engineering / Big Data.
*Глубокие знания Python, уверенное владение SQL (джойны, агрегации, оптимизация запросов).
*Опыт работы с распределёнными хранилищами и построением ETL/ELT пайплайнов на Apache Airflow.
*Практический опыт использования Apache Spark (Streaming) / Apache Flink / Apache Beam .
*Опыт проектирования аналитических витрин, отчетов и дашбордов в BI-системах.
*Знание различных моделей хранения данных (Data Vault, Anchor, hNhM).
*Понимание принципов , опыт работы с контейнеризацией (Kubernetes, Docker). CI/CD
*Готовность решать сложные задачи, предлагать оптимальные архитектурные решения, работать с высоконагруженными системами.

Условия:
*Работа в крупной и стабильной IT компании.
*Удаленный формат работы.
*Профессиональный и дружный коллектив.
*Высокий уровень стабильного дохода, условия обсуждаются с каждым кандидатом индивидуально по результатам интервью.

Контакт:

Вакансии от @it_vacancy_relocation


⚠️ВНИМАНИЕ⚠️ Если вас просят привязать iCloud, отправить код или выполнить странные действия — не отвечайте и сразу жалуйтесь на вакансию. Это может быть мошенник.