Data Engineer (Python, ClickHouse)

TL;DR

Data Engineer (Python, ClickHouse): Разработка и поддержка ETL/ELT-пайплайнов для надежной платформы данных с акцентом на проектирование DWH, оптимизацию запросов и обеспечение качества данных. Фокус на работе с ClickHouse, Airflow и построении аналитических витрин для BI и продуктовых решений.

Локация: Полностью удаленный формат работы

Компания

Twinby – сервис для проверки совместимости и поиска новых знакомств, стремящийся стать дейтинг-приложением №1 в России.

Что делать

• Разрабатывать и поддерживать ETL/ELT-пайплайны в Airflow.
• Проектировать слой данных в ClickHouse: схемы, партиционирование, сортировка, движки, дедупликация, оптимизация запросов.
• Строить витрины/слои для BI (DataLens) и аналитиков.
• Обеспечивать качество данных: проверки, алерты, контроль свежести/полноты, расследование инцидентов.

Требования

• Опыт в data engineering от 2–4 лет.
• Уверенный Python для ETL: работа с API, обработка данных, аккуратная архитектура кода.
• Практический опыт работы с оркестраторами (Airflow): планирование, мониторинг, инциденты, backfill.
• Опыт работы с аналитическими хранилищами (ClickHouse) и понимание его особенностей (partitions/order key, merges, TTL, FINAL, dictionaries/матвью).
• Опыт построения DWH/мартов и слоёв (stg/core/mart), data catalog/lineage.
• Отличный SQL и опыт оптимизации запросов/моделей.

Хорошо, если есть

• Углублённое понимание реляционных СУБД и внутренностей: индексы, планы выполнения, транзакции/изоляции, блокировки, нормализация/денормализация, оптимизация запросов.
• Опыт диагностики и решения performance-проблем (CockroachDB).

Культура и преимущества

• Full-time работа с полностью удаленным форматом.
• Официальное оформление.
• Конкурентная заработная плата.
• Сервис корпоративных скидок.
• Возможность профессионального развития и карьерного роста.