Senior Data Engineer

Мы в 🟥 Positive Technologies создаем продукты для кибербезопасности.

Ищем Senior Data Engineer, который готов вносить вклад как в техническое развитие, так и в формирование data-культуры компании.

Чем предстоит заниматься:

• Интеграция новых источников данных и разработка ETL-процессов
• Миграция данных с Clickhouse на стек Trino/Airbyte/Dagster
• Решение ad-hoc задач (оптимизация, устранение инцидентов)
• Развитие архитектуры дата-платформы

Наши ожидания:

• Производственный опыт с MPP-системами (ClickHouse, Greenplum, Vertica или аналоги)
• Понимание Trino или аналогичных distributed query engines
• Глубокие знания Python (не только ETL/ELT, но и разработка сервисов, оптимизация кода).
• Практический опыт Kubernetes
• Принципы SRE/DevOps:
• Понимание SLA/SLO/SLI, работа с метриками и мониторингом (Prometheus, Grafana)
• Экспертный SQL (оптимизация сложных запросов, работа с данными до 10ТБ)

Будет большим плюсом:

• Опыт с Airflow, dbt (оркестрация данных)
• Spark (PySpark/Spark SQL) для распределённой обработки
• Kafka
• Infrastructure as Code (Ansible, Helm, Terraform)
• Навыки работы с observability-стеком (OpenTelemetry, ELK)

С вопросами ко мне
Резюме сюда