Инженер данных

Инженер данных

Компания: Centicore
Тип занятости: #full_time
Уровень: #middle
Страна: #RU
Локация: #remote
Зарплата: от 350 000 RUB до 380 000 RUB

Компания Centicore находится в поисках Инженер данных. Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ.

Обязанности
- Разработка пакетных ETL/ELT процессов для расчета переменных для моделей машинного обучения
- Создание витрин данных для моделей машинного обучения
- Разработка ETL/ELT процессов для обработки результатов моделей машинного обучения и передачи результатов во внешние системы
- Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры

Требования
- Хороший уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование
- Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций
- Понимание принципов распределенных вычислений и обработки данных
- Понимание принципов потоковой обработки данных
- Понимание принципов работы систем распределенного хранения данных – Apache Cassandra, Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg
- Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server
- Опыт работы с системой оркестрации задач Apache Airflow
- Опыт реализации промышленных отказоустойчивых сервисов на Python для пакетной загрузки и трансформации данных (ETL/ELT) на Spark под управлением Airflow
- Опыт работы с платформой потоковой обработки данных Apache Kafka
- Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL
- опыт разработки ETL/ELT – процессов на технологическом стеке Python, Spark, Hadoop/Hive/HDFS, Airflow

Дополнительная информация
Зарплата указана на руки, зависит от опыта и пожеланий кандидата

Контакты
- Telegram:

⚠️ Для удобства указывайте ссылку на вакансию
Ссылка:

Стек технологий: #python #sql #apache_cassandra #hadoop #hdfs #s3 #hive #iceberg #apache_spark #pyspark #apache_airflow #apache_kafka #oracle #postgresql