Data Ops (DevOps + Data Engineer)

apartmentLuminaria scheduleПолная занятость publicУдалённо badge2–4 года

Публичная страница вакансии: прозрачные условия, быстрый отклик, понятный следующий шаг. Для работодателя — качественный воронко-трафик, для исполнителя — ясные требования без “воды”.

description

Описание вакансии

tldr: dataops (py, aws, airflow), 2500-4500$/m net, полная удаленка, можно из рф

- компания - Luminaria, контакт:
- полная удаленка, гибкий график, можно из рф
- $2500-4500 net
- бонусы до 6 окладов и пересмотр условий по результатам работы

Мы небольшой стартап, разрабатываем систему прогнозирования цен на сельхоз продукцию, строим полный пайплайн обработки данных (GEFS, CFS, спутниковые снимки, отчеты USDA), предскываем урожайность и рыночную стоимость для торгов на бирже. Используем классический ML (CatBoost, регрессии). Инфраструктура на AWS, процессы обработки данных на Python.
Сейчас в команде 8 человек, есть интерес инвесторов и крупный объем капитала в управлении.

Обязанности:
- Поддержка и мониторинг продакшн DAG'ов в Airflow;
- Обеспечение стабильности и масштабируемости инфраструктуры Airflow (MWAA, ECS, EC2, Fargate);
- Разработка, развёртывание и масштабирование конвейеров обработки данных на Python в облачной среде;
- Сотрудничество в оптимизации рабочих процессов для параллельного выполнения и эффективного использования ресурсов.

Требования:
- Python: уверенные навыки в разработке программного обеспечения и инженерии данных, управление зависимостями, настройка окружения, pandas, numpy; плюсом xarray, polars, pyspark + spark streaming / flink;
- Docker: упаковка и развёртывание ETL-процессов на Python;
- Airflow: опыт и понимание DAG'ов, TaskFlow API, операторов; желательно знание альтернативных исполнительных механизмов;
- AWS: практический опыт работы с ECS, EC2, IAM; плюсом опыт с MWAA, Fargate;
- DevOps: опыт CI/CD (GitHub); приветствуется знание Infrastructure as Code (IaC);

Для связи:

tips_and_updates

Как откликнуться эффективно