DataOps Engineer (Python, AWS, Airflow)

О компании и проекте:
Мы разрабатываем систему прогнозирования цен на сельхоз продукцию на различных рынках, строим полный пайплайн от сбора и обработки данных (GEFS, CFS, спутниковые снимки, отчеты USDA) до предсказания урожайности и итоговой рыночной стоимости для торгов на бирже. Используем классический ML (CatBoost, регрессии), применяем методы из актуальных статей по агрономии, вся инфраструктура на AWS, процессы batch- и real-time обработки данных на Python.

Мы ищем DataOps / DevOps / ETL-инженера, который присоединится к нашей команде и возьмёт на себя ответственность за запуск и поддержку продакшн-кода на Python в Apache Airflow (MWAA). Эта роль требует высокого уровня технической подготовки и практического опыта в области обработки данных на Python, оркестрации рабочих процессов и инфраструктуры AWS (включая EC2, ECS, Fargate).

Ключевые технические навыки:

• Python: уверенные навыки в разработке программного обеспечения и инженерии данных, управление зависимостями, настройка окружения;

• Docker: упаковка и развёртывание ETL-процессов на Python;

• Библиотеки обработки данных: pandas, numpy; плюсом xarray, polars, pyspark;

• Параллельные вычисления: знание multiprocessing, joblib; плюсом dask, pyspark;

• Airflow: глубокое понимание DAG'ов, TaskFlow API, операторов; желательно знание альтернативных исполнительных механизмов;

• AWS: практический опыт работы с ECS, EC2, IAM; плюсом опыт с MWAA;

• DevOps: опыт CI/CD; приветствуется знание Infrastructure as Code (IaC);

• Обработка данных в реальном времени (необязательно): Spark Streaming, Flink или аналоги.

Обязанности:

• Поддержка и мониторинг продакшн DAG'ов в Airflow;

• Обеспечение стабильности и масштабируемости инфраструктуры Airflow;

• Разработка, развёртывание и масштабирование конвейеров обработки данных на Python в облачной среде;

• Сотрудничество в оптимизации рабочих процессов для параллельного выполнения и эффективного использования ресурсов.

Условия:

• Гибкий график, удаленная работа.

• Зарплата $2500-4500 по результатам собеседования.

• Работа в сильной команде.

• Возможность влиять на архитектуру платформы данных

• Бонусы по результатам работы.