Data Engineer (ClickHouse, Airflow, Python)

от 157 500 ₽ за месяц до вычета налогов
Выплаты:
два раза в месяц
Опыт работы:
1–3 года
Тип занятости
Полная занятость
Оформление:
  • Трудовой договор
График:
5/2
Рабочие часы:
9
Формат работы:
на месте работодателя
Напишите телефон, чтобы работодатель мог связаться с вами
Продолжая, вы принимаете соглашение и политику конфиденциальности
РАБОТА В ОЭЗ «АЛАБУГА» — ЭТО:
  • стратегические задачи мирового уровня;
  • требования к персоналу мирового уровня;
  • вознаграждение за результат мирового уровня.
Обязанности:
  • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
  • проектирование и развитие схем данных в ClickHouse (основное хранилище);
  • поддержка PostgreSQL на базовом уровне;
  • интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
  • написание и оптимизация SQL-запросов;
  • контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
  • настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
  • работа с контейнеризированной инфраструктурой: Docker, Portainer;
  • ведение задач и документирование решений в Jira/Wiki;
  • взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
  • уверенное владение Python (pandas, обработка и трансформация данных);
  • опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
  • опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
  • базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
  • опыт работы с объектным хранилищем (S3 и аналоги);
  • опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
  • базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
  • понимание контейнеризации: Docker, Portainer;
  • уверенная работа с системой контроля версий Git;
  • опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
  • опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
  • от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
  • конкурентный уровень з/п (обсуждается индивидуально);
  • работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
  • транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
  • полис добровольного медицинского страхования;
  • предоставление платного жилья для иногородних;
  • гарантия профессионального роста;
  • амбициозная, проектно-ориентированная команда;
  • командные и спортивные игры, реализация нестандартных задач;
  • карьерный рост при наличии и обретении в процессе работы необходимых компетенций.

Ключевые навыки

  • Python
  • pandas
  • PostgreSQL
  • DDL/DML
  • Clickhouse
  • ETL/ELT
  • Apache Airflow
  • RabbitMQ
  • Apache Kafka
  • NATS
  • Grafana
  • Loki
  • Alertmanager
  • Opensearch
  • Docker
  • Portainer
  • Git
  • IoT
  • Apache Flink
  • Kafka Streams
  • Spark Streaming
  • data profiling
  • Jira/Wiki

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где предстоит работать

Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 6
Вакансия опубликована в Нижнем Новгороде
Dream Job
Отзывы о компании