РАБОТА В ОЭЗ «АЛАБУГА» — ЭТО:
- стратегические задачи мирового уровня;
- требования к персоналу мирового уровня;
- вознаграждение за результат мирового уровня.
Обязанности:
- разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
- проектирование и развитие схем данных в ClickHouse (основное хранилище);
- поддержка PostgreSQL на базовом уровне;
- интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
- написание и оптимизация SQL-запросов;
- контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
- настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
- работа с контейнеризированной инфраструктурой: Docker, Portainer;
- ведение задач и документирование решений в Jira/Wiki;
- взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
- уверенное владение Python (pandas, обработка и трансформация данных);
- опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
- опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
- базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
- опыт работы с объектным хранилищем (S3 и аналоги);
- опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
- базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
- понимание контейнеризации: Docker, Portainer;
- уверенная работа с системой контроля версий Git;
- опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
- опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
- от 2 лет в роли Data Engineer или аналогичной позиции.
- конкурентный уровень з/п (обсуждается индивидуально);
- работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
- транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
- полис добровольного медицинского страхования;
- предоставление платного жилья для иногородних;
- гарантия профессионального роста;
- амбициозная, проектно-ориентированная команда;
- командные и спортивные игры, реализация нестандартных задач;
- карьерный рост при наличии и обретении в процессе работы необходимых компетенций.
Ключевые навыки
- Python
- pandas
- PostgreSQL
- DDL/DML
- Clickhouse
- ETL/ELT
- Apache Airflow
- RabbitMQ
- Apache Kafka
- NATS
- Grafana
- Loki
- Alertmanager
- Opensearch
- Docker
- Portainer
- Git
- IoT
- Apache Flink
- Kafka Streams
- Spark Streaming
- data profiling
- Jira/Wiki
Где предстоит работать
Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 6
Вакансия опубликована в Нижнем Новгороде