Middle Data Engineer (онлайн-кинотеатр КИОН)

Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

Чем предстоит заниматься:

• Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;

• Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse;

• Поддерживать текущие пайплайны на Greenplum и Hadoop;

• Осуществлять миграцию с HDFS на S3;

• Проводить оптимизацию Spark-приложений;

Что мы ожидаем:

• Опыт работы с Python от 3 лет;

• Глубокое знание SQL и опыт работы с большими данными;

• Опыт работы с Apache Airflow

• Опыт проектирования и разработки ETL/ELT процессов;

• Опыт работы с колоночными БД (ClickHouse);

• Знание принципов построения Data Warehouse и Data Lake;

• Понимание разницы между OLTP/OLAP системами;

• Уверенная работа c linux и git;

• Понимание процессов ci/cd;

Что мы предлагаем:

• Оклад + годовой бонус при выполнении KPI
• ДМС с первого месяца работы и страховка для поездок за границу
• Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты.
• Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта