Дата-инженер в Дата-сервисы VK Tech, Москва

В VK Tech строим высоконагруженное хранилище данных, которое обслуживает ключевые аналитические и бизнес-задачи.

Сейчас наша вычислительная платформа — YTsaurus (YT), но мы также используем экосистему Hadoop/Spark. Рассматриваем возможность миграции на свою платформу в виде S3 + Spark.

У нас можно получить уникальный опыт: не просто читать статьи про Spark, а переписывать пайплайны, сравнивать подходы, настраивать performance и участвовать в принятии архитектурных решений. Это даст вам глубокое понимание обеих экосистем. 

Задачи

• разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
• оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
• мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
• помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
• проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
• участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.

Требования

• опыт разработки и поддержки ETL-процессов на Python + Airflow;
• уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
• понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
• опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
• знание Git (ветки, коммиты, pull requests, code review);
• умение читать и анализировать чужой код.

Будет плюсом

• реальный опыт с YTsaurus (YT);
• коммерческий или уверенный учебный опыт с Hadoop/Spark;
• опыт миграции пайплайнов с одной вычислительной платформы на другую;
• навыки работы с DBT (у нас есть свой похожий инструмент);
• понимание жизненного цикла данных (загрузка, трансформация, выгрузка).