DWH разработчик в Почта, Москва

Тебе предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать быстрее и успешнее.У нас используется стек Hadoop/Kafka/PySpark/Clickhouse. Для аналитики используются данные размером в десятки петабайт. Предстоит работать с настоящей BigData.Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.

Задачи

• разработка DWH платформы;
• проектирование схем для хранения данных;
• автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
• автоматизация data-pipelines, ETL процессов;
• автоматизация построения витрин данных;
• организация CI/CD и мониторинга процессов обработки данных;
• ревью кода в команде.

Требования

• опыт разработки c аналитикой от 1 года;
• опыт разработки живых проектов или доработка существующих решений;
• опыт DWH разработки от 1 года, знание Python;
• готовность разбираться в чужом коде;
• понимание принципов работы классических СУБД;
• работа с Linux & Bash.

Будет плюсом

• знакомство и опыт работы с экосистемой Hadoop;
• опыт работы с MPP базами;
• опыт организации ETL-процессов обработки данных.