Python разработчик(DWH), Москва
Тебе предстоит заниматься разработкой аналитической платформы.
Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать еще быстрее и успешнее.
Мы разрабатываем единый реестр аналитических событий компании, систему доступа к аналитическим данным, систему A/B-тестов. Сервисами уже активно пользуются такие проекты как Почта, Облако, Маруся, Медиа проекты.
У нас используется стек Hadoop/Kafka/PySpark/Clickhouse. Для аналитики используются данные размером десятки петабайт. Тебе предстоит работать с настоящей BigData.
Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.
Задачи
- Разработка DWH платформы;
- Проектирование схем для хранения данных;
- Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
- Автоматизация data-pipelines, ETL процессов;
- Автоматизация построения витрин данных;
- Организация CI/CD и мониторинга процессов обработки данных; - Готовность разбираться в чужом коде;
- Ревью кода в команде.
Требования
- опыт DWH разработки от 1 года, знание Python;
- понимание принципов работы классических СУБД;
- работа с Linux Bash;
Будет плюсом
- знакомство и опыт работы с экосистемой Hadoop;
- опыт работы с MPP базами;
- опыт организации ETL-процессов обработки данных.
Мы предлагаем
Формат работы
Уровень
График работы

Почта
Почта Mail.ru — крупнейший в русскоязычном сегменте сервис бесплатной электронной почты. Наши ключевые особенности — неограниченный объем ящика, возможность пересылки аттачей до 20 ГБ, защита от вирусов и спама, темы для оформления интерфейса и писем и многое другое. Ежемесячная аудитория проекта — 43,3 млн пользователей, входит в топ-5 мировых почтовых сервисов по дневной аудитории.