Мы — команда продуктовой аналитики бизнес-юнита по экосистемным сервисам. Работаем с данными трёх продуктов сразу: VK Pay, VK ID и VK SMS & Push. Это три потока задач, три продукта и три команды аналитиков и продактов, с которыми вы будете в постоянном контакте.
Вы станете единственным дата-инженером в команде, но не останетесь один: у вас будет функциональный руководитель и включение в сообщество дата-инженеров компании — еженедельные битсинги, менторинг, обмен экспертизой и метап-тренинг. Это среда, где можно быстро прокачиваться в новых инструментах и не чувствовать изоляции.
Задачи
Вы отвечаете за весь пайплайн данных — от источников до готовых витрин:- Проектировать, разрабатывать и сопровождать пайплайны и ETL/ELT-процессы: от подключения источников до регулярного обновления данных для аналитики
- Строить и развивать витрины, агрегаты и пользовательские слепки для продуктовых исследований, отчётности и A/B-тестов — вместе с аналитиками определять состав данных, детализацию и требования к обновлению
- Собирать требования от аналитиков и продактов, оценивать объём работ и технические ограничения; согласовывать с разработкой и командами DWH изменения в источниках, схемах и поставках данных
- Участвовать в миграции данных и расчётов из ClickHouse в YTsaurus: переносить загрузки и зависимости, сверять результаты, обеспечивать непрерывность обновления
- Настраивать проверки свежести, полноты и согласованности данных, выявлять дубли и пропуски, разбирать расхождения между источниками и устранять их причины
- Обеспечивать стабильную работу регулярных расчётов: мониторинг и уведомления, разбор сбоев, восстановление загрузок, предотвращение повторных проблем
- Оптимизировать тяжёлые запросы, расчёты и хранение данных: предагрегаты, сроки хранения, сокращение расхода ресурсов с учётом потребностей аналитики
- Организовывать пересчёт истории при изменении логики, схем и состава метрик — делать его воспроизводимым и проверять корректность результата
- Развивать существующие решения: разбирать технический долг, заменять ручные операции автоматическими процессами, документировать источники, структуру витрин и зависимости между расчётами
- Делать ревью витрин и скриптов, которые пишут аналитики, помогать оптимизировать их расчёты
Требования
- Опыт работы дата-инженером от четырёх лет
- Самостоятельно разрабатывали и запускали пайплайны обработки данных в продакшен, занимались их поддержкой и развитием
- Уверенный SQL: сложные запросы, чтение планов выполнения, оптимизация расчётов на больших объёмах данных
- Python: разработка загрузок, преобразований данных и инструментов автоматизации; умение разбираться в существующем коде и дорабатывать его
- Понимание принципов построения DWH и проектирования моделей данных: структура таблиц, детализация, правила обновления и хранения истории под задачи аналитики
- Опыт работы с ClickHouse и распределёнными системами хранения и обработки данных — Hadoop, Spark или YTsaurus. Понимание, как устройство хранения и партиционирование влияют на скорость запросов и расход ресурсов
- Опыт разработки ETL/ELT-процессов и работы с оркестраторами (например, Airflow): зависимости, инкрементальные загрузки, повторные запуски, пересчёт истории
- Умение обеспечивать качество и надёжность данных: проверки и мониторинг, поиск причин расхождений, восстановление загрузок после сбоев
- Работа с Git, знакомство с практиками тестирования, код-ревью и CI/CD
- Умение обсуждать задачи с аналитиками, продактами и разработчиками: уточнять требования, предлагать техническое решение и доводить его до запуска
- Софты: автономность и самостоятельность, многозадачность, умение приоритизировать, зрелость, способность самому находить задачи
Будет плюсом
- Опыт работы с YQL, YTsaurus, Apache Superset, но важнее способность быстро осваивать новое
Мы предлагаем
- Гибридный формат работы, офис рядом со станцией метро «Аэропорт», БЦ Skylight. Также возможна работа из Санкт-Петербурга
- Официальное оформление по ТК РФ с первого дня
- Влияние на технические решения: вы сами проектируете архитектуру решения — ограничений только два: используются YT и ClickHouse
- Рост и развитие: возможность погружаться в новые инструменты через сообщество дата-инженеров — еженедельные битсинги, менторинг, обмен экспертизой, метап-тренинг
- Три продукта сразу: VK Pay, VK ID и VK SMS & Push — возможность влиять на данные трёх направлений и видеть результат своей работы в продуктах, которыми пользуются миллионы
- Прозрачный процесс: понятное планирование, задачи через Jira, регулярные статусы и выравнивание приоритетов
- Программу ДМС для сотрудников и их детей с первого месяца работы
- Компенсацию питания
- Систему гибких льгот с 14 категориями на выбор
И многое другое, о чём мы расскажем на собеседовании :)
Мы предлагаем
Формат работы
Уровень
График работы
Экосистемные сервисы
Мы создаём инструменты и решения, которые позволяют взаимно интегрировать разрозненные каналы и сервисы в единую экосистему, обеспечивая бесшовный опыт для пользователей.