Вакансия Инженер данных в Экосистемные сервисы, Москва

Инженер данных в Экосистемные сервисы, Москва

Инженер данных в Экосистемные сервисы, Москва

Мы — команда продуктовой аналитики бизнес-юнита по экосистемным сервисам. Работаем с данными трёх продуктов сразу: VK Pay, VK ID и VK SMS & Push. Это три потока задач, три продукта и три команды аналитиков и продактов, с которыми вы будете в постоянном контакте.

Вы станете единственным дата-инженером в команде, но не останетесь один: у вас будет функциональный руководитель и включение в сообщество дата-инженеров компании — еженедельные битсинги, менторинг, обмен экспертизой и метап-тренинг. Это среда, где можно быстро прокачиваться в новых инструментах и не чувствовать изоляции.

Задачи

Вы отвечаете за весь пайплайн данных — от источников до готовых витрин:
  • Проектировать, разрабатывать и сопровождать пайплайны и ETL/ELT-процессы: от подключения источников до регулярного обновления данных для аналитики
  • Строить и развивать витрины, агрегаты и пользовательские слепки для продуктовых исследований, отчётности и A/B-тестов — вместе с аналитиками определять состав данных, детализацию и требования к обновлению
  • Собирать требования от аналитиков и продактов, оценивать объём работ и технические ограничения; согласовывать с разработкой и командами DWH изменения в источниках, схемах и поставках данных
  • Участвовать в миграции данных и расчётов из ClickHouse в YTsaurus: переносить загрузки и зависимости, сверять результаты, обеспечивать непрерывность обновления
  • Настраивать проверки свежести, полноты и согласованности данных, выявлять дубли и пропуски, разбирать расхождения между источниками и устранять их причины
  • Обеспечивать стабильную работу регулярных расчётов: мониторинг и уведомления, разбор сбоев, восстановление загрузок, предотвращение повторных проблем
  • Оптимизировать тяжёлые запросы, расчёты и хранение данных: предагрегаты, сроки хранения, сокращение расхода ресурсов с учётом потребностей аналитики
  • Организовывать пересчёт истории при изменении логики, схем и состава метрик — делать его воспроизводимым и проверять корректность результата
  • Развивать существующие решения: разбирать технический долг, заменять ручные операции автоматическими процессами, документировать источники, структуру витрин и зависимости между расчётами
  • Делать ревью витрин и скриптов, которые пишут аналитики, помогать оптимизировать их расчёты

Требования

  • Опыт работы дата-инженером от четырёх лет
  • Самостоятельно разрабатывали и запускали пайплайны обработки данных в продакшен, занимались их поддержкой и развитием
  • Уверенный SQL: сложные запросы, чтение планов выполнения, оптимизация расчётов на больших объёмах данных
  • Python: разработка загрузок, преобразований данных и инструментов автоматизации; умение разбираться в существующем коде и дорабатывать его
  • Понимание принципов построения DWH и проектирования моделей данных: структура таблиц, детализация, правила обновления и хранения истории под задачи аналитики
  • Опыт работы с ClickHouse и распределёнными системами хранения и обработки данных — Hadoop, Spark или YTsaurus. Понимание, как устройство хранения и партиционирование влияют на скорость запросов и расход ресурсов
  • Опыт разработки ETL/ELT-процессов и работы с оркестраторами (например, Airflow): зависимости, инкрементальные загрузки, повторные запуски, пересчёт истории
  • Умение обеспечивать качество и надёжность данных: проверки и мониторинг, поиск причин расхождений, восстановление загрузок после сбоев
  • Работа с Git, знакомство с практиками тестирования, код-ревью и CI/CD
  • Умение обсуждать задачи с аналитиками, продактами и разработчиками: уточнять требования, предлагать техническое решение и доводить его до запуска
  • Софты: автономность и самостоятельность, многозадачность, умение приоритизировать, зрелость, способность самому находить задачи

Будет плюсом

  • Опыт работы с YQL, YTsaurus, Apache Superset, но важнее способность быстро осваивать новое

Мы предлагаем

  • Гибридный формат работы, офис рядом со станцией метро  «Аэропорт», БЦ Skylight. Также возможна работа из Санкт-Петербурга
  • Официальное оформление по ТК РФ с первого дня
  • Влияние на технические решения: вы сами проектируете архитектуру решения — ограничений только два: используются YT и ClickHouse
  • Рост и развитие: возможность погружаться в новые инструменты через сообщество дата-инженеров — еженедельные битсинги, менторинг, обмен экспертизой, метап-тренинг
  • Три продукта сразу: VK Pay, VK ID и VK SMS & Push — возможность влиять на данные трёх направлений и видеть результат своей работы в продуктах, которыми пользуются миллионы
  • Прозрачный процесс: понятное планирование, задачи через Jira, регулярные статусы и выравнивание приоритетов
  • Программу ДМС для сотрудников и их детей с первого месяца работы
  • Компенсацию питания
  • Систему гибких льгот с 14 категориями на выбор 

И многое другое, о чём мы расскажем на собеседовании :)

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда

Формат работы

Комбинированный

Уровень

middle
senior

График работы

полный

Экосистемные сервисы

Мы создаём инструменты и решения, которые позволяют взаимно интегрировать разрозненные каналы и сервисы в единую экосистему, обеспечивая бесшовный опыт для пользователей.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда