Data Engineer, Москва

Data Engineer, Москва

Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в чётко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объёмы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия  решений.

Мы ищем BigData-инженера, готового принять активное участие в разработке одного из крупнейших хранилищ группы компании: десятки петабайт данных, количество узлов кластера более 400, ежедневный прирост информации составляет десятки терабайт. В хранилище собрана информация большинства ключевых бизнес-юнитов компании, которая описывает поведение пользователей рунета: события посещений сайтов, клики (показы) рекламы, использование мобильных приложений, профили соцсетей пользователя, действия пользователей в соцсетях и их публичные сообщения и т. д. Все это позволяет составить достаточно полную картину поведения пользователя во всех сервисах mail.ru и строить на полученных данных сложные математические модели.

Наш стек технологий включает, но не ограничивается:

  • Database Systems: MySQL, Tarantool, ClickHouse;
  • Hadoop: Hive, Spark, MapReduce, Kafka;
  • DataFlow/ETL: Luigi, Airflow;
  • Business Inteligence: Tableau,  Redash, SuperSet;
  • Continuous Integration: Jenkins, GitLab CI;
  • IssueTracking / KnwoledgeBase: Jira, Confluence;
  • Monitoring: Sentry, Graphite, Grafana, Prometheus, Telegraf.

Задачи

  • Участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • исследование большого объёма необработанных данных, накопленных в компании;
  • построение и оптимизация нетривиальных ETL-процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний;
  • взаимодействие с командой Data Scientist и совместная реализация стабильного расчёта математических моделей;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования

  • Не менее года релевантного опыта работы;
  • опыт работы с большими объёмами данных, понимание стека технологий Hadoop, глубокое знание Spark или Hive (плюсом будет знание Java, Scala в контексте обработки больших данных);
  • опыт организации ETL-процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на Python);
  • знания в области теории обработки и хранения информации;
  • ссылки на публичные репозитории (статьи с примерами работы приветствуются).

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи

Формат работы

офисный
комбинированный
дистанционный

Уровень

middle

График работы

полный

VK Реклама

Наша команда развивает платформу VK Реклама, объединяющую все крупнейшие в России и СНГ социальные сети и сервисы с общим охватом более 140 млн человек.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи

Похожие вакансии

Продуктовый аналитик

Почта
Москва, гибкий

Go/Python разработчик Dbaas

Tarantool
Москва, гибкий

DevOps в команду автоматизации разработки

VK Cloud
Москва, гибкий

Machine Learning Engineer в VK Знакомства

ВКонтакте
Санкт-Петербург, комбинированный

Старший продуктовый аналитик

VK Видео
Москва, комбинированный

Продуктовый аналитик

VK Мессенджер
Москва, гибкий

Аналитик в команду ленты и рекомендаций

ВКонтакте
Санкт-Петербург, гибкий

Продуктовый аналитик

VK ID
Москва, гибкий

Data Engineer

Рекламные технологии
Москва, гибкий

Продуктовый аналитик (Облако B2C)

Облако Mail.ru
Москва, комбинированный

DevOps-инженер на проект DevPlatform

VK Tech
Москва, гибкий

BI Developer

VK Play
Москва, гибкий

Data Scientist (реклама и медиа)

VK Реклама
Москва, гибкий

Аналитик данных

VK
Москва, гибкий

Go/Python инженер-разработчик

Единые облачные технологии
дистанционный

QA Automation

VK HR Tek
Москва, гибкий

Аналитик-разработчик AB платформы в команду разработки продуктовой аналитики

ВКонтакте
Санкт-Петербург, гибкий

Аналитик в направление монетизации

VK Реклама
Москва, гибкий

Data Analyst

VK Tech
Москва, гибкий

Аналитик/эконометрист

Департамент маркетинга
Москва, офисный

Аналитик данных

Департамент AI
Москва, гибкий

Python Developer

Внутренняя информационная разработка
Москва, гибкий

DevOps Engineer (Почта Mail.ru)

Почта
Москва, гибкий

Разработчик в команду компьютерного зрения

ВКонтакте
Санкт-Петербург, гибкий

Аналитик маркетинга и контента

VK Видео
Москва, комбинированный

Продуктовый аналитик форматов

Дзен
Москва, гибкий

Python Team Lead в General Billing

VK Cloud
дистанционный

Python developer в команду ML

VK Assistant
Москва, гибкий

Старший разработчик в команду Архитектуры

ВКонтакте
Санкт-Петербург, гибкий

ML - программист

VK Predict
Москва, комбинированный

Аналитик данных

Data Office
Москва, гибкий

Продуктовый аналитик голосового ассистента Маруся

Департамент AI
Москва, гибкий

Go/Python Developer в команду Runtime

VK Cloud
Москва, гибкий

QA-инженер, направление Платформа

ВКонтакте для бизнеса
Москва, гибкий

ML Engineer (машинный перевод)

Экосистемные сервисы
Москва, гибкий

Старший Python-разработчик в Группу диалогового движка Маруси

Маруся и VK Капсула
Москва, гибкий

Разработчик C++ (команда предобработки запросов)

Департамент AI
Москва, гибкий

ML Engineer

VK Видео
Москва, гибкий

Специалист по автоматизации тестирования

VK Реклама
Москва, гибкий

Аналитик

Оператор рекламных данных
Москва, гибкий

C++ Developer в Новости

VK
Москва, гибкий

Руководитель команды

VK
Москва, гибкий

Golang-разработчик в команду Календарь

Почта
Москва, гибкий

Data Scientist

VK Реклама
Москва, гибкий

Python-разработчик в Команду интерфейсов

VK Реклама
Москва, гибкий

Ведущий Python-разработчик

VK Реклама
Москва, гибкий

Руководитель команды аналитики форматов и фокусных сценариев

Дзен
Москва, офисный

SRE / Системный администратор Linux (One Cloud)

Единые облачные технологии
Санкт-Петербург, гибкий

Backend Developer

VK Реклама
Москва, гибкий

Аналитик качества рекомендаций в VK Музыку

Департамент AI
Москва, гибкий

Fullstack Developer в группу разработки сервисов данных

Департамент AI
Москва, гибкий

Ведущий Python-разработчик

VK Реклама
Москва, гибкий