Разработчик Big Data в ОК

Разработчик Big Data в ОК

Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа  построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.

Особенности:

  • big data: 3 hdfs-кластера общим объёмом ~200PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все серверы расположены в 6 разных дата-центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
  • lang: Java, Scala, Python, Bash.

Задачи

  • Развитие платформы хранения и обработки больших данных OK;
  • развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
  • миграция данных в единое хранилище в рамках холдинга.

Требования

  • Хорошее знание Java/Scala;
  • опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.

Будет плюсом

Опыт работы с Apache Kafka, ClickHouse.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Бонусы от партнеров
Интересные задачи

Формат работы

дистанционный

Уровень

senior

График работы

полный

ОК

Команда OK.TECH объединяет сотни специалистов разработки, дизайна, маркетинга, машинного обучения, поддержки пользователей и не только. Каждый из нас влияет на то, каким увидят ОК миллионы пользователей.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Бонусы от партнеров
Интересные задачи

Похожие вакансии

Технический архитектор

VK Tech
Москва, гибкий

Руководитель core-команды разработки

Коммуникационные платформы
Москва, комбинированный

Java Lead в команду рекомендательной системы

AI VK
Москва, офисный

Java-разработчик в команду поиска

ОК
Санкт-Петербург, комбинированный

Java Developer в службу рекомендаций

Дзен
Москва, гибкий

Java Developer

VK Видео
Санкт-Петербург, гибкий

Java Lead MLOps-инструментов

AI VK
Москва, офисный

Android Developer в команду интеграций

Mail
Москва, гибкий

Java Team Lead

VK
Москва, комбинированный

Senior Java Developer

VK
Москва, гибкий

Backend Java Developer на проект чат-бота

Клиентский опыт
Москва, гибкий

Старший разработчик в команду архитектуры

ВКонтакте
Санкт-Петербург, гибкий

Java-разработчик в команду Tracer

ОК
Санкт-Петербург, комбинированный

Senior Java Developer

RuStore
дистанционный

DWH Engineer

VK Видео
Москва, гибкий

С++ Developer в команду поисковых запросов

Поиск
Москва, гибкий

Разработчик хранилищ данных

Единые облачные технологии
Москва, гибкий

Golang Developer в команду «Антиробот»

Информационная безопасность
Москва, гибкий

Администратор Atlassian

Технический департамент
Москва, гибкий

Специалист по информационной безопасности (AppWebSec)

RuStore
Москва, гибкий

Go Developer

Единые облачные технологии
Москва, гибкий

Ведущий Java-разработчик

Единые облачные технологии
Москва, гибкий

C++ Developer в команду инфраструктуры

Поиск
Москва, гибкий