Руководитель команды Big Data Infrastructure, удаленно

Руководитель команды Big Data Infrastructure, удаленно

Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Она построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.

Самая большая социальная сеть России — самая большая Big Datа!

Kafka: ~1PB
HDFS: ~50PB
Clickhouse: ~3PB (nvme)

Для нас важно отлично разбираться в любом из этих инструментов. Любим Spark. Пишем на любых языках, но особенно на Java/Scala и Python.

Задачи

  • построение и управление командой из 3–8 Data-инженеров;
  • формирование архитектуры платформы хранения и обработки больших данных;
  • решение задач производительности и отказоустойчивости инфраструктуры Big Data.

Требования

  • опыт управления командой разработчиков;
    хорошее знание Java/Scala, Phython;
  • знание принципов работы баз данных,
  • распределенных систем хранения и обработки данных;
  • опыт работы и понимание внутреннего устройства: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse.

Мы предлагаем

Официальная зарплата
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи

ВКонтакте

ВКонтакте — один из самых высоконагруженных проектов рунета. В сутки у нас бывает до 30 релизов и 125 миллиардов запросов к API. Всё это вытягивает небольшая команда разработчиков, где каждый — суперпрофессионал, который нашёл интересные для себя задачи. 

Мы предлагаем

Официальная зарплата
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи