Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.

ВКонтакте — самая большая социальная сеть в России, поэтому у нас самая большая Big Data:

• • Kafka ~ 1 Пбайт;
• • HDFS ~ 50 Пбайт;
• • Clickhouse ~ 3 Пбайт (NVMe).

Ищем специалиста, который отлично владеет любым из этих инструментов.

Задачи

• • развивать платформу хранения и обработки Big Data;
• • внедрять новые инструменты для анализа данных и машинного обучения;
• • решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
• • строить новые и оптимизировать существующие ETL-процессы.

У нас интересно, потому что:

• • действительно много данных (десятки петабайт), настоящие и сложные задачи;
• • мы не зацикливаемся на работе с одним инструментом или хранилищем, а всегда ищем наиболее подходящее решение;
• • мы используем весь стек технологий — от железа и настроек инструментов до реализации собственных разработок.

Требования

Мы рассчитываем, что вы:

• • хорошо знаете Java/Scala, Python;
• • разбираетесь в принципах работы баз данных, распределённых систем хранения и обработки данных;
• • работали и понимаете внутреннее устройство Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, ZooKeeper, ClickHouse.