Разработчик Big Data в ОК

Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа  построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.

Особенности:

• big data: 3 hdfs-кластера общим объёмом ~200PB;
• high load: обслуживаем десятки тысяч серверов;
• high available: все серверы расположены в 6 разных дата-центрах;
• не enterprise: разрабатываем решения, которые сами же и используем;
• stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
• lang: Java, Scala, Python, Bash.

Задачи

• Развитие платформы хранения и обработки больших данных OK;
• развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
• миграция данных в единое хранилище в рамках холдинга.

Требования

• Хорошее знание Java/Scala;
• опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.

Будет плюсом

Опыт работы с Apache Kafka, ClickHouse.