VK Видео — самая масштабная видеоплатформа в рунете по аудитории и форматам контента. Она объединяет видеоплатформы ВКонтакте, Одноклассников и других продуктов VK, ею пользуются более 100 млн человек в месяц.

VK Клипы — это бесконечная лента коротких вертикальных видео. Здесь зрители могут найти увлекательный контент на самые разные темы, а авторы — заявить о себе. Качественные клипы можно создавать прямо ВКонтакте с помощью AR-эффектов и социальных механик, без специальных навыков и дорогой техники. Вместе с нами вы будете разрабатывать рекомендательные системы для двух крупнейших российских видеосервисов.

У нас классно потому что:

• мы каждый день сталкиваемся со сложными задачами и постоянно ищем оптимальные решения;
• разрабатываем собственные технологии с учётом природы данных, с которыми мы работаем;
• выжимаем максимальную производительность из кода и думаем не только об отдельных решениях, но и о свойствах системы в целом;
• если вы хотели поработать в сердце высоконагруженной системы — мы с вами сработаемся.

Особенности:

• big data: 4 hdfs кластера общим объемом ~150PB;
• high load: обслуживаем десятки тысяч серверов;
• high available: все сервера расположены в 5 разных дата центрах;
• не enterprise: разрабатываем решения, которые сами же и используем;
• stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
• lang: java, scala, python, bash.

Задачи

• развивать платформу хранения и обработки больших данных;
• предлагать, отстаивать и реализовывать архитектурные решения;
• оптимизировать и настраивать различные компоненты: hdfs, kafka, clickhouse, spark, zeppelin, etc;
• разрабатывать инструменты для хранения и обработки данных на java/scala/kotlin.

Требования

• хорошее знание java/scala;
• опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.