Единые облачные технологии

Команда единых облачных технологий VK ищет коллег, чтобы вместе создавать и внедрять облачные технологии для одной из самых больших серверных инфраструктур в России. У нас есть как разработчики, так и SRE, отвечающие за эксплуатацию наших решений.

Мы называем себя просто — ЕНОТ.

Пул продуктов ЕНОТ — технологическая платформа VK, которая включает в себя хранилища горячих и холодных данных и объектов (S3), базы данных, внутреннее облако one-cloud, системы метрик, единой конфигурации, мониторинга, средства и инструменты разработки и диагностики. Всё для того, чтобы сделать разработку и эксплуатацию продуктов быстрой, эффективной и надёжной. Наши системы работают на большой инфраструктуре, которая состоит из более чем 11 000 машин в 10 дата-центрах, в которых работают около 100 000 контейнеров для ОК, Дзена, VK Видео, VK Звонков, VK Клипов, Юлы, RuStore, Маруси и других проектов VK.

В таких масштабах стандартные решения либо не работают, либо недостаточно надёжны, поэтому мы часто разрабатываем свои уникальные решения и подходы, адаптируем их и активно участвуем в разработке программ с открытым исходным кодом.

Сейчас перед нами стоит уникальная задача: внедрить во внутреннюю инфраструктуру VK решения, которые успешно работают в ОК и единой видеоплатформе VK. Это нужно для повышения надёжности и утилизации ресурсов, автоматизации типовых задач, возникающих при разработке и эксплуатации продуктов компании. Нас ждут разноплановые задачи, связанные как с увеличением масштаба сервисов и данных, так и с разработкой недостающих, но востребованных в компании технологий.

А ещё мы разработали:
• свою систему управления облачной инфраструктурой one-cloud — и продолжаем её развивать;
• несколько систем хранения бинарных данных OBS & OCS эксабайтного масштаба;
• свою NewSQL ACID базу данных на основе Сassandra, внутренний форк которой непрерывно развиваем;
• миграцию данных и сервисов Дзена в инфраструктуру VK — для этого мы уже реализовали поддержку YT и YDB в one-cloud;
• собственную реализацию S3;
• проекты с открытым кодом async profiler и one-nio — и активно их развиваем.

Мы сами ставим себе задачи, сами их решаем и запускаем в прод. Благодаря близости к железу мы можем создавать наиболее эффективные системы и быстро внедрять их.

В ближайшем будущем мы будем заниматься:
• внедрением one-cloud в инфраструктуру ВКонтакте со специализированной поддержкой движков хранения данных;
• разработкой надежных cloud-native решений для популярных СУБД;
• разработкой единой системы мониторинга;
• улучшением непрерывного профилирования, инструментарием неинтрузивной отладки на проде, внедрением новых версий JVM (Project Panama заставит нас переписать некоторые части по-новому),
и многим другим.