Мы центр экспертизы hadoop в БЮ Технологии ИИ и наша главная задача - обеспечивать разработчиков на кластере инструментами, сервисами, гайдлайнами и регламентами, чтобы они могли решать свои задачи просто, эффективно и без лишней боли. Нашими решениями пользуются такие проекты VK как Поиск, Маруся, Дзен и др. 

Задачи

• Разработка и проектирование программных компонент для обеспечения работы hadoop-кластеров БЮ Технологии ИИ.
• Разработка и проектирования библиотек общего пользования для разработчиков, использующих hadoop-кластера.
• Разработка правил, регламентов, образовательных материалов для разработчиков, использующих hadoop-кластера.

Требования

• Уверенное владение Java
• Опыт работы с Hadoop
• Знание ĸлассичесĸих алгоритмов и струĸтур данных
• Опыт разработĸи под Unix/Linux
• Уверенный пользователь Linux и утилит ĸомандной строĸи (bash, sed, awk, etc.)
• Плюсами являются знание и опыт работы с технологиями, используемыми в нашем проеĸте: HBase, Apache Spark\PySpark, Kafka, Python, Kubernetes, Airflow, Oozie, git, gitlab ci\cd, svn