Ежедневно поисковые системы VK обрабатывают десятки миллионов пользовательских сессий. Наша главная задача заключается в анализе этих массивов данных для выявления частотных паттернов поведения, а также специфических действий отдельных индивидов.

Наша цель: предоставить высокопроизводительную, легко адаптируемую систему для формирования поисковых подсказок в различных сервисах VK. Мы стремимся к тому, чтобы наша работа способствовала улучшению пользовательского опыта, делая поиск в VK максимально удобным и эффективным.

Стек технологий: С++17, Hadoop, Spark, Kafka, Python, Airflow.

Задачи

• Построение ETL (Extract, Transform, Load) процессов для обработки событий;
• разработка алгоритмов и инфраструктуры для улучшения качества поисковых сервисов;
• внедрение инноваций для реализации продуктовых потребностей.

Требования

• Опыт коммерческой разработки на С++;
• знание базовых алгоритмов и структур данных;
• опыт работы с Linux.

Будет плюсом

• Практический опыт с Hadoop или аналогичными системами для работы с распределёнными данными;
• понимание основ машинного обучения и умение работать с соответствующими библиотеками;
• навык программирования на Python и Scala.