Java-разработчик в AI VK, Санкт-Петербург

Команда AI VK строит контентную систему для рекомендаций, поиска и рекламы. Твоя задача — разработать и поддерживать высоконагруженные пайплайны обработки данных, которые ежедневно обрабатывают миллионы текстов и видео. Ты будешь создавать микросервисы на Java, которые применяют ML-модели, агрегируют данные из разных источников и доставляют их в системы ранжирования с минимальной задержкой.

Задачи

• Разработка пайплайнов обработки данных: создание и вывод в прод сервисов для поисковых вертикалей и рекомендаций
• Микросервисная архитектура: разработка и поддержка высоконагруженных сервисов на Java
• Платформизация DWH: участие в проектировании и реализации архитектуры контентного хранилища данных (Data Warehouse) от концепции до реализации
• Интеграция с ML: внедрение и оптимизация ML-моделей в пайплайны обработки данных
• Оптимизация производительности: обеспечение минимальных задержек при доставке контента в сервисы дистрибуции
• Работа с Big Data: обработка больших объёмов данных в батч-режиме и поточно (streaming)
• Взаимодействие с командами: тесная работа с Data Scientists, аналитиками и разработчиками других сервисов

Требования

• Опыт промышленной разработки на Java от трёх лет 
• Опыт работы с распределёнными системами и базами данных высокого уровня
• Навыки работы с Big Data: опыт обработки больших объёмов данных в батч-режиме и потоково
• Понимание принципов микросервисной архитектуры и высоконагруженных систем
• Умение работать в команде и решать сложные архитектурные задачи