Senior Data Scientist в команду LLM-разметки в AI VK, Москва

Вместе мы создаём новые проекты в онлайне и не только. Каждый день развиваем технологии и сервисы, которыми гордимся. И не хотим останавливаться на достигнутом.

Мы — это VK Team, команда профессионалов, которые объединились ради больших свершений.
Мы создаём самую большую рекомендательную систему в России, выпускаем приложения под Android и iOS, разрабатываем редактор видео и помогаем интересным блогерам найти новую аудиторию, а пользователям — интересные публикации. За этим стоят сложные алгоритмы, сотни тестов и сервис, который обрабатывает 150 тысяч запросов в секунду.

О проекте. Наша команда управляет контентом, обогащая его дополнительной информацией за счёт ML-моделей, краудсорсинга, LLM. Мы являемся центром экспертизы по автоматизированной разметке, за счёт которой работают рекомендации, поиск, модерация и антифрод. Именно наша команда строит ML-модели и предоставляет предиктивную аналитику по контенту и профилям для бизнес-юнитов холдинга. Для этого мы выстраиваем end-to-end пайплайны обработки и дистрибуции данных, обучаем и используем как классические ML-модели, так и LLM (LLaMa, ChatGPT и другие). 

Мы ищем в команду сервиса LLM-разметок Senior Data Scientist с опытом интеграции LLM/VLM в бизнес-процессы компании.

Задачи

• Построение и улучшение ML-архитектуры процессов обработки данных с использованием внутренних и внешних LLM/VLM;
• автоматизация за счёт LLM/VLM бизнес-процессов, в которых классические ML-модели недостаточно эффективны;
• обучение классических ML-моделей, настраивание их качественной и количественной оценки, анализ результатов;
• работа с краудсорсингом и внутренними инструментами разметки для подготовки Ground Truth данных;
• взаимодействие с заказчиками, груминги, декомпозиция крупных ML-проектов.

Требования

• Успешный опыт интеграции LLM/VLM в бизнес-процессы;
• опыт работы с Python (Pandas, NumPy, SciPy, CatBoost, XGBoost), SQL (оконки, процедуры) — для подготовки данных и обучения ML-моделей;
• опыт работы с Airflow, BI-системами — Datalens/Superset/Tableu/Power-BI;
• высшее техническое или математическое образование;
• более двух лет опыта на позиции Data Science или Machine Learning;
• хорошие soft-скиллы;
• умение работать с математической статистикой для управления статзначимостью метрик моделей и пайплайнов;
• опыт работы с Hadoop, PostgreSQL или YT.

Будет плюсом

Опыт работы с краудсорсингом и асессорской разметкой.