Мы ищем талантливых программистов в команду глубокого обучения, для работы над проектом больших языковых моделей.  В нашей команде мы занимаемся как предобучением моделей, так и файнтюнингом для решения конкретных задач группы VK. Для решения наших задач нам нужны люди, которые хорошо знают машинное обучение, программирование, алгоритмы и структуры данных.

Мы предлагаем:
- Крутые challenge'вые задачи;
- Топовое железо: у нас NVidia/AMD-based кластера из сотен промышленных GPU.
- Комфортные условия для работы и исследований: k8s, dvc, ci/cd, s3, etc.

Мы предлагаем:

• Крутые challenge'вые задачи;
• Топовое железо: у нас Turing/Ampere-based кластер из 100+ промышленных GPU.
• Комфортные условия для работы и исследований: k8s, dvc, ci/cd

В Марусе активно проводятся исследования по современным генеративным технологиям в том числе ведется работа по построению аналогов ChatGpt.

Задачи

• Претрейн, файнтюнинг и квантизация больших языковых моделей
• Сбор и подготовка данных для обучения
• Создение бенчмарков и оценка качества различных моделей
• Оптимизация кодовой базы под топовые карты AMD (ROCm, HIP и т.д.)
• Изучение литературы, участие в конференциях в т.ч. спикером

Требования

• опыт программирования: Python или C++;
• опыт работы над проектами DL: от 1,5 лет;
• опыт работы с большими данными.
• знание алгоритмов и структур данных — на уровне курса вуза;
• желание участвовать в новых проектах.

Будет плюсом

• Опыт программирования CUDA или HPC приложений
• Опыт работы с системами AMD (ROCm, HIP, OpenCL, etc.)