Cloud Sessions #2: инфраструктура для ИИ

О мероприятии

VK Tech проводит серию технических митапов Cloud Sessions для инженеров, архитекторов и руководителей, которые разрабатывают и эксплуатируют облачные, инфраструктурные и ML-платформы.
В этот раз хотим поговорить про инфраструктуру для ИИ: как запускать инференс в облаке и как настроить инфраструктурный слой для запуска моделей в корпоративном контуре.

После докладов можно задать вопросы спикерам, обсудить инженерные кейсы и продолжить общение в неформальной обстановке. Вопросы во время эфира собираем в Telegram-канале «Вокруг Кубернетес в VK» — присоединяйтесь!

Митап бесплатный, но необходима регистрация на лендинге мероприятия: https://cloud.vk.ru/events/cloud-sessions-2-bezopasnaya-infrastruktura-dlya-ii/ 

В программе

18:00 - 19:00 Сбор гостей

19:05 - 19:40 Доклад Inference платформа одновременно для SaaS и PaaS
Григорий Кузнецов, Руководитель команды Evaluation, компания VK Tech
При разработке прототипа сервиса инференса LLM мы попробовали использовать Ray Serve + vLLM, но быстро поняли, что такое решение связано с рядом проблем – отсутствием изоляции моделей, конфликтами библиотек в одном постоянно увеличивающемся образе, сложностями реализации своих парсеров ризонинга и вызова туллов; весь трафик упирался в самодельный шлюз с ручной маршрутизацией запросов.

Стало ясно, что для SaaS и PaaS нужен другой подход к архитектуре инференса. Мы сравнили несколько вариантов сервинга под нагрузкой на разных конфигурациях Qwen3.6-27B и увидели, что один вариант заметно обошел остальных: в результате выбрали его и начали переезд.

На чем мы остановились — расскажу в докладе. А еще подробно разберу, на чем строится архитектура нового решения, как разворачиваем в нем модели, как разделили их по отдельным контейнерам и видеокартам и упростили маршрутизацию и что получилось в итоге.

19:40 - 20:10 Корпоративный ИИ под контролем: как управлять расходами, качеством и безопасностью
Алексей Крюков, Руководитель направления кибербезопасности, компания «Азбука вкуса»
Один запрос к корпоративному ИИ может запустить целую цепочку действий: поиск данных, вызовы инструментов, проверки и повторные попытки. Каждый шаг расходует токены, а подключение внутренних систем добавляет вопросы безопасности. Как понять, на что уходят деньги, какие данные можно передавать модели и где нужно согласование пользователя?

Алексей расскажет об инженерных подходах, которые применяют в «Азбуке вкуса» при развитии корпоративной ИИ-платформы. Разберёт, как поиск инструментов и оптимизация вызовов помогли сократить расход токенов на запросы до 80%, почему модель с более дорогим входом может оказаться выгоднее за счёт кэша и как автоматически выбирать уровень рассуждений под сложность задачи.

Отдельно покажет подходы к выявлению конфиденциальных данных, маршрутизации запросов в доверенный контур и проверке действий ИИ перед записью в корпоративные системы. Поделится, как с помощью логов, метрик и обратной связи пользователей находят причины ошибок и проверяют, что оптимизация расходов сохраняет качество результата.

20:20 - 20:50 Маскирование данных для внешних LLM
Антон Суминов, Директор по цифровой трансформации, компания Ароматный Мир
ИИ ускоряет работу, но сотрудники несут во внешние LLM договоры, выгрузки из учётных систем и переписку с клиентами — с ФИО, телефонами, закупочными ценами и маржой. Знакомо?
Один из подходов — вынести обработку чувствительной информации в LLM Security Gateway, который перехватывает запросы, преобразует чувствительное перед отправкой во внешнюю модель и возвращает значения в ответе на стороне корпоративного контура. В докладе расскажу, как мы в «Ароматном Мире» строим шлюз маскирования для персональных данных и коммерческой тайны.
• Как находить сотрудников, клиентов, поставщиков и бренды по справочникам из учётных систем.
• Почему умножить цены на секретный коэффициент — плохая идея и как вынести вычисления внутрь контура, чтобы модель анализировала Excel, не увидев ни одной цены.
• Почему русский язык усложняет задачу и как вернуть фамилию в ответ в правильном падеже.
• Отдельно — про агентов: модель вызывает инструменты с масками, а корпоративные системы получают реальные значения.
• И почему шлюз можно построить без хранилища соответствий и где маскирование перестаёт работать в принципе.

20:50 - 23:00 Афтепати и нетворкинг
После докладов афтепати с пиццей и нетворкингом: задать вопросы авторам напрямую и обсудить с коллегами в кулуарах интересующие темы.

Митап бесплатный, но необходима регистрация на лендинге мероприятия: https://cloud.vk.ru/events/cloud-sessions-2-bezopasnaya-infrastruktura-dlya-ii/