Мы — команда, которая строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Делаем решения «под ключ»: от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией.

Работаем на стыке ML/LLM и backend-разработки: проектируем пайплайны, интегрируемся с продуктами и инфраструктурой, строим RAG-системы и агентные сценарии, измеряем качество (precision/recall/F1, macro-F1), ведём эксперименты и улучшаем модели на данных. Используем Python, LangGraph/LangChain-подходы, Langfuse для наблюдаемости, Git и внутренние платформы хранения/обработки данных (в том числе YTsaurus), а также очереди и хранилища (Kafka/Redis).

Задачи

• Разрабатывать и развивать LLM-агентов: сценарии, инструменты (tools), оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логики
• Проектировать и внедрять RAG: индексация, эмбеддинги, ретриверы, ранжирование, чанкинг, оценка качества поиска и ответа
• Интегрировать агентные решения в прод: сервисы, API, взаимодействие с Kafka/Redis и другими компонентами инфраструктуры
• Настраивать наблюдаемость и контроль качества: логирование/трейсинг, Langfuse, дашборды, алерты, анализ деградаций
• Проводить офлайн/онлайн-оценку качества: считать precision/recall/F1/F1-macro, строить датасеты, проводить A/B или квазиэксперименты, формулировать гипотезы улучшений
• Участвовать в улучшении пайплайнов данных и экспериментов: подготовка данных, разметка/валидация, хранение и воспроизводимость
• Писать поддерживаемый код: ревью, тесты, документация, CI/CD, участие в архитектурных решениях

Требования

• Уверенный Python (проектирование модулей, типизация, тестирование, работа с API/сервисами)
• Практический опыт работы с LLM/agentic-подходами: промптинг, tool calling, цепочки/графы, управление контекстом, обработка галлюцинаций и ограничений моделей
• Понимание и опыт оценки качества: precision/recall/F1, macro-F1, построение датасетов и интерпретация метрик
• Опыт построения или внедрения RAG (retrieval, embeddings, индексация, ранжирование, чанкинг, оценка retrieval-качества)
• Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг, работа с Git
• Понимание очередей/кэшей/хранилищ (Kafka, Redis или аналоги), опыт интеграций

Будет плюсом

• Опыт с LangGraph / LangChain, Langfuse (трейсинг, промпт-менеджмент, датасеты, evaluation)
• Опыт с YTsaurus или другими распределёнными системами хранения/обработки данных
• Опыт low-code/конструкторов пайплайнов и быстрых прототипов, доведение их до production
• Знание подходов к ранжированию, rerank, hybrid search, query rewriting, guardrails/safety
• Опыт A/B-тестов, построения продуктовых метрик и причинно-следственного анализа
• Опыт работы с контейнеризацией и деплоем (Docker/K8s), CI/CD