Data Engineer в Поиск, Москва

AI VK объединяет профессионалов, которые:

• развивают системы рекомендаций и поиска контента для всех продуктов компании
• улучшают качество поиска по видео
• платформизируют инфраструктуру данных

Направление поиска занимается созданием и развитием единой, быстрой, удобной в эксплуатации, масштабируемой и отказоустойчивой системы поиска для всех платформ группы компаний VK.</span>

Задачи

• Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
• Обрабатывать и парсить сырые данные
• Сопровождать хранилище данных
• Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
• Извлекать из исходных данных ценную информацию и обрабатывать её для последующего анализа
• Реализовывать стабильный расчёт метрик Поиска вместе с командой аналитиков
• Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

• Опыт в роли аналитика данных / инженера данных от 3-х лет
• Уверенные знания Python и SQL
• Умение проектировать DWH: слои, модели хранения данных, процессы ETL
• Понимание принципов работы распределённых систем Hadoop или YTsaurus, ClickHouse
• Опыт работы с Airflow, Luigi или другим оркестратором
• Понимание принципов работы инструментов мониторинга и умение настраивать алерты для отслеживания состояния ETL-процессов
• Знание основных алгоритмов и структур данных, особенно используемых в работе с большими данными