Data Engineer в VK Видео

VK Видео — это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача — стать видеосервисом №1 в РФ.

Мы ищем Дата-инженера, который будет разрабатывать и поддерживать процессы по обработке и поставке данных кабинета автора VK Видео. На их основе пользователи кабинета смогут проводить аналитику своих видео.

Задачи

• Разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики;
• выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки;
• сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат.

Требования

• Опыт работы Дата-инженером/DWH-инженером/аналитиком-разработчиком от 3-х лет;
• SQL: Spark SQL, ClickHouse;
• знания базовых алгоритмов, Python;
• понимание работы кластеров MPP, таких как Hadoop (Spark), YTsaurus;
• опыт работы с Airflow;
• опыт разработки и поддержки витрин DWH;
• опыт работы с передачей данных во внешние системы (Backend сервиса) будет плюсом.