Data Engineer в VK, Москва

Нашими продуктами и сервисами пользуется больше 95% аудитории рунета. Мы развиваем продукты и услуги для цифровизации бизнес-процессов — от интернет-продвижения и предиктивной аналитики до корпоративных соцсетей, облачных сервисов и автоматизации предприятий.

Задачи

• Построение новых и оптимизация существующих ETL-процессов 
• Написание и оптимизация сложных SQL-запросов
• Разработка отчётов и аналитических дашбордов
• Ad hoc задачи по подготовке данных, их автоматизация
• Участие в доработках платформы и фреймворков для расчётов
• Анализ сырых данных

Требования

• Опыт разработки на Python от года. Опыт с задачами по анализу и трансформацией данных
• Опыт работы с библиотеками Pandas/NumPy: группировки, агрегации, джойны/merge, ресейпы, очистка данных
• Базовое понимание сложности алгоритмов и умение выбирать более эффективные подходы (память/время)
• Опыт написания ETL-скриптов
• Понимание базовых практик качества данных (валидаторы, дедупликация, проверки типов)
• SQL на уровне запросов средней сложности: JOIN, GROUP BY, агрегатные функции

Будет плюсом

• Опыт работы с одной из систем визуализации: Superset, Redash
• Понимание оптимизации SQL-запросов
• Принципы написания чистого кода, Git
• Опыт работы с YT Saurus