Data Engineer в VK, Москва

Задачи

• Разработка и сопровождение ETL-пайплайнов и типовых интеграционных решений в data platform
• Проектирование, реализация и оптимизация сложных ETL-процессов (в том числе разработка DAG для автоматизации)
• Реализация обработки потоковых данных
• Разработка решений с различными системами хранения и распределёнными SQL-движками
• Внедрение подходов и процессов управления данными

Требования

• Опыт работы на позиции дата-инженера от трёх лет
• Опыт работы с NiFi/AirFlow
• Опыт проектирования пайплайнов обработки данных и проверки качества данных
• Опыт работы с PostgreSQL, ClickHouse, S3/Hadoop
• Навыки построения дата-архитектуры
• Знание SQL
• Опыт работы с Power BI будет плюсом