Технический департамент VK объединяет специалистов, которые управляют IT-инфраструктурой всей компании. Мы в ответе за бесперебойную работу высоконагруженных систем и сервисов, за сеть передачи данных, развитие сети центров обработки данных и сервисов для наших сотрудников.

Задачи

• Работа с DWH, проектирование схем для хранения данных;
• загрузка данных из различных источников в DWH;
• автоматизация data-pipelines, ETL-процессов;
• поиск ошибок и аномалий в данных; 
• автоматизация проверок качества данных;
• подготовка витрин данных;
• подготовка и поддержание в актуальном состоянии каталога метаданных. 

Требования

• Опыт разработки корпоративных хранилищ данных на ClickHouse/PostgreSQL/Greenplum; 
• опыт работы с Apache Superset; 
• знание различных схем организации структуры данных (звезда, снежинка, staging, ODS, DDS, Datamart);
• опыт работы с различными источниками данных: СУБД, веб-сервисы, текстовые файлы;
• понимание методологий Kimball/Inmon, Data Vault, Anchor;
• опыт разработки на Python;
• понимание принципов организации хранилищ данных, принципов работы колоночных БД.