Data Engineer в VK Карты, Москва

Мы создаём картографические продукты и высоконагруженные сервисы на базе открытых данных OpenStreetMap. Наши сервисы применяются в большинстве проектов VK и в десятках продуктов наших партнёров.

Задачи

• Проектирование архитектуры и разработка пайплайна обработки геоданных;
• поддержка, развитие и оптимизация существующей кодовой базы;
• оценка трудозатрат;
• code review;
• написание unit-тестов.

Требования

• Отличные знания Python;
• опыт работы c Git;
• опыт реализации сложных SQL-запросов (PostgreSQL, PostGIS);
• опыт реализации сложных пайплайнов обработки данных (ETL);
• опыт проектирования БД.

Будет плюсом

• Опыт работы с очередями Kafka;
• опыт работы с платформами обработки данных, таких как Apache Airflow;
• опыт работы с Lua;
• опыт работы с OpenStreetMap.