Data Engineer в Коммуникационные платформы, Москва

Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей.

Задачи

• Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
• Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
• Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
• Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
• Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
• Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
• Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
• Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
• Использовали Airflow, Luigi или другой оркестратор
• Умеете выбирать технологии для решения конкретных задач
• Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Эффективно общаетесь с людьми, находите общий язык с разными специалистами