В нашу большую и дружную HR команду мы ищем Data engineer.

Основной нашей задачей является автоматизация процессов подготовки и формирования аналитической отчетности. Наши заказчики — это команды подбора / поиска персонала, компенсации и льготы, направление по обучению и развитию, административный департамент и т.д. ё

Мы постоянно развиваем аналитическое хранилище данных, которое необходимо для построения интерактивных отчетов в BI-системе и добавляем в нашу архитектуру новые источники которые так или иначе связаны с HR. 

Сейчас мы в поиске инженера данных, который будет отвечать за интеграцию и настройку процессов связанных с качеством данных

Технологический стек: PostgreSQL, MySQL, REST API, Docker, Python, S3 MinIO, DBT, Airflow

Задачи

• Интеграция с внешними источниками;
• Проектирование хранилища данных;
• Разработка витрин данных по бизнес-требованиям;
• Разработка и оптимизация ETL/ELT процессов обработки данных;
• Разработка процессов Data Quality.

Требования

• В качестве разработчика Python/ETL не менее года;
• В области DWH не менее трех лет;
• Понимание теории построения DataLake, DWH, Data Mesh и т.д.;
• Опыт создания ETL/ELT пайплайнов для получения данных из различных потоков и источников данных;
• Опыт интеграции с разнородными источниками и форматами (CSV, XML, JSON, Avro, Parquet, SQL);
• Опыт написания собственных компонентов Airflow (hooks / operators / processors / triggers);
• Опыт разработки моделей DBT, использование инструмента для настройки DQ и в качестве построения Data Vault / Business Data Vault;
• Опыт работы с S3 API, знания как создать / удалить бакет, загрузить в него данные и выгрузить в другую систему.