В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основные задачи команды – это построение и оптимизация ETL-процессов на базе Hadoop-стека.

Мы ожидаем хорошее понимание принципов распределённых вычислений, опыт работы с данными и навыки самостоятельного ведения задач и проектов.

Конкретный опыт с теми или иными технологиями не сильно критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без четких ТЗ, плотно взаимодействуя с заказчиком.

Задачи

• активное взаимодействия с продуктовыми командами для решения собственных задач;
• продвижение культуры работы с данными внутри команды и за её пределами;
• участие в определении направления развития data platform и ETL-фреймворка;
• построение новых и оптимизация существующих ETL-процессов, преимущественно на Spark + Java;
• Ad-hoc задачи по подготовке данных, их автоматизация;
• участие в доработках платформы и фреймворков для расчетов;
• анализ сырых данных, построение модели данных.

Требования

• опыт самостоятельного ведения проектов, прямого общения с бизнесом;
• опыт продвижения своих идей, внедрения новых процессов работы с данными;
• уверенное понимание принципов и опыт работы с большими объемами данных и распределенными вычислениями;
• опыт работы или знакомство с Hadoop-стеком: в первую очередь, Spark + Java или Scala; знакомство с Kafka и Hive – будет плюсом;
• опыт построения сложных ETL-процессов;
• навыки разработки с применением концепций ООП;
• знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем.

Будет плюсом

• знакомство с Clickhouse;
• опыт продуктовой аналитики;
• знакомство с ML/DS, знание базовых идей и концепций;
• понимание основ теории вероятности/статистики.