Data Engineer в ОК, Москва

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer.

Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.

Задачи

• Построение новых и оптимизация старых ETL-процессов
• Участие в доработках платформы и фреймворка расчётов (Java, Spark)
• Разработка новых витрин данных для задач аналитики и A/B-экспериментов
• Разработка отчётов в SuperSet

Требования

• Опыт работы с SQL и большими объёмами данных
• Опыт построения сложных ETL-процессов
• Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
• Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow

Будет плюсом

Опыт работы с YTsaurus, YQL.