Data Engineer в ОК, Москва
Наша команда занимается анализом и хранением данных. Сейчас мы ищем человека на роль Data Engineer.
Вашей основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.
Задачи
- Разработка и оптимизация расчётов в Spark на YTsaurus
- Построение новых и рефакторинг старых ETL-процессов
- Доработка существующего фреймворка расчётов (Java + Spark)
- Миграция и внедрение новых технологий обработки данных
- Разработка отчётов в SuperSet
Требования
- Опыт работы с Spark, SQL и большими объёмами данных
- Опыт построения сложных ETL-процессов
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
- Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow
- Будет плюсом опыт работы с YTsaurus, YQL
Мы предлагаем
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи
Формат работы
комбинированный
дистанционный
Уровень
middle
График работы
полный
ОК
Команда OK.TECH объединяет сотни специалистов разработки, дизайна, маркетинга, машинного обучения, поддержки пользователей и не только. Каждый из нас влияет на то, каким увидят ОК миллионы пользователей.
Мы предлагаем
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи
