Системный администратор (DWH)

Системный администратор (DWH)

Откликнуться Порекомендовать
Бонус за рекомендацию: 70000 ₽

Тебе предстоит заниматься администрированием сервисов, которые работают с большими данными. Мы стремимся сделать единую точку аналитики в VK и ищем нового админа в команду, с которым мы смогли бы это сделать еще быстрее и успешнее.

Наш стек - это hadoop, kafka, spark, clickhouse, postgres. Часть сервисов сервисы написаны на Python, деплоятся в Kubernetes с использованием GitLab CI и puppet.Мы автоматизируем различные сценарии для удобной работы с данными.Для аналитики используются данные размером десятки петабайт.

Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK.

Задачи

  • администрирование приложений стека Hadoop (HDFS, Hive, YARN, Spark, Hue) и сервисов вокруг (FreeIPA, Jupyter, KVM);
  • администрирование распределенных БД (Vertica, Clickhouse);
  • внедрение дистрибутива Hadoop, разработанного в VK;
  • аудит и анализ существующих инсталляций Hadoop;
  • создание документации и инструкций

Требования

  • опыт работы с Configuration Management инструментами (Puppet/Ansible/Salt);
  • опыт администрирования и траблшутинга приложений стека Hadoop (HDFS, Hive, YARN);
  • опыт администрирования Linux (Centos);
  • опыт написания скриптов автоматизации (Bash/Python)

Будет плюсом

  • опыт настройки и эксплуатации нескольких кластеров Hadoop, объединенных в федерацию;
  • опыт интеграции LDAP/Kerberos с приложениями стека Hadoop (HDFS, Hive, YARN);
  • опыт работы с Vanilla Hadoop;
  • опыт работы с виртуализацией;
  • опыт работы с Docker, k8s;
  • опыт работы с git;
  • опыт работы с Apache Kafkа

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи

Формат работы

дистанционный

Уровень

senior

График работы

полный

Технический департамент

Команда технического департамента помогает бизнесу быстрее запускать сервисы и обеспечивать их надежность, производительность и безопасность, делать ежедневную работу сотрудников нашей компании удобной и приятной. Команда отвечает за общую инфраструктуру компании и развитие внутренних инструментов.

В технический департамент VK входит отдел эксплуатации, а также техническая поддержка, автоматизация внутренних процессов, информационная безопасность, сетевой отдел и департамент информационных технологий.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Интересные задачи

Похожие вакансии

Системный администратор Linux в Команду ВКонтакте

ВКонтакте
Москва, гибкий

NoSQL DBA

ВКонтакте
Москва, гибкий

Go разработчик в команду IAM VK Cloud

VK Cloud
Москва, гибкий

DevOps-инженер

VK tech
Москва, гибкий

SRE

Департамент исследований и образования
Москва, гибкий

Старший технический писатель

VK Cloud
Москва, гибкий

Python-разработчик в группу инфраструктурной разработки

Технический департамент
Москва, гибкий

Data Engineer в команду автоматизации ML-процессов

ВКонтакте
Москва, гибкий

Инфраструктурный Python разработчик в команду IaaS Network VK CS

VK Cloud
Москва, гибкий

Solution architect (Cloud Storage)

VK tech
Москва, гибкий

С разработчик в Tarantool

Tarantool
Москва, гибкий

Разработчик решений

Tarantool
Москва, офисный

Системный администратор Linux

Одноклассники
Санкт-Петербург, гибкий

Data Engineer

Data office
Москва, гибкий

Аналитик по монетизации

Рекламные технологии
Москва, офисный

Ведущий Python-разработчик в Scrooge в VK Cloud

VK Cloud
Москва, гибкий

SRE / Системный администратор Linux

Одноклассники
Москва, офисный

Data Scientist (проект "Дискуссии")

Одноклассники
Санкт-Петербург, комбинированный

Java разработчик в команду ВК Видео

ВКонтакте
Москва, гибкий

Руководитель команды Big Data Infrastructure

ВКонтакте
Санкт-Петербург, гибкий

Системный администратор Linux / SRE (Мессенджеры)

Технический департамент
Москва, гибкий

Cистемный администратор Linux / SRE (Cloud Solutions)

Технический департамент
Москва, гибкий

Системный администратор Linux / SRE (CorpCloud)

Технический департамент
Москва, гибкий

DevOps

VK tech
Москва, офисный

Руководитель направления информационной безопасности (cloud)

Технический департамент
Москва, гибкий

С++ разработчик

Поиск
Москва, офисный

Python разработчик в команду BigData

VK Cloud
Москва, гибкий

QA Automation (Python)

Антиспам
Москва, офисный

Системный администратор Linux / SRE

Технический департамент
Москва, гибкий

Системный администратор (Linux)

Технический департамент
Москва, гибкий

Openstack инженер

Технический департамент
Москва, офисный

Data-инженер (команда Big Data Infrastructure)

ВКонтакте
Санкт-Петербург, гибкий

Разработчик C++

Дзен
Москва, гибкий

Системный администратор (mac)

Технический департамент
Москва, гибкий

Big Data Platform Engineer

Одноклассники
Санкт-Петербург, гибкий

Системный администратор

VK Cloud
Москва, гибкий

Системный администратор Linux / SRE

VK
дистанционный

Специалист по ИБ (Cloud)

Технический департамент
Москва, гибкий

Java/Scala разработчик

Поиск
Москва, гибкий

Старший Python разработчик в команду BigData

VK Cloud
Москва, гибкий

Программист-исследователь в команду Пульс

Рекомендательные сервисы
Москва, гибкий

SRE в группу эксплуатации больших данных (Hadoop)

ВКонтакте
дистанционный

Ведущий пресейл-архитектор

VK Cloud
Москва, гибкий

Rust разработчик

Почта
Москва, гибкий

Сервис инженер / SRE (Private Cloud)

VK Cloud
Москва, гибкий

Python-разработчик

Голосовые технологии (Маруся)
Москва, гибкий

Разработчик C++

Поиск
дистанционный

Data Scientist (Антиспам)

Одноклассники
Санкт-Петербург, гибкий

Go разработчик в команду VDI

VK Cloud
Москва, гибкий

Senior QA Manual

myTarget: рекламная платформа VK
Москва, гибкий

Руководитель команды машинного обучения (VK Видео)

ВКонтакте
Москва, гибкий

Пресейл-архитектор

VK Cloud
Москва, гибкий