Инженер доступности L3 (Kafka/Spark/Trino) в Дата-сервисы VK Tech, Москва

Наша команда занимается разработкой платформы данных.

Мы разрабатываем отказоустойчивую платформу, используя подходы микросервисной архитектуры. Уже сейчас в состав платформы входят все известные базы данных, PostgreSQL, ClickHouse, а также очереди по передаче и обработке сообщений — Kafka.

Используя накопленный нами опыт и знания работы высокопроизводительных, распределённых систем, мы помогаем крупным Enterprise-заказчикам надёжно хранить и обрабатывать большие объёмы данных. Мы разрабатываем Data Platform в публичном облаке VK Public Cloud / приватном облаке, а также в варианте поставки Standalone.

Задачи

• Обеспечение стабильной и безаварийной работы промышленных и тестовых сервисов VK DataPlatform в качестве L3 линии поддержки
• Участие в устранении инцидентов
• Решение обращений, поступающих на L3 линию поддержки
• Исполнение SLA по назначенным обращениям, инцидентам
• Сокращение time-to-market посредством развития автоматизации и прочее
• Обновление/модификация ППО и СПО на тестовых и промышленных стендах VK DataPlatform

Требования

• Высшее образование
• Опыт работы от пяти лет
• Богатый опыт Linux-администрирования (RHEL-based, Debian-based дистрибутивов)
• Понимание и умение решать проблемы со стеком TCP/IP
• Знание сетей, балансировщиков и операционных систем
• Понимание/знания в оборудовании, железе
• Знание оркестраторов и виртуализации
• Умение работать с контейнерами Docker и K8s
• Настройка и развёртывание мониторинга: graphite+grafana, prometheus+alertmanager
• Опыт администрирования очереди Kafka, умение работать с клиентскими библиотеками
• Опыт администрирования Trino или Spark, умение работать с клиентскими библиотеками
• Знание пользовательских интерфейсов
• Экспертные знания энтерпрайзных высоконагруженных систем, их архитектуры, систем управления и контроля
• Опыт работы с инструментами автоматизации
• Умение автоматизировать, в сложных случаях используя языки программирования
• Инструментарий: Kubernetes, Python, Bash, Nginx, HAProxy, Ansible

Будет плюсом

• Опыт работы с облаками (MCS/Aws/OpenStack/…)
• Умение работать с Helm charts
• Опыт написания инфра-тестов (Molecule, Test Kitchen, TestInfra, RSpec)
• Знание DBA
• Опыт администрирования баз данных ClickHouse, умение писать запросы