Go-разработчик в Информационная безопасность, Москва

Мы — команда разработки внутреннего решения для хранения и поиска данных. Наше решение обеспечивает выполнение требований безопасности ряда сервисов VK.

С нашим решением интегрированы 8 крупных продуктов VK, но нужно подключить ещё десятки сервисов. В хранилище для горячих поисковых запросов уже порядка 800 ТБ данных, и объёмы стремительно растут.Сейчас мы в поиске Go-разработчика, который будет принимать участие в поддержке и доработке существующих решений для data lake и dwh, а также в новых интеграциях с другими командами.

Основные обязанности будут включать в себя разработку новых ETL-процессов, организацию потоков данных, написание генераторов тестовых данных, улучшение наблюдаемости систем ETL.

Задачи

• Настройки и анализ дашбордов мониторинга системы (метрики мониторинга по сервисам передачи данных: полнота, процент потерь) и постановка задач на подготовку дополнительных дашбордов
• Анализ логов компонент системы для выявления проблем на различных участках интеграций
• Доработка/уточнение внутренних спецификаций на передачу данных (исправление ошибок в описании контрактов интеграций)
• Разработка новых ETL-процессов
• Организация потоков данных
• Написание генераторов тестовых данных
• Улучшение наблюдаемости систем ETL
• Работа с логами в ELK, Graylog

Требования

• Опыт анализа метрик по данным на дашбордах Grafana или в аналогичном инструменте визуализации метрик
• Опыт анализа логов в Kibana или аналогичном инструменте визуализации логов
• Опыт работы c Git
• Скрупулёзность и внимательность к деталям

Будет плюсом

• Знакомство с дизайн-паттернами интеграций (контракт по данным, контракт по API)
• Знакомство с архитектурными стилями организации межсервисного взаимодействия (REST, gRPC, MQ)
• Опыт работы с брокерами сообщений (Kafka, RabbitMQ или аналоги)
• Опыт работы в кросс-функциональных продуктовых командах