Проект Антиспам предоставляет возможность прикоснуться к high load и big data не на словах, а на деле: через нас проходят миллиарды писем и сообщений, которые необходимо обрабатывать и анализировать. Мы выявляем спам, фишинг, предоставляем платформу для категоризации писем.

Антиспам — один из стратегически важных проектов в компании, который предоставляет решения для таких проектов, как Почта, Агент, Мой Мир, My.Com и пр. Задача команды — создание системы, способной обнаруживать вредоносное содержимое в почте, сообщениях социальных сетей и блокировать доставку конечному пользователю.

Ищем в команду специалиста, который знает C++, имеет опыт (или желает его получить) написания отказоустойчивых сетевых сервисов и хорошо знаком с Linux. В нашей команде принято уделять много внимания тестированию и улучшению качества наших сервиcов. Ты будешь участвовать в проектировании архитектуры и дизайна одного из самых высоконагруженных проектов Mail.ru. 

У нас используются различные технологии и инструменты, основные среди них: С, lua, redis-cluster, tarantool, memcached, mysql, hadoop (hbase, hdfs), kafka, grpc. 

И в завершении немного цифр: мы проверяем 1 млн писем в минуту, у нас 500 серверов, 40+ сервисов, работающих в k8s (более 7000 подов), размер hadoop-кластера 5+ PB.

Задачи, которые мы решаем:
главный сервис: платформа для проверки писем. Бизнес-логика написана на lua, а сам сервис написан на C++. Он обрабатывает больше 1 млрд сообщений в сутки, каждое письмо разбирается на части, собираем статистику по большому числу признаков, вычисляем частотность текстовых блоков, с помощью машинных классификаторов анализируются все элементы письма и много другой работы. И на все это в среднем у нас есть 350 миллисекунд;
сервис агрегации статистики: Он хранит количество отправленных хороших писем, подозрительных писем и много других цифр для каждого домена, ip-адреса и т.д. в интернете — это миллионы событий каждую минуту;
сервис выявления логотипов компаний на изображении: Сервис работает на GPU, используя машинное зрение, и успевает анализировать до 1 млрд изображений в сутки;
активно взаимодействуем с командой Machine Learning, которая предоставляет различные модели для исполнения на нашей платформе;
адаптируем наши сервисы под постоянно изменяющиеся условия реального мира (наши сервисы не попадают в стол, а постоянно развиваются).

Задачи

• разработка на C++/Go ядра антиспама;
• разработка и улучшение парсеров, систем статистики и т.п.;
• разработка и оптимизация клиент-серверной архитектуры системы;
• поддержка высокопроизводительного smtp-фронтенда;
• обработка большого потока сообщений в real-time.

Требования

• отличное знание c++- стремление к написанию качественного кода и покрытие его тестами;
• коммуникабельность (тебе придется взаимодействовать с другими командами, согласовывать интерфейсы и дизайн);
• самостоятельность, аккуратность и ответственность;
• хорошее знание ОС Linux (как инструментов, так и API);
• знание классических алгоритмов и структур данных.

Будет плюсом

• знание Go;
• работа с асинхронным IO (libevent, epoll, boost::asio);
• знание сетевых протоколов (особенно HTTP, SMTP, GRPC и TCP/UDP);
• знание основ работы с базами данных (РСУБД, NoSQL, In-memory).