VK Tech x Database Internals Meetup #12

Приглашаем вас на двенадцатый митап сообщества Database Internals, организованный вместе с компанией VK Tech. Регистрация по ссылке: https://databaseinternals.timepad.ru/event/4166793/

Программа

18:00 — 19:00 Сбор гостей

19:00 — 20:00 DataFusion в Tarantool Column Store: ограничения движка и способы их обхода. Артем Новиков, Старший Backend-разработчик, Tarantool, VK Tech (со-автор доклада Альберт Скальт, Старший Backend-разработчик, Tarantool, VK Tech)

20:00 — 20:10 Перерыв

20:10 — 21:10 Marrying OLTP+OLAP with Dynamic Tables in YTsaurus. Руслан Савченко, Руководитель службы разработки динамических таблиц в Яндексе

21:00 — 23:00 Афтепати

Доклады

DataFusion в Tarantool Column Store: ограничения движка и способы их обхода.

Артем Новиков, Старший Backend-разработчик, Tarantool, VK Tech (со-автор доклада Альберт Скальт, Старший Backend-разработчик, Tarantool, VK Tech)

В докладе рассмотрим устройство колоночной СУБД для транзакционно-аналитической обработки данных в реальном времени Tarantool Column Store, где в качестве движка запросов используется DataFusion. Это достаточно известный движок с открытым исходным кодом и, казалось бы, легко расширяемый, с превосходной производительностью и богатым функционалом. Однако, тут есть свои нюансы и ограничения. Расскажем о тех, с которыми мы столкнулись при разработке TCS, и о том, какие решения приняли:
- как решили проблему высокого latency обработки запросов из-за перепланирования,
- как при разработке шардированного колоночного хранилища решали задачу обработки распределенных SQL запросов, какие идеи пробовали и на чем остановились,
- какие из патчей смогли уйти в upstream, а где пришлось идти на компромиссы.

Marrying OLTP+OLAP with Dynamic Tables in YTsaurus

Руслан Савченко, Руководитель службы разработки динамических таблиц в Яндексе

В базах данных принято различать OLTP и OLAP: первое требует большого количества небольших строго изолированных транзакций, тогда как второе предполагает гораздо более ресурсоёмкие запросы, но с гораздо меньшей частотой. СУБД обычно ориентированы на один из этих сценариев — если не по изначальному замыслу, то просто вследствие фокуса оптимизаций в течение жизненного цикла. Перенести тяжёлую OLAP‑нагрузку в СУБД, оптимизированную под OLTP — весьма непросто, однако в случае успеха можно получить ряд преимуществ: меньше систем для обслуживания, надёжные гарантии при загрузке данных, упрощённое распределённое шардирование.
В докладе будет рассказано о миграции масштабной базы данных из ClickHouse в динамические таблицы YTsaurus. ClickHouse — широко известная OLAP СУБД. Динамические таблицы YTsaurus — СУБД класса NewSQL, которая активно используется внутри Яндекса. Разберём, какую разработку мы провели, чтобы адаптироваться к модели данных ClickHouse, и какие оптимизации реализовали, чтобы динамические таблицы YTsaurus смогли обрабатывать аналитические запросы с нужной производительностью.

Мероприятие пройдет в офисе VK Tech, БЦ "Скайлайт", в конференц-зале Б1. Адрес БЦ: Ленинградский проспект, 39, стр. 80. Для прохода в здание нужен паспорт или права.

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.