Казалось бы, что может быть проще, чем вставить данные в БД?! Но в Mail.ru это делают 2 года и ClickHouse не перестает удивлять.
Артём Шутак из Mail.Ru Group, проект Одноклассники. Их инсталляция — это примерно 1PB и 100 машин. И команда реально настрадалась: ClickHouse тормозил, данные дублировались и/или терялись, иногда просто не вставлялись.
В докладе подробно рассматривается задача вставки данных в ClickHouse для всех самых популярных use-case'ов:
- «домашняя» инсталляция на одном сервере;
- горизонтально масштабируемый кластер с репликацией данных между дата-центрами;
- особенности батчевой и стриминговой вставки.
Также напишем свой собственный классный механизм вставки в ClickHouse, который используется в Одноклассниках.
Приходите на доклад и Артём поделится тем, что знает про вставку в ClickHouse. Доклад нацелен на инженеров и архитекторов, как планирующих интегрировать ClickHouse в свою экосистему, так и тех, кто уже работает с ним, но не полностью доволен текущим положением дел.