Этапы построения платформы аналитических данных в облаках

Представьте, что компании нужно выстроить аналитическую платформу, включающую сбор данных с сервисов, доставку до слоев хранения (Data Lake, детализированные данные, витрины), выполнение расчетов (batching, streaming) и интеграцию с BI-инструментами (отчетность, ML).

За полтора года ManyChat решил эту задачу полностью в облаках (AWS), выбирая новейшие инструменты исходя из максимального удобства и минимизации стоимости владения. Победившая конфигурация основана на новейшей бессерверной базе Snowflake, а также ElastiCashe Redis, RDS PostgreSQL, Tableau, интегрированных посредством Python.

В этом докладе Николай планирует описать процесс выбора на каждом этапе построения платформы, возможные риски и итоговый опыт использования. Итоговая платформа содержит более 100 Тб данных, регулярно получает данные из десятков сервисов и поддерживает работу сотни пользователей аналитики.