День 3
RU
В этом докладе Екатерина хочет рассказать о том, почему в Ситимобил выбрали именно Exasol в качестве СУБД для хранилища, а Data Vault в качестве модели данных.
Екатерина Колпакова
Ситимобил
Начало основного контента
Доклады
День 3
RU
В рамках этого доклада мы изучим Data Modelling Methodology, пошагово рассмотрим основные принципы создания эффективной модели данных. Ознакомимся с типичными кейсами и частыми ошибками, изучим правила, которые помогут вам выжать максимум из вашей СУБД и избежать распространённых проблем.
Александр Волочнев
Datastax
День 1
RU
В этом докладе мы поговорим о том, как собирать ETL, не выходя из любимой IDE. С помощью плагина Big Data Tools позволяет работать с ноутбуками Zeppelin, мониторить приложения Hadoop и Spark, смотреть облачные файловые системы — и всё это не переключаясь на консоль, браузер и другие инструменты.
Олег Чирухин
JetBrains
День 4
EN
Learn how lakeFS simplifies the management of a Data Lake by enabling git-like operations over files in object storage. See how common processes like experimentation, reproducing data and ensuring data quality are simplified with workflows centered around branching, committing, and the merging of data.
Itai Admi
Treeverse
День 2
RU
Говорим о расписании, сессиях и активностях. Подключайтесь, чтобы узнать, что вас будет ждать в эфире в ближайшее время!
Паша Финкельштейн
JetBrains
Сергей Бойцов
JetBrains
День 2
RU
В докладе Кирилл расскажет, как МТС смогли запустить AI-сервис компьютерного зрения на EDGE устройствах в 500 офисах компаний. С каким подводными камнями команда столкнулась и как они смогли поддерживать весь флот устройств в актуальном состоянии, обрабатывать и проверять данные со всех офисов.
Ash Berlin-Taylor
Astronomer.io
День 3
RU
Существует несколько вариантов как вставить данные в ClickHouse правильно, и еще больше как сделать это неправильно. Поговорим о том, как стоит добавлять данные в ClickHouse, какие есть подводные камни и как их избежать.
Артем Шутак
Одноклассники
День 3
RU
В докладе будут обсуждаться темы открытой архитектуры Data Lake, форматы данных Apache Parquet и Apache Arrow. Зачем нужны форматы таблиц Apache Iceberg и Deltalake, и как проект Nessie поможет выстроить SQL Lakehouse на Data Lake.
Виктор Кесслер
Dremio
День 3
RU
Тематическая дискуссия не записывается Apache Calcite — фреймворк, который позволяет добавить SQL-интерфейс к любому приложению. В данной лайвкодинг-сессии мы научим воображаемую СУБД выполнять SQL-запросы.
Владимир Озеров
Querify Labs
День 4
RU
Дмитрий расскажет о том, как организовать доступ и работу с данными специалистам разного профиля — инженерам, аналитикам, дата-сайентистам. Расскажет, как эволюционировали подходы к выделению вычислительных ресурсов и организации доступа, как менялся набор инструментов и подходов к моделированию, как развивались подходы к выводу результатов в промышленную эксплуатацию.
День 2
RU
Реализация Airflow SaaS в частном облаке K8s и опыт миграции с Airflow 1.x на Airflow 2.x SaaS.
День 2
EN
This talk focuses on techniques employed in hybrid storage systems to reduce cloud footprint and improve efficiencies.
Tejas Chopra
Netflix
День 1
RU
Хранилище данных в Авито появилось уже больше 7 лет назад. За это время бизнес вырос в несколько раз, а инфраструктура значимо усложнилась. Евгений расскажет о том, как продуктовый подход к разработке платформы помогает решать десятки аналитических задач ежедневно без кратного роста команды DWH.
Евгений Николаев
Авито
День 1
EN
In this talk, Andy will discuss the challenges in using ML to optimize DBMS knobs and the solutions we developed to address them. My presentation will be in the context of the OtterTune database tuning service. Andy will also highlight the insights learned from real-world installations of OtterTune for MySQL, Postgres, and Oracle.
Andy Pavlo
Carnegie Mellon University
День 3
RU
Практически любая компания, оперирующая данными, быстро приходит к необходимости хранить и обрабатывать их в разных системах в зависимости от задач. В таком мире возникает запрос на сервис, который сможет быстро и эффективно перекладывать данные между этими мирами. Для решения данной задачи в Яндексе разработали Data Transfer и Андрей планирует рассказать о нем поподробнее.
Андрей Терехов
Яндекс
День 4
RU
Подводим итоги, вспоминаем яркие моменты и рассказываем о дальнейших планах. Заходите на трансляцию, чтобы ничего не пропустить!
Ксения Томак
Dodo Engineering
Сергей Бойцов
JetBrains
День 2
RU
Распределенные SQL-движки должны эффективно обрабатывать данные, расположенне на нескольких серверах. В докладе Владимир расскажет на примере Apache Flink и Presto, как устроены распределенные SQL-движки, и какие подходы они используют для увеличения производительности запросов.
Владимир Озеров
Querify Labs
Алексей Гончарук
Querify Labs
Николай Валиотти
Valiotti Analytics
День 2
EN
In this session, we will go in deep, with practical examples, on how to map external data with Vertica, which are the Vertica options to push down the queries to external data repositories and the technologies behind it. Differences between Vertica and some other solutions will also be explained.
День 2
RU
Поговорим о том, как прежде чем сделать какие-то изменения в пайплайне в производственной среде, нужно оценить потенциальное влияние на систему. Вы узнаете, что иногда пайплайн настолько сложный и запутанный в зависимостях, что предсказать финал, не проводя экспериментов, практически невозможно.
Артем Юдовин
Profitero
День 1
RU
Говорим о расписании, сессиях и делимся информацией. Подключайтесь, чтобы узнать, что вас будет ждать в эфире в ближайшее время!
Паша Финкельштейн
JetBrains
Игорь Мосягин
Klarna
День 4
RU
Тематическая дискуссия не записывается!
Мы поговорим про Hudi, DeltaLake, Iceberg и другие хранилища. Квази-изменяемые хранилища не только одна из самых горячих тем, но еще и довольно мистическая. Обсудим, что сейчас есть на рынке и куда это всё движется.
Паша Финкельштейн
JetBrains
Олег Чирухин
JetBrains
День 1
EN
In this talk Sabir will walk you through physical data layout optimizations available with Delta Lake. It will discuss factors that make a query execute fast.
Sabir Akhadov
Databricks Inc
День 3
RU
Говорим о расписании, сессиях и активностях. Подключайтесь, чтобы узнать, что вас будет ждать в эфире в ближайшее время!
Ксения Томак
Dodo Engineering
Максим Стаценко
Яндекс
День 3
RU
В рамках этого доклада мы изучим Data Modelling Methodology, пошагово рассмотрим основные принципы создания эффективной модели данных. Ознакомимся с типичными кейсами и частыми ошибками, изучим правила, которые помогут вам выжать максимум из вашей СУБД и избежать распространённых проблем.
Александр Волочнев
Datastax
День 3
RU
В этом докладе будет рассматриваться ETL-инструмент NiFi – поговорим о его плюсах и минусах, инструментах и способах мониторинга, о процессе разработки для большого числа команд.
Дмитрий Ибрагимов
Leroy Merlin
День 4
RU
Роль инженера данных важна и критична. Но какими скиллами он должен обладать, насколько хорошо знать код, алгоритмы и data science? Дмитрий смог выделить 2 типа инженеров данных и расскажет про них в этом докладе.
Дмитрий Аношин
Microsoft
День 3
EN
Is it possible to set up Spark so it never touches hard drives and hence be memory-fast? That's the question that Jacek is going to answer during the talk. You'll know a bit about the internals of Apache Spark and what parts are or could be memory-only and what challenges it poses.
День 1
RU
В этом докладе поговорим про использование Trino. Вас ждет работа с данными из первоисточников, объединение и обогащение их, запросы с субсекундной скоростью. Обсудим скрытые возможности, новые функциональности, что есть в проекте или в его форках.
Артем Алиев
Huawei
День 4
RU
BigData МТС выросла и заматерела, но некоторые проблемы, которые получили при наработке ML, все еще остаются. И, как выяснилось, они не одиноки в своей борьбе с ними.
День 3
RU
Тематическая дискуссия не записывается!
Паша имеет огромный опыт в различных областях IT — от разработки и дата-инженерии до менеджмента и системного администрирорвания. Мы пообщаемся с Пашей о том, какие сейчас существуют тренды, из чего состоит жизнь дата-инженера и что поменялось на протяжении последних лет.
Паша Финкельштейн
JetBrains
Олег Чирухин
JetBrains
День 4
RU
Участники дискуссии постараются затронуть разные каверзные вопросы в духе «насколько удобно хранить сырые данные НЕ в HDFS» и «можно ли просто всех пересадить на SQL-движок». А также «можно ли вызвать демона словами Data Mesh, Delta Lake, Anchor» и «как делать Kappa-архитектуру в реальной жизни и что это вообще такое».
День 3
RU
В докладе Дмитрий расскажет о специфике работы команд DS и их инфраструктуре в Ozon.
Дмитрий Гронский
Ozon
День 1
RU
В этом докладе Дмитрий расскажет, как писать на Spark функционально, используя Scala на максималках.
Дмитрий Зуев
Ozon
День 4
RU
В этом докладе обсудим из чего состоит жизнь дата-инженера и как можно ему помочь, используя Big Data Tools.
Паша Финкельштейн
JetBrains
День 2
EN
In this talk, Ton will discuss how to get faster and more secure access to data for testing purposes, by generating private data that (a) emulates the state of a dataset/database and (b) increases testing coverage. There are several tools available on OSS, but usually, the devil is in the detail.
Ton Badal
Synthesized
День 4
RU
Говорим о расписании, сессиях и активностях. Подключайтесь, чтобы узнать, что вас будет ждать в эфире в ближайшее время!
Ксения Томак
Dodo Engineering
Сергей Бойцов
JetBrains
День 1
RU
Erasure coding в Hadoop 3: история о том, как стремление к разумной экономии может обернуться (почти) катастрофой, и о том, как ее не допустить. Основано на реальных петабайтах данных и море слез.
Денис Ефаров
Одноклассники
День 2
RU
Projector — это опенсорсная технология, позволяющая запускать на удаленных серверах IDE на основе IntelliJ и произвольные приложения на фреймворке Swing. Теперь вы можете открыть свою IDE прямо в браузере, где бы вы ни находились. Давайте заглянем, что там под капотом.
Олег Чирухин
JetBrains
День 2
RU
В своем докладе Артур рассмотрит все стороны построения системы удаленной идентификации пользователей в вебе с учетом современных технических и юридических реальностей.
Артур Хачуян
Tazeros
Роман Кондаков
Querify Labs
День 1
RU
Доклад Ивана будет посвящён работе по созданию каталога данных DataCrafter на базе MongoDB, на основе больших разнородных общедоступных данных сложных форматов из неуправляемых источников.
Иван Бегтин
Инфокультура
День 4
EN
You'll be introduced to Exasol, the world's fastest analytical database. You will discover how Exasol can simplify your life and make having a data warehouse fun again.
Valerie Wiedemann
EXASOL
Christian Langmayr
Exasol
День 1
RU
В этом докладе Евгений и Николай хотели бы рассказать, как мечты об архитектурной красоте разбиваются о будни реальности.
Николай Гребенщиков
Яндекс Go
Евгений Ермаков
Яндекс Go
День 1
RU
За последние десять лет облачные технологии совершили огромный шаг вперед и кардинально поменяли то, как мы подходим к построению систем. В этом докладе мы обсудим, как современные возможности облачной инфраструктуры меняют ключевые принципы и архитектуру баз данных. Мы посмотрим, как разделение compute и storage составляющих базы данных позволяет улучшить масштабируемость и доступность системы, обеспечивая при этом более предсказуемую стоимость для конечных пользователей.
Алексей Гончарук
Querify Labs
Кирилл Рыбачук
Cherry Labs
День 2
RU
Представьте, что компании нужно выстроить мощную аналитическую платформу. ManyChat создал такую конфигурацию, выбирая новейшие инструменты исходя из максимального удобства и минимизации стоимости владения. Николай планирует описать процесс выбора на каждом этапе построения платформы, возможные риски и итоговый опыт использования.
Николай Голов
ManyChat
Vishnu Chanderraju
eyeota.com
