Артем Юдовин
Profitero
Начало основного контента
День 2
RU
Команда Profitero столкнулась со следующей проблемой: была одна огромная ETL-джоба, которая состоит из множества итераций, где каждая итерация это методология. Предположим, мы хотим применить изменения на итерацию i, это повлияет на итерацию i+1, потому что она вычисляется на основе результатов итерации i.
Возникают следующие вопросы:
Технологии: Apache Spark, Apache Airflow, Jupyter, Apache Zeppelin, Docker Swarm, LakeFS.
Аудитория: доклад будет интересен тем, кто сталкивается с проблемой проведения экспериментов в пайплайнах.
Profitero
Profitero