Разработчики Spark знают, что DSL очень выразителен: во многих случаях его достаточно для большинства задач и нет необходимости выходить за границы его использования.
Однако джоба, по сути, такая же программа, как и все другие. Значит, можно работать над её дизайном: например, внедрять зависимости, делать конфигурирование и контролировать ресурсы. Такой код проще переиспользовать и тестировать, а также дешевле поддерживать.
В этом докладе Дмитрий расскажет, как писать на Spark функционально, используя Scala на максималках.