Может кто-то в двух словах описать устройство и основную идею Apache Spark? Объяснить в терминах программиста, который бы попытался разработать spark. Типа, описать минимальный spark, который можно написать на коленке. Некая минимальная софтина, которая может быть прообразом spark. И так же на примере объяснить чем это отличается от hadoop.
На что софт тратит время в hadoop, чего не происходит в spark, за счёт чего spark быстрее и на каких задачах, а где всё-таки нельзя им заменить hadoop.