Spark软件是由美国加州DX伯克利分校的AMP实验室(UC Berkeley AMP lab)所开发并开源的通用并行计算框架,它以其类似于Hadoop MapReduce的特性而闻名,同时具备MapReduce的一系列优势,与MapReduce不同的是,Spark能够将Job中间的输出结果存储在内存中,从而无需依赖HDFS进行读写操作,这一特性使得Spark在数据挖掘和机器学习等需要迭代的MapReduce算法中表现尤为突出。
0
Spark软件是由美国加州DX伯克利分校的AMP实验室(UC Berkeley AMP lab)所开发并开源的通用并行计算框架,它以其类似于Hadoop MapReduce的特性而闻名,同时具备MapReduce的一系列优势,与MapReduce不同的是,Spark能够将Job中间的输出结果存储在内存中,从而无需依赖HDFS进行读写操作,这一特性使得Spark在数据挖掘和机器学习等需要迭代的MapReduce算法中表现尤为突出。