互联新闻：Cloudera的开源ApacheSpark引擎发行版上运行的CloudDataflow版本

这一举措的结果之一是在Cloudera的开源ApacheSpark引擎发行版上运行的CloudDataflow版本，用于大规模数据处理。Cloudera和Google于1月20日宣布了新的Dataflow“运行程序”，开发人员将可以将Dataflow管道作为目标，以便在云托管或本地Spark集群以及Google托管服务上执行。

CloudDataflow最引人注目的方面之一是它对可以同时执行批处理和流模式的流水线逻辑的支持，Cloudera数据科学高级总监JoshWills在该公司的博客中宣布了这一新发展。

Wills说，CloudDataflow的流传输功能比SparkStreaming所提供的先进，而其批处理执行引擎可优化不处理流数据的管道的性能。

CloudDataflow结合了Google多年来在内部用于大型数据处理的几种主要技术，包括MapReduce，FlumeJava批处理引擎和MillWheel流处理引擎。谷歌云平台团队的产品经理埃里克·施密特(EricSc​​hmidt)说：“数据流是我们对数据处理技术的综合投资。”他说：“从开发人员的角度来看，它是一种编程模型和一种托管服务。”

Google去年12月发布的CloudDataflowSDK为开发人员提供了一种编写结合了批处理和流处理功能的大数据应用程序的方式，而无需使用单独的编程模型或单独的基础结构来运行它们。

施密特说：“他们以前必须做的是运行一个不同的SDK。”他说：“您要么让一组用户执行静态的MapReduce批处理作业，要么就拥有另一个阵营[进行流分析]。”他说：“我们希望将批处理和流合并，并拥有一个组合的服务基础架构”，以同时运行这两种服务。

他说，Google于12月将SDK发布到开源社区，以确保将Dataflow也移植到其他执行环境。他说，ClouderaApacheSpark的发布是Google考虑到Dataflow方向的一个例子。

Google首次宣布Dataflow时的关键问题之一是，使用该编程模型的开发人员是否会被锁定在Google基础架构中以运行其管道。施密特说：“我们的策略是将SDK扩展到开源，以便他们可以将其扩展到其他环境。”

他说，随着周二的宣布，CloudDataflow现在可以在Google的基础架构，Spark集群或本地计算机上运行。

Google的举动旨在更好地将公司定位于服务和技术的新兴市场，以帮助企业从海量数据集中提取业务价值。多年来，许多公司在从事务处理系统，点击流，系统日志，机器传感器，移动设备和其他来源中收集各种数据方面已经做得更好。但是，由于传统数据库管理技术的局限性以及为大数据集构建数据处理基础架构所涉及的复杂性，他们一直在努力从中获取价值。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！