互联新闻：Google宣布CloudDataflowSDK的开放源代码可用性

2021-05-18 14:06:06 来源：用户：

科技、数码、互联网新闻如今都成为了大众所关注的热点了，因为在我们的生活当中如今已经是处处与这些相关了，不论是手机也好，电脑也好，又或者是智能手表也好，与之都相关，那么今天小编也是为大家来推荐一篇关于互联网科技数码方向的文章，希望大家会喜欢哦。

Google使软件开发人员更容易编写应用程序并将其与其CloudDataflow托管服务集成，以处理大型数据集。该公司于12月18日向开源社区发布了一个用于CloudDataflow的Java软件开发套件，该套件描述为旨在推动围绕该技术的应用程序开发的工作。

Google软件工程师SamMcVeety在博客中表示，将SDK开源后，其想法还在于帮助开发人员将CloudDataflow移植到其他语言和其他服务执行环境。

McVeety写道：“可重用的编程模式是提高开发人员效率的关键因素。”他说：“CloudDataflowSDK引入了用于批处理和流数据处理的统一模型”，开发人员可以通过创新的新方式加以利用。

McVeety说：“我们期待着共同构建一个系统，该系统能够为所有背景的用户提供分布式数据处理。”

谷歌在6月的GoogleI/O会议上宣布了CloudDataflow，这是一项托管服务，可帮助企业实时和以批处理方式提取和分析大量数据集。

该公司将CloudDataflow描述为基于MapReduce的技术以及Flume和MillWheel等最新技术，Google在内部使用了所有这些技术来分析真正的海量数据存储。

通过整合所有这些技术的要素，Google希望提供一种数据处理服务，从而使公司能够灵活地对大型数据集进行批处理分析，以及对流进数据库的数据进行近乎实时的分析。它还将使公司能够摄取数据并分阶段存储数据，以供其他分析工具和服务(例如Google自己的BigQuery)使用。

对于希望从大数据中获取业务价值的公司而言，这种功能至关重要。云服务，移动设备和传感器技术的激增使企业可以从无数来源收集越来越多的数据。挑战一直是寻找一种方法来组织和管理数据，从而从中获取业务价值。

亚马逊是最大的云服务提供商之一，已经提供了一项称为Kinesis的托管服务，该服务类似于Google计划通过CloudDataflow推出的服务。亚马逊将Kinesis视为一项用于大规模实时处理流数据的服务。它旨在作为一项服务来帮助公司捕获，存储和分析从在线交易，Web日志，社交媒体源和移动设备中提取的TB级数据。

借助CloudDataflow，Google希望能够为开发人员和企业提供类似的功能。McVeety在他的博客文章中指出：“数据的价值在于分析-以及分析所产生的情报。

“随着数据集变得庞大并分布在不同的存储系统中，将数据转换为智能可能会非常具有挑战性。此外，对实时分析的需求不断增长，从数据集提取价值的障碍也对开发人员构成了巨大的挑战，”他说。

标签： Google宣布CloudDataflowSDK的开放源代码可用性

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。如有侵权请联系删除！