[人民日报关注杨洋]数据湖DeltaLake进入Linux基金会

时间:2019-11-07 22:26:27 作者:深圳市靓家净水设备有限公司 热度:99℃
海清无毛猫迅雷罗斯西甲

近日,数据湖(data lakes)数据治理项目 Delta Lake进入Linux基金会,基金会表示将与Delta Lake共建数据湖开放标准。

Delta Lake 是一个存储层,为Apache Spark和大数据workloads提供ACID事务能力,其通过写和快照隔离之间的乐观并发控制(optimistic concurrency control),在写入数据期间提供一致性的读取,从而为构建在HDFS和云存储上的数据湖带来可靠性。

Linux基金会介绍,当前每个组织都希望通过数据科学、机器学习和分析从数据中获得更多价值,但由于数据湖内部缺乏数据可靠性,产生了极大的阻碍。Delta Lake通过使事务符合ACID标准来启用并发读取和写入,从而解决了数据可靠性挑战。它的架构实施能力有助于确保数据湖中没有损坏且不合格的数据。自2017年10月推出以来,Delta Lake已被4 000多家组织采用,每月处理超过2 exabyte(十亿字节)数据。

“将Delta Lake引入Linux基金会的中立组织之下,将有助于依赖该项目的开源社区开发解决存储和处理大数据(本地和云端)的技术”,Linux基金会战略计划副总裁Michael Dolan表示。

实际上Databricks的联合创始人是 Apache Spark项目的创建者,Spark目前已成为大规模数据处理事实上的标准,尽管Delta Lake最初设计为与Spark配合使用,但其目前已经发展出了一个蓬勃的开源社区,并增加了对其它开源数据系统的支持。

目前Delta Lake已经被成千上万的组织采用,包括Intel、阿里巴巴、Booz Allen Hamilton与Starburst等,并且他们也是其开源生态的重要贡献者。为了进一步推动Delta Lake开源生态的发展,Delta Lake背后的公司Databricks作出了将Delta Lake托管到 Linux基金会的决定。

Databricks的CEO兼联合创始人Ali Ghodsi表示:“我们的团队继续创建开源项目并为之做出贡献,因为我们知道这是最快、最全面的创新方式。为了解决组织的数据挑战,我们希望确保该项目以最真实的形式开源。通过Linux基金会社区的力量和贡献,我们相信Delta Lake将很快成为数据湖中数据存储的标准。”

相关阅读:

《InfoWorld 公布 2019 年最佳开源软件榜单,有你熟悉的吗?》

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:97996288@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。