近期，由快手开源并捐赠的向量化引擎Auron项目（原Blaze项目）正式进入全球最大开源基金会（ASF）的孵化器，移交到Apache软件基金会名下。这是Auron项目及其社区发展的重要里程碑，标志着项目可以依托ASF成熟的开源治理范式，融入全球开源共同体，获得更可 ...

在 6 月 10 日至 12 日于美国旧金山举行的 Databricks Data+AI 峰会上，Databricks 宣布将 Delta Live Tables（DLT）背后的技术贡献给 Apache Spark 项目，这个项目中，它将被称为 Spark 声明式管道（Spark Declarative Pipelines）。这一举措将使 Spark 用户更容易开发和维护流式管道，并 ...

点击“蓝色字”，关注我们哦！！ 数据质量检测是开发中绕不开的一环，尤其是处理大量用户输入或者外部数据的时候，稍有疏忽，系统就可能被“坑”得不轻。 今天聊聊一个超实用的库：Apache Commons Validator。它专注于数据验证，用起来简单又高效。我们会一 ...

Spark 内存计算框架在大数据处理领域内占有举足轻重的地位，2014 年 Spark 风靡 IT 界，Twitter 数据显示 Spark 已经超越 Hadoop、Yarn 等技术，成为大数据处理领域中最热门的技术，如图 1 所示。2015 年 6 月 17 日，IBM 宣布它的”百万数据工程师计划”，承诺大力推进 ...

Apache Spark是一个开源的、强大的分布式查询和处理引擎。它提供MapReduce的灵活性和可扩展性，但速度明显更高：当数据存储在内存中时，它比Apache Hadoop快100倍，访问磁盘时高达10倍。它于2010年开源，从一开始就对大数据和相关技术产生了明显影响，因为它很快 ...

分布式RPC 模型实现的一个实例就是 Apache Storm. Storm 实现了无边界元组的无状态毫秒级延迟处理，结合数据流作为喷发源使用了拓扑或定向环图的及时，提供了过滤， join, 聚合和转换. Storm 也实现了一个高层抽象叫做 Trident , 与Spark类似, 以微型批处理进行流式数据处理。

在此之前，已经完成了[Ubuntu16.04环境下安装配置Hadoop2.8.1集群](./installing-hadoop2.8.1-on-ubuntu.md)。本教程则是要在Windows环境下搭建 ...