更新时间:2021-01-05 来源:黑马程序员 浏览量:
Spark Streaming提供了一个高级抽象的流，即DStream（离散流）。DStream表示连续的数据流，可以通过Kafka、Flume和Kinesis等数据源创建，也可以通过现有DStream的高级操作来创建。DStream的内部结构如图1所示。
图1 DStream流的内部结构
从图1可以看出，DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段时间分隔开来的数据集。实际上，对DStream的任何操作，最终都会转变成对底层RDDs的操作。
猜你喜欢：
JavaEE
鸿蒙应用开发
集成电路应用开发
人工智能开发
AI+Linux云计算运维
Python+大数据开发
AI+设计
软件测试
新媒体+短视频
HTML&JS+前端
.jpg)