石小疯 发表于 2024-7-27 21:45:37

Spark实时(一):StructuredStreaming 先容

https://i-blog.csdnimg.cn/direct/6e7d2f9c32a2406abd9109a66f70b393.jpeg
文章目次
Structured Streaming 先容
一、SparkStreaming实时数据处置惩罚痛点
1、复杂的编程模式
2、SparkStreaming处置惩罚实时数据只支持Processing Time
3、微批处置惩罚,延迟高
4、精准消费一次问题
二、StructuredStreaming架构与场景应用
三、​​​​​​​​​​​​​​StructuredStreaming 特点
Structured Streaming 先容

一、SparkStreaming实时数据处置惩罚痛点

在Spark2.0之前版本中处置惩罚流式数据时使用SparkStreaming模块,SparkStreaming模块有一些痛点问题,问题如下:

1、复杂的编程模式

SparkStreaming编写代码是基于DStream举行,DStream底层是RDD操纵,编程时需要编写许多DStream API非常不方便。由于不同开发者编码水平不同,导致不同人编写相同业务逻辑程序实行效率也有很大不同。并且在SparkStreaming中编程时需要创建StreamingContext对象,如果想要使用SQL方式对实时数据举行处置惩罚,那么还需要创建SparkSession对象,编程方式非常不方便。

<
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: Spark实时(一):StructuredStreaming 先容