Spark实时(一):StructuredStreaming 先容
https://i-blog.csdnimg.cn/direct/6e7d2f9c32a2406abd9109a66f70b393.jpeg文章目次
Structured Streaming 先容
一、SparkStreaming实时数据处置惩罚痛点
1、复杂的编程模式
2、SparkStreaming处置惩罚实时数据只支持Processing Time
3、微批处置惩罚,延迟高
4、精准消费一次问题
二、StructuredStreaming架构与场景应用
三、StructuredStreaming 特点
Structured Streaming 先容
一、SparkStreaming实时数据处置惩罚痛点
在Spark2.0之前版本中处置惩罚流式数据时使用SparkStreaming模块,SparkStreaming模块有一些痛点问题,问题如下:
1、复杂的编程模式
SparkStreaming编写代码是基于DStream举行,DStream底层是RDD操纵,编程时需要编写许多DStream API非常不方便。由于不同开发者编码水平不同,导致不同人编写相同业务逻辑程序实行效率也有很大不同。并且在SparkStreaming中编程时需要创建StreamingContext对象,如果想要使用SQL方式对实时数据举行处置惩罚,那么还需要创建SparkSession对象,编程方式非常不方便。
<
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]