Scala聚集计算高级函数及案例

打印 上一主题 下一主题

主题 1960|帖子 1960|积分 5880

一、说明
1.过滤:遍历聚集,获取满意指定条件的元素组成新聚集
2.转化 / 映射(map):将聚集中的每个元素映射到某一个函数
List(1, 2, 3, 4, 5, 6, 7, 8, 9)中每个元素加 1,得到List(2, 3, 4, 5, 6, 7, 8, 9, 10)。
3.扁平化:将嵌套聚集睁开成单一聚集。nestedList.flatten把List(List(1, 2, 3), List(4, 5, 6), List(7, 8, 9))转化为List(1, 2, 3, 4, 5, 6, 7, 8, 9)
4.扁平化 + 映射(flatMap):先进行 map 操作,再进行 flatten 操作wordList.flatMap(x => x.split(" "))把List("hello world", "hello zpark", "hello scala")中的每个字符串按空格拆分后合并成List("hello", "world", "hello", "zpark", "hello", "scala")。
5.分组(group):按照指定规则对聚集元素分组
6.简化(归约):通过指定逻辑聚合聚集数据。reduceLeft与reduce底层实现相似,reduceRight计算次序相反
7.折叠(fold):化简的特别情况



  • reduce方法
Reduce 简化(归约) :通过指定的逻辑将聚集中的数据进行聚合,从而镌汰数据,最终获取结果。



  • Fold方法
Fold 折叠:化简的一种特别情况。




  • 平常 WordCount 案例
实现对聚集中单词计数并取排名前三结果。步骤为将字符串拆分成单词、雷同单词分组、统计单词出现次数、按计数降序排序、取前三个结果。
对List("Hello Scala Hbase kafka", "Hello Scala Hbase", "Hello Scala", "Hello")操作后可得到出现次数前三的单词及次数。


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
继续阅读请点击广告

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

花瓣小跑

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表