ToB企服应用市场:ToB评测及商务社交产业平台

标题: 05-快速理解SparkSQL的DataSet [打印本页]
作者: 小小小幸运    时间: 2024-5-15 06:29
标题: 05-快速理解SparkSQL的DataSet
1 定义

一个数据集是分布式的数据聚集。Spark 1.6增加新接口Dataset，提供
可从JVM对象构造Dataset，然后函数式转换（map、flatMap、filter等）操纵。Dataset API在Scala和Java中可用。
Python不支持Dataset API，但由于Python动态性子，许多Dataset API优点已经能利用（可通过名称天然访问行的字段row.columnName）。R的情况类似。
Python支持DataFrame API是因为DataFrame API是基于Python#Pandas库构建，而Pandas库提供强盛易用的数据分析工具集。因此，Spark提供对Pandas DataFrame对象的支持，使Python利用DataFrame API非常方便。Python的Pandas也提供强类型保证，使Spark可在保持动态特性同时提供类型查抄和类型推断。因此，虽Python不支持Spark的Dataset API，但它支持Spark的DataFrame API，这为Python用户提供一种方便的数据处置惩罚方式。
2 案例
  1. package com.javaedge.bigdata.cp04
  3. import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}
  5. object DatasetApp {
  7.   def main(args: Array[String]): Unit = {
  8.     val projectRootPath = "/Users/javaedge/Downloads/soft/sparksql-train"
  9.     val spark = SparkSession.builder()
  10.       .master("local").appName("DatasetApp")
  11.       .getOrCreate()
  12.     import spark.implicits._
  14.     // 创建一个包含一条记录的Seq，这条记录包含一个名为 "JavaEdge" 年龄为 18 的人员信息
  15.     val ds: Dataset[Person] = Seq(Person("JavaEdge", "18"))
  16.       // 将Seq转换为一个Dataset[Person]类型数据集，该数据集只包含一条记录
  17.       .toDS()
  18.     ds.show()
  20.     val primitiveDS: Dataset[Int] = Seq(1, 2, 3).toDS()
  21.     primitiveDS.map(x => x + 1).collect().foreach(println)
  23.     val peopleDF: DataFrame = spark.read.json(projectRootPath + "/data/people.json")
  24.     val peopleDS: Dataset[Person] = peopleDF.as[Person]
  25.     peopleDS.show(false)
  26.     peopleDF.select("name").show()
  27.     peopleDS.map(x => x.name).show()
  29.     spark.stop()
  30.   }
  32.   /**
  33.    * 自定义的 case class，其中包含两个属性
  34.    */
  35.   private case class Person(name: String, age: String)
  37. }
  39. output：
  40. +--------+---+
  41. |    name|age|
  42. +--------+---+
  43. |JavaEdge| 18|
  44. +--------+---+
  46. 2
  47. 3
  48. 4
  49. +----+-------+
  50. |age |name   |
  51. +----+-------+
  52. |null|Michael|
  53. |30  |Andy   |
  54. |19  |Justin |
  55. +----+-------+
  57. +-------+
  58. |   name|
  59. +-------+
  60. |Michael|
  61. |   Andy|
  62. | Justin|
  63. +-------+
  65. +-------+
  66. |  value|
  67. +-------+
  68. |Michael|
  69. |   Andy|
  70. | Justin|
  71. +-------+
复制代码
3 DataFrame V.S Dataset
  1. val peopleDF: DataFrame = spark.read.json(projectRootPath + "/data/people.json")
  2. val peopleDS: Dataset[Person] = peopleDF.as[Person]
  3. peopleDS.show(false)
复制代码
  1. // 弱语言类型，运行时才报错
  2. peopleDF.select("nameEdge").show()
复制代码

编译期报错：

关注我，紧跟本系列专栏文章，咱们下篇再续！
作者简介：魔都技能专家兼架构，多家大厂后端一线研发履历，各大技能社区头部专家博主。具有丰富的引领团队履历，深厚业务架构和解决方案的积累。
负责：
现在主攻降低软件复杂性计划、构建高可用体系方向。
参考：
本文由博客一文多发平台 OpenWrite 发布！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4