Spark eventlog

Eventlog 示例

1. {
2.     "Event": "org.apache.spark.sql.execution.ui.SparkListenerSQLExecutionStart",
3.     "executionId": 0,
4.     "rootExecutionId": 0,
5.     "desc ription": "select round(a, 2), a from double_table",
6.     "details": "org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)\nsun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)\nsun.reflect.NativeMetho    dAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)\nsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)\njava.lang.reflect.Method.invoke(Method.java:498)\norg.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)\norg.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain    (SparkSubmit.scala:1029)\norg.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:194)\norg.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:217)\norg.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:91)\norg.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1120)\norg.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1129)\norg.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)",
7.     "physicalPlanDescription": "==   Physical Plan ==\n* Project (3)\n+- * ColumnarToRow (2)\n   +- Scan parquet spark_catalog.default.double_table (1)\n    \n\n(1) Scan parquet spark_catalog.default.double_table\nOutput [1]: [a#0]\nBatched: true\nLocation: InMemoryFileInde    x [file:/home/hadoop/files/double_table]\nReadSchema: struct<a:double>\n\n(2) ColumnarToRow [codegen id : 1]\nInput [1]: [a#0]\n\n(3) Project [codegen id : 1]\nOutput [2]: [round(a#0, 2) AS round(a, 2)#1, a#0]\nInput [1]: [a#0]\n\n",
8.     " sparkPlanInfo": {
9.         "nodeName": "WholeStageCodegen (1)",
10.         "simpleString": "WholeStageCodegen (1)",
11.         "children": [
12.             {
13.                 "nodeName": "Project",
14.                 "simpleString": "Project [round(a#0, 2) AS round(a, 2)#1, a#0]",
15.                 "children": [
16.                     {
17.                         "nodeName": "ColumnarToRow",
18.                         "simple String": "ColumnarToRow",
19.                         "children": [
20.                             {
21.                                 "nodeName": "InputAdapter",
22.                                 "simpleString": "InputAdapter",
23.                                 "children": [
24.                                     {
25.                                         "nodeName": "Scan parquet spark_catalog.default.double_table",
26.                                         "simpleString": "FileScan parquet spark_catalog.default.double_table    [a#0] Batched: true, DataFilters: [], Format: Parquet, Location: InMemoryFileIndex(1 paths)[file:/home/hadoop/files/d    ouble_table], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<a:double>",
27.                                         "children": [
29.                                         ],
30.                                         "metadata": {
31.                                             "Locat ion": "InMemoryFileIndex(1 paths)[file:/home/hadoop/files/double_table]",
32.                                             "ReadSchema": "struct<a:double>",
33.                                             "Format": "Par    quet",
34.                                             "Batched": "true",
35.                                             "PartitionFilters": "[]",
36.                                             "PushedFilters": "[]",
37.                                             "DataFilters": "[]"
38.                                         },
39.                                         "metrics": [
40.                                             {
41.                                                 "name": "number of     files read",
42.                                                 "accumulatorId": 5,
43.                                                 "metricType": "sum"
44.                                             },
45.                                             {
46.                                                 "name": "scan time",
47.                                                 "accumulatorId": 4,
48.                                                 "metricType": "timing"
49.                                             },
50.                                             {
51.                                                 "nam e": "metadata time",
52.                                                 "accumulatorId": 6,
53.                                                 "metricType": "timing"
54.                                             },
55.                                             {
56.                                                 "name": "size of files read",
57.                                                 "accumulatorId": 7,
58.                                                 "metricTyp e": "size"
59.                                             },
60.                                             {
61.                                                 "name": "number of output rows",
62.                                                 "accumulatorId": 3,
63.                                                 "metricType": "sum"
64.                                             }
65.                                         ]
66.                                     }
67.                                 ],
68.                                 "metadata": {
70.                                 },
71.                                 "metrics": [
73.                                 ]
74.                             }
75.                         ],
76.                         "met adata": {
78.                         },
79.                         "metrics": [
80.                             {
81.                                 "name": "number of output rows",
82.                                 "accumulatorId": 1,
83.                                 "metricType": "sum"
84.                             },
85.                             {
86.                                 "name": "number of input b    atches",
87.                                 "accumulatorId": 2,
88.                                 "metricType": "sum"
89.                             }
90.                         ]
91.                     }
92.                 ],
93.                 "metadata": {
95.                 },
96.                 "metrics": [
98.                 ]
99.             }
100.         ],
101.         "metadata": {
103.         },
104.         "metrics": [
105.             {
106.                 "name": "durat    ion",
107.                 "accumulatorId": 0,
108.                 "metricType": "timing"
109.             }
110.         ]
111.     },
112.     "time": 1741661558528,
113.     "modifiedConfigs": {
115.     },
116.     "jobTags": [
118.     ]
119. }

复制代码

1. == Physical Plan ==
2. * Project (3)
3. +- * ColumnarToRow (2)
4.    +- Scan parquet spark_catalog.default.double_table (1)

复制代码

对应于

1. ==     Physical Plan ==\n* Project (3)\n+- * ColumnarToRow (2)\n   +- Scan parquet spark_catalog.default.double_table (1)\n    \n\n

复制代码

1. (1) Scan parquet spark_catalog.default.double_table
2. Output [1]: [a#0]
3. Batched: true
4. Location: InMemoryFileIndex [file:/home/hadoop/files/double_table]
5. ReadSchema: struct<a:double>
7. (2) ColumnarToRow [codegen id : 1]
8. Input [1]: [a#0]
10. (3) Project [codegen id : 1]
11. Output [2]: [round(a#0, 2) AS round(a, 2)#1, a#0]
12. Input [1]: [a#0]

复制代码

对应于

1. "physicalPlanDescription": "==     Physical Plan ==\n* Project (3)\n+- * ColumnarToRow (2)\n   +- Scan parquet spark_catalog.default.double_table (1)\n    \n\n
2. (1) Scan parquet spark_catalog.default.double_table\nOutput [1]: [a#0]\nBatched: true\nLocation: InMemoryFileIndex [file:/home/hadoop/files/double_table]\nReadSchema: struct<a:double>\n\n(2) ColumnarToRow [codegen id : 1]\nInput [1]: [a#0]\n\n(3) Project [codegen id : 1]\nOutput [2]: [round(a#0, 2) AS round(a, 2)#1, a#0]\nInput [1]: [a#0]\n\n",

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。