openGauss内核分析:SQL by pass & 经典执行器

打印 上一主题 下一主题

主题 889|帖子 889|积分 2667

摘要:执行引擎一般负责查询的执行,执行引擎在SQL执行栈中起到接收优化器生成的执行计划Plan、并对通过存储引擎提供的数据读写接口,实现对数据进行计算得到查询的结果集。
本文分享自华为云社区《openGauss内核分析(七):SQL by pass & 经典执行器》,作者:Gauss松鼠会 。
执行引擎一般负责查询的执行,执行引擎在SQL执行栈中起到接收优化器生成的执行计划Plan、并对通过存储引擎提供的数据读写接口,实现对数据进行计算得到查询的结果集。
在典型的OLTP场景中,简单查询占了很大一部分比例。这种查询的特征是只涉及单表和简单表达式的查询,因此为了加速这类查询,openGauss提出了SQL by pass框架,在parse层对这类查询做简单的模式判别后,进入到特殊的执行路径里,跳过经典的执行器执行框架,包括算子的初始化与执行、表达式与投影等经典框架,直接重写一套简洁的执行路径,并且直接调用存储接口,这样可以大大加速简单查询的执行速度。
SQL by pass

enable_opfusion用于控制是否对简单增删改查进行优化,简单insert语句在开启enable_opfusion时的执行计划如下
由于开启SQL BY PASS,从exec_simple_query过来的语句,会判断可以走SQL BY PASS,否则进入CreatePortal走经典执行流程。
  1. static void exec_simple_query(const char* query_string, MessageType messageType, StringInfo msg = NULL)
  2. {
  3.     …
  4. /* SQL bypass */
  5. if (runOpfusionCheck) { // 进入SQL by pass
  6.             (void)MemoryContextSwitchTo(oldcontext);
  7. void* opFusionObj = OpFusion::FusionFactory(
  8.                 OpFusion::getFusionType(NULL, NULL, plantree_list), oldcontext, NULL, plantree_list, NULL);
  9. if (opFusionObj != NULL) {
  10.                 ((OpFusion*)opFusionObj)->setCurrentOpFusionObj((OpFusion*)opFusionObj);
  11. if (OpFusion::process(FUSION_EXECUTE, NULL, completionTag, isTopLevel, NULL)) {
  12.                     CommandCounterIncrement();
  13.                     finish_xact_command();
  14.                     EndCommand(completionTag, dest);
  15.                     MemoryContextReset(OptimizerContext);
  16. break;
  17.                 }
  18.                 Assert(0);
  19.             }
  20.             (void)MemoryContextSwitchTo(t_thrd.mem_cxt.msg_mem_cxt);
  21.         }
  22. /*
  23.          * Create unnamed portal to run the query or queries in. If there
  24.          * already is one, silently drop it.
  25.          */
  26.         portal = CreatePortal("", true, true); // 经典执行流程
  27.     …
  28. }
复制代码
进入InsertFusion::execute完成数据插入操作。
  1. #0  InsertFusion::execute (this=0x7fd93a4104f8, max_rows=9223372036854775807, completionTag=0x7fd933e67020 "@p\346\063\331\177")
  2.     at opfusion_insert.cpp:297
  3. #1 0x0000000001ac00d9 in OpFusion::fusionExecute (this=0x7fd93a4104f8, msg=0x0, completionTag=0x7fd933e67020 "@p\346\063\331\177",
  4.     isTopLevel=true, isQueryCompleted=0x0) at opfusion.cpp:453
  5. #2 0x0000000001ac0389 in OpFusion::process (op=0, msg=0x0, completionTag=0x7fd933e67020 "@p\346\063\331\177", isTopLevel=true,
  6.     isQueryCompleted=0x0) at opfusion.cpp:491
  7. #3 0x000000000193a910 in exec_simple_query (query_string=0x7fd966ad2060 "insert into t1 values(1,200);",
  8.     messageType=QUERY_MESSAGE, msg=0x7fd933e67210) at postgres.cpp:2624
复制代码
SQL by pass适应的场景有:

  • 只支持indexscan和indexonlyscan,且全部WHERE语句的过滤条件都在索引上。
  • 只支持单表增删改查,不支持join、using。
  • 只支持行存表,不支持分区表,表不支持有触发器。
  • 不支持active sql、QPS等信息统计特性。
  • 不支持正在扩容和缩容的表。
  • 不支持查询或者修改系统列。
  • 只支持简单SELECT语句,例如
  1. SELECT c3 FROM t1 WHERE c1 = ? and c2 =10;
复制代码
仅可以查询目标表的列,c1和c2列为索引列,后边可以是常量或者参数,可以使用 for update。

  • 只支持简单INSERT语句,例如:
  1. INSERT INTO t1 VALUES (?,10,?);
复制代码
仅支持一个VALUES,VALUES里面的类型可以是常量和参数,不支持returning。

  • 只支持简单DELETE语句,例如:
  1. DELETE FROM t1 WHERE c1 = ? and c2 = 10;  
复制代码
c1和c2列为索引列,后边可以是常量或者参数。

  • 只支持简单UPDATE语句,例如:
  1. UPDATE t1 SET c3 = c3+? WHERE c1 = ? and c2 = 10;
复制代码
c3列修改的值可以是常量和参数,也可以是一个简单的表达式,c1和c2列为索引列,后边可以是常量或者参数。
经典的执行器

关闭enable_opfusion,简单insert的执行计划是这样的
在这种执行流程中Portal是执行SQL语句的载体,每一条SQL对应唯一的Portal,不同的查询类型对应的Portal类型也有区别。
  1. typedef enum PortalStrategy {
  2.     PORTAL_ONE_SELECT, // SQL语句包含单一的SELECT查询
  3.     PORTAL_ONE_RETURNING, // INSERT/UPDATE/DELETE语句包含Returning
  4.     PORTAL_ONE_MOD_WITH, // 查询语句包含With
  5.     PORTAL_UTIL_SELECT, // 工具类型查询语句,如explain
  6.     PORTAL_MULTI_QUERY // 所有其他类型查询语句
  7. } PortalStrategy;
复制代码
Portal的生命周期管理在exec_simple_query函数中实现,该函数负责Portal创建、执行和清理。Portal执行的主要执行流程包括PortalStart函数、PortalRun函数、PortalDrop函数几个部分。其中PortalStart函数负责进行Portal结构体初始化工作,包括执行算子初始化、内存上下文分配等;PortalRun函数负责真正的执行和运算,它是执行器的核心;PortalDrop函数负责最后的清理工作,主要是数据结构、缓存的清理。
PortalRun函数根据查询类型进入不同的处理函数
  1. bool PortalRun(
  2.     Portal portal, long count, bool isTopLevel, DestReceiver* dest, DestReceiver* altdest, char* completionTag)
  3. {   
  4. switch (portal->strategy) {
  5. case PORTAL_ONE_SELECT:
  6.                 …
  7. case PORTAL_MULTI_QUERY: // insert从这里进入
  8.                 PortalRunMulti(portal, isTopLevel, dest, altdest, completionTag);
  9. /* Prevent portal's commands from being re-executed */
  10.                 MarkPortalDone(portal);
  11. /* Always complete at end of RunMulti */
  12.                 result = true;
  13. break;
  14. }
复制代码
最终执行ExecInsertT完成数据插入。
  1. #0  ExecInsertT (state=0x7fdbf1836060, slot=0x7fdbf0c86460, planSlot=0x7fdbf0c86460, estate=0x7fdbf0c74060, canSetTag=true,
  2.     options=0, partitionList=0x7fdbf3125860) at nodeModifyTable.cpp:800
  3. #1 0x0000000001a684cd in ExecModifyTable (node=0x7fdbf1836060) at nodeModifyTable.cpp:3043
  4. #2 0x00000000019f3f93 in ExecModifyTableWrap (node=0x7fdbf1836060) at execProcnode.cpp:785
  5. #3 0x00000000019f43b5 in ExecProcNode (node=0x7fdbf1836060) at execProcnode.cpp:1038
  6. #4 0x00000000019ed9d5 in ExecutePlan (estate=0x7fdbf0c74060, planstate=0x7fdbf1836060, operation=CMD_INSERT, sendTuples=false,
  7.     numberTuples=0, direction=ForwardScanDirection, dest=0x7fdbf13bb9c8, motJitContext=0x0) at execMain.cpp:2163
  8. #5 0x00000000019ea25a in standard_ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0)
  9.     at execMain.cpp:608
  10. #6 0x000000000181d6ef in explain_ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0)
  11.     at auto_explain.cpp:121
  12. #7 0x00000000019e9dee in ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0) at execMain.cpp:486
  13. #8 0x000000000194fed6 in ProcessQuery (plan=0x7fdbf0b7b2e0, sourceText=0x7fdbf13ba060 "insert into t1 values(1,200);", params=0x0,
  14.     isMOTTable=false, motJitContext=0x0, dest=0x7fdbf13bb9c8, completionTag=0x7fdbf3126020 "") at pquery.cpp:292
  15. #9 0x0000000001953fa1 in PortalRunMulti (portal=0x7fdbf0c7a060, isTopLevel=true, dest=0x7fdbf13bb9c8, altdest=0x7fdbf13bb9c8,
  16.     completionTag=0x7fdbf3126020 "") at pquery.cpp:1889
  17. #10 0x00000000019525e0 in PortalRun (portal=0x7fdbf0c7a060, count=9223372036854775807, isTopLevel=true, dest=0x7fdbf13bb9c8,
  18.     altdest=0x7fdbf13bb9c8, completionTag=0x7fdbf3126020 "") at pquery.cpp:1191
  19. #11 0x000000000193ac65 in exec_simple_query (query_string=0x7fdbf13ba060 "insert into t1 values(1,200);",
  20.     messageType=QUERY_MESSAGE, msg=0x7fdbf3126210) at postgres.cpp:2720
复制代码
以上分析了简单insert语句的两种执行流程,对于delete,update,select基本工作流程一致。
 
点击关注,第一时间了解华为云新鲜技术~

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

惊落一身雪

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表