Mysql Resultset 解析记录

罪恶克星  金牌会员 | 2025-2-18 04:33:14 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 854|帖子 854|积分 2562

效果集消息头

消息头由消息体长度+消息序列号+消息体组成；消息头长度为3字节，消息序列号长度为1字节。
效果集的消息头消息体内容为效果集的列数。
效果集消息头的spicy1格式如下：
  1. type header = unit {
  2.     osize : uint8[3];
  3.     seq : uint8;
  5.     on %done {
  6.         self.size = self.osize[2];
  7.         self.size = self.size << 8;
  8.         self.size = self.size + self.osize[1];
  9.         self.size = self.size << 8;
  10.         self.size = self.size + self.osize[0];
  12.     }
  13.     var size : uint32;
  14. };
复制代码
消息体的内容是效果集的列数，是一个整数；但是为了适配整数的范围，该参数采用了INT_ENC的体现形式，其界说格式如下：
  1. type INT_ENC = unit {
  2.     osize : uint8;
  3.     i2 : uint16  &byte-order=spicy::ByteOrder::Little if ((self.osize & 0xff) == 252);
  4.     i3 : uint8[3] if ((self.osize & 0xff) == 253);
  5.     i8 : uint64  &byte-order=spicy::ByteOrder::Little if ((self.osize & 0xff) == 254);
  6.     inull : uint8[0] if ((self.osize & 0xff) == 251);
  8.     on osize {
  9.         self.value = self.osize;
  10.     }
  11.     on i2 {
  12.         self.value = self.i2;
  13.     }
  15.     on i3 {
  16.         self.value = self.i3[2];
  17.         self.value = self.value << 8;
  18.         self.value = self.value +  self.i3[1];
  19.         self.value = self.value << 8;
  20.         self.value = self.value +  self.i3[0];
  21.     }
  23.     on i8 {
  24.         self.value = self.i8;
  25.     }
  26.    
  27.     on inull {
  28.         self.value = 0;
  29.     }
  31.     var value : uint64;
  32. };
复制代码
从以上界说可知，当列数小于251时，该范例数据占用的字节即为1字节；但是更大后，会采用大于一个字节的方式进行处置处罚；当中有一个特殊情况，当占用一个字节，且值为251时，表示的是一个无效值；（后面再界说效果集内容时会用到这个值）
对于消息头的读取可以进行组合如下：
  1. type COLUMN_SIZE  = unit(inout rs: mysql_rs) {
  2.     size : INT_ENC { rs.column_size = self.size.value; }
  3. };
复制代码
  1. public type mysql_rs = unit {
  2.     head : header;
  3.     hdata : bytes &size=self.head.size { self.s_col_size.write($$); }
  4.        
  5.         on %init {
  6.         self.s_col_size.connect(new COLUMN_SIZE(self));
  7.     }
  8.     var column_size : uint64;
  9.         sink s_col_size;
复制代码
在组合中，用到了unit的参数传递了mysql_rs,同时采用了sink的方式对数据进行了一次传递；云云做主要是为了适配消息体后续可能得扩展；团体的格式不需要变化太大，只需要针对消息体进行更改即可；同时兼容性也会更强。
紧接着的是字段界说。
字段界说

每个字段的界说包罗，字段头+字段体，字段头的界说与前面的header界说相同，而后界说的是字段的各个内容，包罗catalog、database_name，table_name，orig_table_name,column_name, orig_column_name，字符集索引，字符集长度，列范例，列标识及列精度;其中catalog、database_name，table_name，orig_table_name,column_name, orig_column_name都是数据长度+数据内容的方式进行存储。所以字段的读取界说如下：
  1. type column = unit {
  2.     catalog_len : INT_ENC;
  3.         :skip bytes &size=self.catalog_len.value;
  4.     db_len : INT_ENC;
  5.     db_name : bytes &size = self.db_len.value;
  6.     tbl_len : INT_ENC;
  7.     tbl_name : bytes &size = self.tbl_len.value;
  8.     otbl_len : INT_ENC;
  9.     otbl_name : bytes &size = self.otbl_len.value;
  10.     col_len : INT_ENC;
  11.     col_name : bytes &size = self.col_len.value;
  12.     ocol_len : INT_ENC;
  13.     ocol_name : bytes &size = self.ocol_len.value;
  14.            : skip int8;
  15.     collation_idx : int16;
  16.     coll_len  : int32;
  17.     col_type : int8;
  18.     col_flag : int16;
  19.     col_decimals : int8;
  20.     :   skip bytes &eod;
  22.     on %done {
  23.         print "{database:%s, tbl_name:%s, otbl_name:%s, col_name:%s, ocol_name:%s, collation_idx:%x, col_type:%x, col_flag:%x, col_decimals:%x}" %
  24.                 (self.db_name, self.tbl_name, self.otbl_name, self.col_name, self.ocol_name, self.collation_idx, self.col_type, self.col_flag, self.col_decimals);
  25.     }
  26. };
复制代码
其中因为catalog的内容界说恒为def,所以通过skip方式进行了忽略。同时其中col_flag的读取字段可能会是1字节也可能是2字节（会根据认证过程中包含的客户端的参数进行变更、此处为了简化直接界说成了2字节）；
包含文件头的界说为：
type column_with_header = unit {
head :header;
data : bytes &size=self.head.size { self.b.write($$); }
  1. on %init {
  2.     self.b.connect(new column);
  3. }
  5. sink b;
复制代码
};
因为在前面的解析中，已经获取了字段数，所以需要将该布局界说成数组的形式
  1. public type mysql_rs = unit {
  2.     head : header;
  3.     hdata : bytes &size=self.head.size { self.s_col_size.write($$); }
  4.     columns : column_with_header[self.column_size ];
  5.         on %init {
  6.         self.s_col_size.connect(new COLUMN_SIZE(self));
  7.     }
  8.     var column_size : uint64;
  9.         sink s_col_size;
复制代码
界说完字段后，接下来接收的就是实际的效果数据了
效果数据

resultset的效果数据以每行的形式进行传输。
每行的开头是header布局体，后面的数据内容即为一行数据，由N（N为效果集的列数）个数据单元组成，每个数据单元的组成形式为INT_ENC+数据实体组成。其界说如下：
  1. type element_value = unit(inout r: row) {
  2.     size : INT_ENC;
  3.     data : bytes &size = self.size.value;
  4.     on %done {
  5.         print "idx: (%d, %d), size:%d, values:%s" % (r.row_idx, r.col_idx, self.size.value, self.data);
  6.     }
  7. };
复制代码
此处为了方便的辨认当前元素所处的位置，将行列索引进行了输出。
此处对element_value实际的值为NULL、空字符串的差别进行简要的分析；如果为空字符串，则INT_ENC内容为0，表示长度为0；而如果实际值为NULL，正常内容长度也为0，但是不能区分是否为NULL，所以mysql使用了251这个特殊的数字，将元素界说为了NULL。所以为INT_ENC的中，如果返现第一个字节的内容为251，则会将终极的size置为0，同时其效果也是NULL，此处未做特殊处置处罚，实际应用时，可以继承这个条件进行修正。
行数据界说如下：
  1. type row = unit(r_idx: uint32, column_size : uint64) {
  2.     eles : element_value(self)[column_size] foreach { self.col_idx = self.col_idx + 1; }
  4.     on %init {
  5.         self.row_idx = r_idx;
  6.         self.col_idx = 0;
  7.     }
  8.     var row_idx : uint32;
  9.     var col_idx : uint32;
  10. };
复制代码
行数据头+行数据的界说如下：
  1. type row_with_head = unit(inout rs: mysql_rs, column_size :uint64) {
  2.     head : header;
  3.     data : bytes &size=self.head.size {
  4.         if ( *self.data.at(0) == 0xfe) {
  5.             rs.is_done = True;
  6.         }
  7.    
  8.         if (!rs.is_done)
  9.             self.b.write($$);
  10.     }
  11.     on head {
  12.         print "head size: %d" % self.head.size;
  13.     }
  16.     on %init {
  17.         self.b.connect(new row(rs.row_idx, column_size));
  18.     }
  19.     sink b;
  20. };
复制代码
因为行数据传输的时候，未包含实际的行数信息；所以需要有标识界说何时竣事效果集的传输；此处演示我们采用了相对比较简单的方式，即判断数据开始的值为0xfe则认为数据传输截止了（实际上还有数据大小的判断进行组合判断对效果集是否已经完成得判断）。
所以终极效果集的界说如下：
public type mysql_rs = unit {
head : header;
hdata : bytes &size=self.head.size { self.s_col_size.write($$); }
columns : column_with_header[self.column_size ];
rows : row_with_head(self, self.column_size)[] foreach {
if (self.is_done == True) {
stop;
}
self.row_idx = self.row_idx + 1;
}
on %init {
self.is_done = False;
self.row_idx = 0;
self.s_col_size.connect(new COLUMN_SIZE(self));
}
  1. var column_size : uint64;
  2. var is_done : bool;
  3. var row_idx : uint32;
  4. sink s_col_size;
复制代码
};
完整spicy文件

完整spicy文件内容如下：
  1. module mysql;import spicy;type INT_ENC = unit {
  2.     osize : uint8;
  3.     i2 : uint16  &byte-order=spicy::ByteOrder::Little if ((self.osize & 0xff) == 252);
  4.     i3 : uint8[3] if ((self.osize & 0xff) == 253);
  5.     i8 : uint64  &byte-order=spicy::ByteOrder::Little if ((self.osize & 0xff) == 254);
  6.     inull : uint8[0] if ((self.osize & 0xff) == 251);
  8.     on osize {
  9.         self.value = self.osize;
  10.     }
  11.     on i2 {
  12.         self.value = self.i2;
  13.     }
  15.     on i3 {
  16.         self.value = self.i3[2];
  17.         self.value = self.value << 8;
  18.         self.value = self.value +  self.i3[1];
  19.         self.value = self.value << 8;
  20.         self.value = self.value +  self.i3[0];
  21.     }
  23.     on i8 {
  24.         self.value = self.i8;
  25.     }
  26.    
  27.     on inull {
  28.         self.value = 0;
  29.     }
  31.     var value : uint64;
  32. };
  33. type header = unit {
  34.     osize : uint8[3];
  35.     seq : uint8;
  37.     on %done {
  38.         self.size = self.osize[2];
  39.         self.size = self.size << 8;
  40.         self.size = self.size + self.osize[1];
  41.         self.size = self.size << 8;
  42.         self.size = self.size + self.osize[0];
  44.     }
  45.     var size : uint32;
  46. };
  47. type column = unit {
  48.     catalog_len : INT_ENC;
  49.         :skip bytes &size=self.catalog_len.value;
  50.     db_len : INT_ENC;
  51.     db_name : bytes &size = self.db_len.value;
  52.     tbl_len : INT_ENC;
  53.     tbl_name : bytes &size = self.tbl_len.value;
  54.     otbl_len : INT_ENC;
  55.     otbl_name : bytes &size = self.otbl_len.value;
  56.     col_len : INT_ENC;
  57.     col_name : bytes &size = self.col_len.value;
  58.     ocol_len : INT_ENC;
  59.     ocol_name : bytes &size = self.ocol_len.value;
  60.            : skip int8;
  61.     collation_idx : int16;
  62.     coll_len  : int32;
  63.     col_type : int8;
  64.     col_flag : int16;
  65.     col_decimals : int8;
  66.     :   skip bytes &eod;
  68.     on %done {
  69.         print "{database:%s, tbl_name:%s, otbl_name:%s, col_name:%s, ocol_name:%s, collation_idx:%x, col_type:%x, col_flag:%x, col_decimals:%x}" %
  70.                 (self.db_name, self.tbl_name, self.otbl_name, self.col_name, self.ocol_name, self.collation_idx, self.col_type, self.col_flag, self.col_decimals);
  71.     }
  72. };
  73. type column_with_header = unit {    head :header;    data : bytes &size=self.head.size { self.b.write($$); }        on %init {        self.b.connect(new column);    }    sink b;};type element_value = unit(inout r: row) {
  74.     size : INT_ENC;
  75.     data : bytes &size = self.size.value;
  76.     on %done {
  77.         print "idx: (%d, %d), size:%d, values:%s" % (r.row_idx, r.col_idx, self.size.value, self.data);
  78.     }
  79. };
  80. type row = unit(r_idx: uint32, column_size : uint64) {
  81.     eles : element_value(self)[column_size] foreach { self.col_idx = self.col_idx + 1; }
  83.     on %init {
  84.         self.row_idx = r_idx;
  85.         self.col_idx = 0;
  86.     }
  87.     var row_idx : uint32;
  88.     var col_idx : uint32;
  89. };
  90. type row_with_head = unit(inout rs: mysql_rs, column_size :uint64) {
  91.     head : header;
  92.     data : bytes &size=self.head.size {
  93.         if ( *self.data.at(0) == 0xfe) {
  94.             rs.is_done = True;
  95.         }
  96.    
  97.         if (!rs.is_done)
  98.             self.b.write($$);
  99.     }
  100.     on head {
  101.         print "head size: %d" % self.head.size;
  102.     }
  105.     on %init {
  106.         self.b.connect(new row(rs.row_idx, column_size));
  107.     }
  108.     sink b;
  109. };
  110. type COLUMN_SIZE  = unit(inout rs: mysql_rs) {
  111.     size : INT_ENC { rs.column_size = self.size.value; }
  112. };
  113. public type mysql_rs = unit {    head : header;    hdata : bytes &size=self.head.size { self.s_col_size.write($$); }    columns : column_with_header[self.column_size ];    rows : row_with_head(self, self.column_size)[] foreach {        if (self.is_done == True) {            stop;        }        self.row_idx = self.row_idx + 1;    }    on %init {        self.is_done = False;        self.row_idx = 0;        self.s_col_size.connect(new COLUMN_SIZE(self));    }    var column_size : uint64;    var is_done : bool;    var row_idx : uint32;    sink s_col_size;};
复制代码
假设文件存储名为mysql_rs.spicy，则可通过spicy-driver mysql_rs.spicy进行语法校验及调测。调测运行可以采用
printf “0x070x000x00…” | xxd -r -p | spicy-driver mysql_rs.spicy
进行调测输出。
其中xxd命令，主要是将16进制的字符串转换为二进制数。
   

  • 1:spicy是zeek用于界说协议解析的语言，可参考https://zeek.org ↩︎

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

罪恶克星

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表