eBPF实战教程二｜数据库网络流量最精准的量化方法(含源码) ...

本文纯技能文章，无任何广告，感兴趣的小伙伴可仔细阅读，有疑问可加入最下方技能交流群讨论。
媒介

自从DBdoctor率先将eBPF技能深度应用于数据库领域后，便迅速在业界引起了广泛的关注和讨论。阿里、美团、京东、字节跳动等众多头部企业纷纷主动与我们展开了深入的技能交流。与此同时，我们也收获了大量eBPF爱好者的关注，在第一篇关于uprobe的文章发布后，很多小伙伴都已按教程乐成跑通代码并举行深入自学应用。
应广大读者的热情敦促，现推出第二篇eBPF的纯技能分享文章——如何手码一个Kprobe函数来分析MySQL数据库的网络流量。旨在为各人提供更多关于eBPF的深入分析和实用指南，希望本文能对各人有所资助，后续我们也将一连在此专题内发布更多技能文章，欢迎关注公众号！
什么是Kprobe

Kprobe是Linux内核提供的一种动态跟踪技能，它可以在运行时动态地在函数的开头、返回点或指令地址处插入探测点。利用kprobe技能，可以在内核函数中动态插入探测点，收集有关内核执行流程、寄存器状态、全局数据结构等详细信息，无需重新编译或修改内核代码，实现对函数的监控和分析。Kprobe极大地增强了内核调试和性能分析的灵活性，可应用于网络优化、安全控制、性能监控、故障诊断等场景，使得开发者能够更深入地理解内核的举动。特别是数据库性能诊断这块，Probe重新界说数据库可观测，可以快速精确找出潜在性能标题并优化。
Kprobe函数的选取

1）网络协议栈分析，获取MySQL SQL执行返回给客户端的函数
基于Kprobe的流量探测，需要对网络协议栈举行分析，下图是网络数据包的发送过程：

从上面的协议栈的函数调用可以看到，tcp_sendmsg函数是发送包的入口函数：

2. int tcp_sendmsg(struct sock *sk, struct msghdr *msg, size_t size)
3. {
4.   int ret;
5.   
6.   lock_sock(sk);
7.   ret = tcp_sendmsg_locked(sk, msg, size);
8.   release_sock(sk);
10.   return ret;
11. }

复制代码

从函数的源码我们可以得知，该函数返回值即为我们需要的效果（即发送数据包的巨细）。
因此，我们可以选取传输层中的tcp_sendmsg函数作为探测点，来统计数据库发送应用端每秒的数据包总量。
2）网络协议栈分析，找到MySQL从客户端接收数据包的函数
基于Kprobe的流量探测，需要对网络协议栈举行分析，下图是网络数据包的接收过程：

对于统计TCP接收的网络流量，应该选择tcp_cleanup_rbuf函数，而不是选择tcp_recvmsg。选用tcp_recvmsg函数会存在统计的重复和遗漏：

• tcp_recvmsg()是一个在TCP接收路径上较高层的函数，它负责从TCP层向用户空间复制数据。当应用步调调用如recv()或read()这类函数来从TCP缓冲区读取数据时，tcp_recvmsg()会被触发。如果数据在TCP接收缓冲区中未被应用步调完全读取（例如，应用步调两次调用recv()读取同一数据段的差别部分），每次调用tcp_recvmsg()都会被触发。这可能导致在统计时同一数据被计算多次。
  
• TCP数据可能由于内核的优化处理（如告急数据处理、某些安全检查导致的数据抛弃）而未达到tcp_recvmsg()层会导致统计的遗漏。
  
• 使用某些直接输入输出操纵（如splice系统调用）可以绕过常规的recvmsg路径，直接从内核缓冲区向用户空间或其他文件描述符传输数据，这些操纵不会触发tcp_recvmsg()。
  

tcp_cleanup_rbuf 这个函数在TCP数据确认已被接收（即数据已经从内核传输到了用户空间，并得到了处理）后调用，因此可以更可靠地统计到实际被应用消费的数据量，而不会重复也不会遗漏。
该函数原型如下：

2. void tcp_cleanup_rbuf(struct sock *sk, int copied)
3. {
4.   struct sk_buff *skb = skb_peek(&sk->sk_receive_queue);
5.   struct tcp_sock *tp = tcp_sk(sk);
7.   WARN(skb && !before(tp->copied_seq, TCP_SKB_CB(skb)->end_seq),
8.        "cleanup rbuf bug: copied %X seq %X rcvnxt %X\n",
9.        tp->copied_seq, TCP_SKB_CB(skb)->end_seq, tp->rcv_nxt);
10.   __tcp_cleanup_rbuf(sk, copied);
11. }

复制代码

函数中第二个形参copied即为接收的数据包巨细。
因此，我们可以选取传输层中的tcp_cleanup_rbuf函数作为探测点，来统计数据库每秒从应用端接收的数据包总量。
eBPF kprobe如何探测MySQL的每秒发送和接收数据包?

1）情况准备

2. 准备一台 Linux 机器，安装好g++和bcc

复制代码

2）基于BCC工具实现探测MySQL

要实现包量的统计，我们起首界说一个存储结构用来存放进程的收发包的总Size，基于Kprobe分别对接收包和发送包举行累加并存储到该结构中，然后每秒去读并打印当前存储结构中累加的数据包量，即可实现每秒的接收和发送数据包的采集。
接下来我们将基于BCC，利用Kprobe写一个eBPF步调，观测MySQL的接收和发送的数据包（即MySQL的NetIO统计）。
a）分析内核网络协议栈源码相关网络数据包处理的函数

2. //内核网络协议栈的发送包函数（返回值）
3. int tcp_sendmsg(struct sock *sk, struct msghdr *msg, size_t size){
4.   ...
5. }
6. //内核网络协议栈的接收包函数（入参）
7. void tcp_cleanup_rbuf(struct sock *sk, int copied){
8.   ...
9. }

复制代码

b）导入BCC的BPF对象

1. //这个对象可以将我们的观测代码嵌入到观测点中执行
2. #include <bcc/BPF.h>
4. #include <string>
5. #include <iostream>
6. #include <thread>
7. #include <time.h>

复制代码

c）用c编写eBPF代码

1. std::string strBPF = R"(
2. #include <linux/ptrace.h>
3. #include <net/sock.h>
4. #include <bcc/proto.h>
6. #include <linux/in6.h>
7. #include <linux/net.h>
8. #include <linux/socket.h>
9. #include <net/inet_sock.h>
11. //定义采集的指标存储结构key
12. struct key_t {
13.     u32 pid;
14.     u16 type;
15. };
17. //定义采集的指标存储结构value
18. BPF_HASH(net_map, struct key_t,u64);
20. //获取mysql执行sql返回的数据包，hook对返回值进行处理
21. int kretprobe__tcp_sendmsg(struct pt_regs *ctx)
22. {
23.     /*获取当前进程的pid*/
24.     u32 pid = bpf_get_current_pid_tgid() >> 32;
26.     if(FILTER_PID) return 0;
27.     int size = PT_REGS_RC(ctx);
29.     if(size <= 0)
30.         return 0;
32.     struct key_t key= {};
33.     key.pid = pid;
34.     key.type = 1;
35.     u64 zero = 0;
36.     u64 *val = net_map.lookup_or_init(&key, &zero);
37.     zero = *val + size;
39.     net_map.update(&key, &zero);
40.     return 0;
41. }
44. //获取发送给mysql的数据包，hook对函数入参进行处理
45. int kprobe__tcp_cleanup_rbuf(struct pt_regs *ctx, struct sock *sk, int copied)
46. {
47.     /*获取当前进程的pid*/
48.     u32 pid = bpf_get_current_pid_tgid() >> 32;
50.     if(FILTER_PID) return 0;
52.     /*检错*/
53.     if (copied <= 0) return 0;
54.     struct key_t key = {};
55.     key.pid = pid;
56.     key.type = 2;
57.     u64 zero = 0;
58.     u64 *val = net_map.lookup_or_init(&key, &zero);
59.     zero = *val + copied;
61.     net_map.update(&key, &zero);
62.     return 0;
63. }
65. )";

复制代码

d）观测代码关联网络协议栈中需要观测的函数

1. //用于ebpf代码程序中的pid替换
2. static std::string str_replace(std::string r, const std::string& s, const std::string& n)
3. {
4.         std::string y = std::move(r);
5.         std::string::size_type pos = 0;
6.         while((pos = y.find(s)) != std::string::npos)  
7.             y.replace(pos, s.length(), n);
8.         return y;
9. }
11. struct net_key_t {
12.     uint32_t pid;
13.     uint16_t type;
14. };
16. //指定进程pid进行kprobe包统计
17. int main(int argc, char* argv[]) {
18.     int pid = std::stoull(argv[1]);
19.     ebpf::BPF bpf;
20.    
21.     std::string strFilerPid = "pid != " + std::to_string(pid);
22.     std::string code = str_replace(strBPF, "FILTER_PID", strFilerPid);
23.     auto initRes = bpf.init(code);
24.     if (!initRes.ok()) {
25.         std::cerr << "bpf init error,msg: " << initRes.msg() << std::endl;
26.         return 1;
27.     }
28.     /*探测tcp_sendmsg*/
29.     auto attachRes = bpf.attach_kprobe("tcp_sendmsg", "kretprobe__tcp_sendmsg",0,BPF_PROBE_RETURN);
30.     if(!attachRes.ok()) {
31.         std::cerr << "attach tcp_sendmsg error,msg: "<< attachRes.msg() << std::endl;
32.         return 1;
33.     }
34.      /*探测tcp_cleanup_rbuf*/
35.     attachRes = bpf.attach_kprobe("tcp_cleanup_rbuf", "kprobe__tcp_cleanup_rbuf");
36.     if(!attachRes.ok()) {
37.         std::cerr << "attach tcp_cleanup_rbuf error,msg: "<< attachRes.msg() << std::endl;
38.         return 1;
39.     }
40.     /*每秒完成一次读取并打印*/
41.     while (true){
42.             std::this_thread::sleep_for(std::chrono::seconds(1));
43.             auto net_map = bpf.get_hash_table<net_key_t, uint64_t>("net_map");
44.             auto table = net_map.get_table_offline();
45.             for (auto &item : table) {
46.                 std::cout << "time: " << std::time(0) << "pid: " << item.first.pid << " type: " << (item.first.type == 1 ? "sendMsg" : "recvMsg") << " size: " << item.second << std::endl;
47.             }
48.         }
49.     return 0;
50. }

复制代码

e）效果演示
编译并执行该eBPF步调

2. #编译命令
3. g++ -std=c++17 -o static_netio static_netio.cpp -lbcc -pthread

复制代码

指定mysqld进程pid 2004756举行netio采集：

远程执行毗连MySQL的下令并执行SQL

打印观测的效果

从上面的演示中我们能看到，客户端和MySQL创建毗连，每秒会打印日志，显示这个读取累加send和recv数据包的时间、mysqld的进程pid、send累加的数据包和recv累加的数据包巨细。然后我们针对采集上来的数据就可以做分析了：

• 如果存在send数据包过大，说明数据库上存在较大的流量或者单条大SQL执行完会有大量的数据返回，比如全表查询返回这种，会导致应用出现内存大量占用标题，以致引发OOM。
  
• 如果存在recv数据包过大，说明用户应用端发送给数据库的SQL文本存在过大标题，需要业务进一步关注业务逻辑是否正常。
  

总结

利用eBPF技能探测MySQL ,具有更高效，更扩展，更安全等优势，不消修改内核就可观测数据库性能。通过上面例子您是否发现接纳eBPF跟踪数据库实在并不难，主要门槛在于需精通数据库内核和Linux编程，而且要对代码有精益求精的意识。
您的MySQL每秒发送和接收的数据包统计出现了吗？欢迎加入技能交流群讨论！
DBdoctor推出长久free版

DBdoctor是一款企业级数据库全方位性能监控与诊断平台，致力于解决一切数据库性能标题。可以对贸易数据库、开源数据库、国产数据库举行同一性能诊断。具备：SQL考核、巡检报表、监控诉警、存储诊断、审计日志、权限管理等免费功能，不限实例个数，可基于长久免费版快速搭建企业级数据库监控诊断平台。同时拥有：性能洞察、锁分析、根因诊断、索引推荐、SQL发布前性能评估等高阶功能，官网可快速下载，零依靠，一分钟快速一键摆设。如果您想要试用全部功能可添加公众号自助申请专业版license。成为企业用户可获得产物定制、OpenAPI集成、一对一专家等高阶服务。迎添加小助手微信了解详细信息！
免费下载/在线试用：
https://dbdoctor.hisensecloud.com/h-col-126.html?statId=9
公众号：DBdoctor
如果您是开发或DBA欢迎关注公众号，关注公众号复兴：“进群”，可拉您进入技能交流群。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。