简析XDP的重定向机制

• GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。
  
• GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。
  

一. XDP Socket示例解析

源码参见：https://github.com/xdp-project/xdp-tutorial/tree/master/advanced03-AF_XDP
该示例演示了如何通过BPF将网络数据包从XDP Hook点旁路到用户态的XDP Socket，解析过程中为突出重点，将只关注重点代码段，一些函数会被精简，比如：错误处理等

二. BPF 程序 af_xdp_kern.c

BPF程序是运行在内核态的一段代码，如下：

1. struct bpf_map_def SEC("maps") xsks_map = {
2.     .type = BPF_MAP_TYPE_XSKMAP,
3.     .key_size = sizeof(int),
4.     .value_size = sizeof(int),
5.     .max_entries = 64,  /* Assume netdev has no more than 64 queues */
6. };
8. SEC("xdp_sock")
9. int xdp_sock_prog(struct xdp_md *ctx)
10. {
11.     int index = ctx->rx_queue_index;
13.     if (bpf_map_lookup_elem(&xsks_map, &index))
14.         return bpf_redirect_map(&xsks_map, index, 0);
15.    
16.     return XDP_PASS;
17. }

复制代码

• struct bpf_map_def SEC("maps") xsks_map： 定义了一个BPF_MAP_TYPE_XSKMAP类型的映射表，当采用SEC("maps")方式来显示定义时，将在生成的bpf目标文件的ELF格式中看到相关描述，当BPF程序被加载到内核时，会自动创建名为“xsks_map”的描述符， 用户态可通过查找“xsks_map”来获取该map的描述符，这样用户态和内核BPF程序就可以共同访问该map
  
• type = BPF_MAP_TYPE_XSKMAP：指定该map的类型，它与bpf_redirect_map() 结合使用以将收到的帧传递到指定套接字
  
• key_size = sizeof(int)，value_size = sizeof(int)：指定key，value长度
  
• 针对以上key，value需要说明一下：对于BPF_MAP_TYPE_XSKMAP类型的map，value必须是XDP socket描述符，key必须是int类型，原因在于bpf_redirect_map()的第二个参数，参见下面2.10
  
• max_entries = 64：指定map最多存储64个元素
  
• SEC("xdp_sock")：指定prog函数符号，应用层可通过查找"xdp_sock"加载该prog，并绑定到指定网卡
  
• int xdp_sock_prog(struct xdp_md *ctx)：当网卡收到数据包时，会在xdp hook点调用该函数
  
• int index = ctx->rx_queue_index： 获取该数据包来自网卡到哪个rx队列ID，ctx有许多成员，比如：网卡ID，数据帧等等
  
• if (bpf_map_lookup_elem(&xsks_map, &index))： 判断xsks_map是否存在key为index（即rx队列号）的数据，注意，这里实际上就是判断该网卡是否绑定了xdp Socket
  
• 
  
  
  
  • bpf_redirect_map(&xsks_map, index, 0)：bpf_redirect_map函数作用就是重定向，比如：将数据重定向到某个网卡，CPU， Socket等等；当bpf_redirect_map函数的第一个参数的map类型为BPF_MAP_TYPE_XSKMAP时，则表示将数据重定向到XDP Scoket
    
  • bpf_redirect_map（）会查找参数1即xsks_map 中 key为index 的 value 是否存在，若存在，则检查value是否是一个XDP Scoket，并且是否绑定到了该网卡（可以绑定到任意有效队列）
    
  
  

综合以上，该bpf程序实现的功能就是：将收到的数据包重定向到xsks_map中指定的XDP Socket
三. 用户态程序 af_xdp_user.c

该程序实现bpf加载到网卡，创建XDP Scoket并绑定到网卡的指定队列，并通过XDP Scoket收发数据，这里仅分析xXDP Scoket相关部分

1. int main(int argc, char **argv)
2. {
3.     ...
4.     bpf_obj = load_bpf_and_xdp_attach(&cfg);
5.     map = bpf_object__find_map_by_name(bpf_obj, "xsks_map");
6.     ...
7.     xsks_map_fd = bpf_map__fd(map);
8.     ...
9.     umem = configure_xsk_umem(packet_buffer, packet_buffer_size);
10.     ...
11.     xsk_socket = xsk_configure_socket(&cfg, umem);
12.     ...
13.     rx_and_process(&cfg, xsk_socket);
14.     ...
15. }
17. static struct xsk_socket_info *xsk_configure_socket(struct config *cfg,
18.                             struct xsk_umem_info *umem)
19. {
20.     ...
21.     ret = xsk_socket__create(&xsk_info->xsk, cfg->ifname,
22.                  cfg->xsk_if_queue, umem->umem, &xsk_info->rx,
23.                  &xsk_info->tx, &xsk_cfg);
24.     ...
25. }

复制代码

• bpf_obj = load_bpf_and_xdp_attach(&cfg): 加载bpf程序，并绑定到网卡
  
• map = bpf_object__find_map_by_name(bpf_obj, "xsks_map")： 查找bpf程序内定义的xsks_map
  
• umem = configure_xsk_umem(packet_buffer, packet_buffer_size)： 为XDP Scoket准备UMEM
  
• xsk_configure_socket()通过调用bpf helper函数xsk_socket__create（）创建XDP Scoket并绑定到cfg->ifname网卡的cfg->xsk_if_queue队列，默认情况下将该【cfg->xsk_if_queue， xsk_info->xsk fd】添加到xsks_map, 这样bpf程序就可以重定向到该XDP Scoket（参见2.9, 2.10), 除非指定XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD标志
  

1. static void rx_and_process(struct config *cfg,
2.                struct xsk_socket_info *xsk_socket)
3. {
4.     struct pollfd fds[2];
5.     int ret, nfds = 1;
7.     memset(fds, 0, sizeof(fds));
8.     fds[0].fd = xsk_socket__fd(xsk_socket->xsk);
9.     fds[0].events = POLLIN;
10.    
11.     while(!global_exit) {
12.         if (cfg->xsk_poll_mode) {
13.             ret = poll(fds, nfds, -1);
14.             if (ret <= 0 || ret > 1)
15.                 continue;
16.         }
17.         handle_receive_packets(xsk_socket);
18.     }
19. }

复制代码

• XDP Scoket也是一个文件描述符，因此可以通过poll/epoll/select来等待IO事件，需要说明的是：收/发的数据包是原始的以太网帧，因此在包处理上要麻烦一些
  

四. 总结

• 以上简略分析了bpf程序如何将数据重定向到用户态程序，通过xsks_map来实现bpf与用户态程序的交互；
  
• 需要说明的是，这些分析仅是梳理了浅层次的代码，实际上BPF是如何将数据读写到XDP Scoket收发缓冲区的呢？其实是通过创建共享内存并关联XDP Scoket的rx_ring，tx_ring，以及umem来实现的，后续继续分析
  
• bpf程序通常都非常简单，复杂的是用户态程序，此外，BPF有非常多的技术细节，限于篇幅及主题不在此展开。
  

Enjoy GreatSQL
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！