使用 ftrace 跟踪内核丢包问题定位的实践

本文分享自天翼云开发者社区《使用 ftrace 跟踪内核丢包问题定位的实践》，作者：f****n 
数据包的丢失可能会导致性能下降或服务停止。为了诊断内核中是否有丢包问题，我们可以使用 ftrace 工具进行内核级别的跟踪，定位导致数据包丢失的缘故原由。下面通过一个实际的例子，来展示如何使用 ftrace 来跟踪网络丢包的问题。
一、配景
在一个高流量的网络环境中，可能会发生数据包丢失。这种丢包可能是由于内核中的调理耽误、网络驱动问题或资源争用等缘故原由导致的。通过分析内核的网络栈，可以帮助我们定位丢包的详细缘故原由。
二、启用 ftrace 并开始跟踪
首先，确保你的体系已经启用了 ftrace。你可以通过以下命令检查体系是否支持 ftrace：ls /sys/kernel/debug/tracing如果返回了相关的文件和目录，说明体系支持 ftrace。
接下来，我们将使用 ftrace 跟踪内核中与网络相关的函数调用，查察是否有非常的情况发生。
三、跟踪 tcp 发送和接收
丢包通常与 TCP 发送和接收有关，因此我们首先从 tcp_sendmsg 和 tcp_recvmsg 函数入手。可以通过以下步骤开启 ftrace 跟踪：
选择跟踪点：
我们将跟踪 tcp_sendmsg 和 tcp_recvmsg这两个函数，它们分别处理数据包的发送和接收。
打开ftrace 调试接口：echo function >/sys/kernel/debug/tracing/current_tracer
启用 tcp_sendmsg 和 tcp_recvmsg 跟踪：
在 ftrace 中，我们可以选择对特定的内核函数进行跟踪。我们将追踪 TCP 发送和接收相关的函数：
echotcp_sendmsg > /sys/kernel/debug/tracing/set_ftrace_filter
echo tcp_recvmsg > /sys/kernel/debug/tracing/set_ftrace_filter
开始跟踪：
启动 ftrace 来记载内核函数的调用。
echo 1> /sys/kernel/debug/tracing/tracing_on
查察跟踪结果：
通过查察 /sys/kernel/debug/tracing/trace 文件，我们可以看到 tcp_sendmsg 和 tcp_recvmsg 函数的调用情况。
cat/sys/kernel/debug/tracing/trace
这时，ftrace 会输出类似如下的内容：
-1234 [000] ....  10938.567892: tcp_sendmsg: skb=0x1234, len=1500,dest=192.168.1.10
-1234  [000] ....  10938.567895: tcp_sendmsg: skb=0x1235,len=1500, dest=192.168.1.10
-1234  [000] ....  10938.568002: tcp_recvmsg: skb=0x1236,len=1500, src=192.168.1.10
每一条记载都包罗了发送和接收数据包的详细信息，比方数据包的长度、源/目标ip等。
四、分析丢包现象
假设在跟踪结果中，我们注意到 tcp_sendmsg 和 tcp_recvmsg 的日志显示有发送的数据包，但接收端并没有相应的接收记载。通过分析这些日志，我们可以判断出以下几种可能性：
网络层丢包：
如果发送的数据包数量大于接收的数据包数量，可能是由于网络层的丢包。此时，可以查察其他网络设备的日志，如交换机、路由器等，确认是否存在网络丢包。
内核队列拥塞：
如果发送的数据包都显示成功发送，但由于内核网络栈中存在队列拥塞，接收端可能无法及时接收数据包。在 ftrace中，我们还可以查察 tcp_retransmit_skb 函数的调用情况。如果这个函数被频仍调用，说明存在数据包重传，可能是由于网络拥塞或内核的调理耽误导致的。
可以通过以下命令启用 tcp_retransmit_skb 跟踪：
echotcp_retransmit_skb > /sys/kernel/debug/tracing/set_ftrace_filter
查察跟踪结果时，如果出现大量的重传记载，这就说明丢包发生的缘故原由可能是网络拥塞或体系资源不敷。
硬件问题：
如果数据包在网络接口上确实被成功发送，但没有到达接收端，可能是由于硬件问题（如网卡驱动故障或硬件故障）。此时可以通过查察 netif_receive_skb 和网卡驱动的 net_device 函数来分析是否存在硬件故障或驱动问题。
echonetif_receive_skb > /sys/kernel/debug/tracing/set_ftrace_filter
五、禁用跟踪和清理
完成分析后，记得停止跟踪并清理 ftrace 设置，以较少对体系性能产生影响。
停止跟踪：echo0 > /sys/kernel/debug/tracing/tracing_on
清理过滤器：echo >/sys/kernel/debug/tracing/set_ftrace_filter
六、总结
通过使用ftrace 工具跟踪内核中的网络函数调用，我们可以非常方便地分析网络丢包的问题。在本例中，我们通过跟踪tcp_sendmsg 和 tcp_recvmsg 函数，结合tcp_retransmit_skb 和 netif_receive_skb 等内核函数的日志，能够帮助我们快速定位丢包的缘故原由。无论是网络拥塞、内核调理问题，还是硬件故障，ftrace 提供了一个非常强大的工具来诊断内核中的各类问题。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。