qidao123.com技术社区-IT企服评测·应用市场

标题: PGO前瞻 [打印本页]
作者: 半亩花草    时间: 2023-6-25 18:58
标题: PGO前瞻
原文在这里。
原文发布于2023年2月8日
在构建Go二进制文件时，Go编译器会进行优化，以尽可能生成性能最佳的二进制文件。例如，常量传播可以在编译时对常量表达式进行求值，避免了运行时的计算开销；逃逸分析可以避免对局部作用域对象进行堆分配，从而减少了垃圾回收的负担；内联则将简单函数的代码体复制到调用处，通常能够进一步优化调用处的代码（例如额外的常量传播或更好的逃逸分析）。
Go在发布的每个版本中都会改进优化，但这并不总是一项容易的任务。某些优化是可调节的，但编译器不能对每个函数都进行过度激进的优化，因为过于激进的优化实际上可能会损害性能或导致过长的构建时间。其他优化要求编译器对函数中的“常见”和“不常见”路径进行判断。编译器必须根据静态启发式规则进行最佳猜测，因为它无法在运行时知道哪些情况将是常见的。
但现在编译器可以在运行时知道哪些情况是常见的了。
在没有关于代码在生产环境中如何使用的确切信息的情况下，编译器只能对包的源代码进行操作。但是我们确实有一种工具来评估生产行为：性能分析。如果我们向编译器提供一个性能分析文件，它就可以做出更明智的决策：对最常用的函数进行更积极的优化，或更准确地选择常见情况。
使用应用程序行为的性能分析文件进行编译器优化的方法被称为基于性能分析的优化（Profile-Guided Optimization，简称PGO，也被称为反馈导向优化（Feedback-Directed Optimization，简称FDO））。
PGO/FDO通过收集和分析运行时的性能数据，使得编译器能够更准确地了解代码的执行特性，从而进行更精细的优化。通过结合静态分析和动态运行时数据，PGO/FDO可以产生更优化的代码，提高程序的性能和效率。这种技术在提高大型复杂应用程序的性能方面非常有用，特别是对于高度频繁执行的代码路径进行优化。
Go 1.20中包含了PGO的初步支持，作为预览版本提供。请参阅profile-guided optimization user guide以获取完整的文档。尽管距离在生产环境中使用还有一段距离，但仍希望大家在工作中使用，并反馈遇到的问题或意见。
示例

以Markdown转HTML服务为例：用户通过/render上传Markdown文件，然后接收转换后的HTML文件。这里使用gitlab.com/golang-commonmark/markdown。
创建项目
  1. $ go mod init example.com/markdown  
  2. $ go get gitlab.com/golang-commonmark/markdown  
复制代码
main.go内容：
  1. package main
  3. import (
  4.         "bytes"
  5.         "io"
  6.         "log"
  7.         "net/http"
  8.         _ "net/http/pprof"
  10.         "gitlab.com/golang-commonmark/markdown"
  11. )
  13. func render(w http.ResponseWriter, r *http.Request) {
  14.         if r.Method != "POST" {
  15.                 http.Error(w, "Only POST allowed", http.StatusMethodNotAllowed)
  16.                 return
  17.         }
  19.         src, err := io.ReadAll(r.Body)
  20.         if err != nil {
  21.                 log.Printf("error reading body: %v", err)
  22.                 http.Error(w, "Internal Server Error", http.StatusInternalServerError)
  23.                 return
  24.         }
  26.         md := markdown.New(
  27.                 markdown.XHTMLOutput(true),
  28.                 markdown.Typographer(true),
  29.                 markdown.Linkify(true),
  30.                 markdown.Tables(true),
  31.         )
  33.         var buf bytes.Buffer
  34.         if err := md.Render(&buf, src); err != nil {
  35.                 log.Printf("error converting markdown: %v", err)
  36.                 http.Error(w, "Malformed markdown", http.StatusBadRequest)
  37.                 return
  38.         }
  40.         if _, err := io.Copy(w, &buf); err != nil {
  41.                 log.Printf("error writing response: %v", err)
  42.                 http.Error(w, "Internal Server Error", http.StatusInternalServerError)
  43.                 return
  44.         }
  45. }
  47. func main() {
  48.         http.HandleFunc("/render", render)
  49.         log.Printf("Serving on port 8080...")
  50.         log.Fatal(http.ListenAndServe(":8080", nil))
  51. }
复制代码
启动服务：
  1. $ go build -o markdown.nopgo
  2. $ ./markdown.nopgo
  3. 2023/06/25 11:27:13 Serving on port 8080...  
复制代码
使用Go项目的README来进行测试：
  1. $ curl -o README.md -L "https://raw.githubusercontent.com/golang/go/c16c2c49e2fa98ae551fc6335215fadd62d33542/README.md"  
  2. $ curl --data-binary @README.md http://localhost:8080/render  
  3. <h1>The Go Programming Language</h1>
  4. <p>Go is an open source programming language that makes it easy to build simple,
  5. reliable, and efficient software.</p>  
  6. ...  
  7. <p>Note that the Go project uses the issue tracker for bug reports and
  8. proposals only. See <a target="_blank" href="https://go.dev/wiki/Questions">https://go.dev/wiki/Questions</a> for a list of
  9. places to ask questions about the Go language.</p>  
复制代码
性能分析

现在我们来采集一个profile文件，再使用PGO来重新构建服务，看看性能能提升多少。
在main.go中，我们导入了net/http/pprof包，它会自动为服务器添加一个/debug/pprof/profile地址，用于获取CPU分析数据。
通常情况下，我们都是从生产环境中收集性能分析数据，以便编译器能够获取在实际生产环境中的行为情况。但这个示例没有一个真实的“生产”环境，我们将创建一个简单的程序来生成负载，同时收集性能分析数据。将该程序的源码复制到load/main.go，并启动负载生成器（确保服务器仍在运行！）。
  1. $ go run example.com/markdown/load
复制代码
下载性能分析文件：
  1. $ curl -o cpu.pprof "http://localhost:8080/debug/pprof/profile?seconds=30"  
复制代码
下载完成后，关闭服务。
启用PGO

我们可以使用go build命令的-pgo标志要求Go工具链使用PGO进行构建。-pgo标志可以接受以下两种参数：
我们建议将default.pgo性能分析文件提交到你的代码仓库中。将性能分析文件与源代码放在一起，可以确保用户只需获取代码仓库（无论是通过版本控制系统还是通过go get命令），就能自动获得性能分析文件，并且构建过程仍然可重现。在Go 1.20中，默认的-pgo选项是off，因此用户仍需要添加-pgo=auto选项，但预计将来的Go版本将把默认值改为-pgo=auto，这样任何构建该二进制文件的人都将获得PGO的好处。
构建：
  1. $ mv cpu.pprof default.pgo
  2. $ go build -pgo=auto -o markdown.withpgo
复制代码
性能对比

我们将使用一个基于Go的基准测试版本的负载生成器来评估PGO对性能的影响。将这个基准测试的代码复制到load/bench_test.go文件中。
首先没有使用PGO的情况下进行测试：
  1. $ ./markdown.nopgo  
复制代码
进行测试：
  1. $ go test example.com/markdown/load -bench=. -count=100 -source ../README.md > nopgo.txt
复制代码
然后启用PGO：
  1. $ ./markdown.withpgo  
复制代码
进行测试：
  1. $ go test example.com/markdown/load -bench=. -count=100 -source ../README.md > withpgo.txt
复制代码
运行结束后进行结果对比：
  1. $ go install golang.org/x/perf/cmd/benchstat@latest  
  2. $ benchstat nopgo.txt withpgo.txt
  3. goos: linux
  4. goarch: amd64
  5. pkg: example.com/markdown/load
  6. cpu: Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz
  7.        │  nopgo.txt  │             withpgo.txt             │
  8.        │   sec/op    │   sec/op     vs base                │
  9. Load-8   445.1µ ± 4%   408.6µ ± 2%  -8.21% (p=0.000 n=100)
复制代码
新版本大约快了8.2%！在Go 1.20中，通过启用PGO，可以获得2%到4%的CPU使用率提升。性能分析文件包含了关于应用程序行为的丰富信息，而Go 1.20仅仅开始利用这些信息进行内联优化。未来的发布版本将继续改进性能，因为编译器的更多部分将利用PGO带来的好处。
原文中效率提升了2.6%
文中的代码可以在这里找到。
  
声明：本作品采用署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)进行许可，使用时请注明出处。
Author: mengbin
blog: mengbin
Github: mengbin92
cnblogs: 恋水无意

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4