本文分享自华为云社区《Golang生成随机字符串的八种方式与性能测试》,作者: 张俭。
前言
这是**icza**在StackOverflow上的一篇高赞回答,质量很高,翻译一下,大家一起学习
问题是:go语言中,有没有什么最快最简单的方法,用来生成只包含英文字母的随机字符串
icza给出了8个方案,最简单的方法并不是最快的方法,它们各有优劣,末尾附上性能测试结果:
1. Runes
比较简单的答案,声明一个rune数组,通过随机数选取rune字符,拼接成结果- package approach1
- import (
- "fmt"
- "math/rand"
- "testing"
- "time"
- )
- var letters = []rune("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ")
- func randStr(n int) string {
- b := make([]rune, n)
- for i := range b {
- b[i] = letters[rand.Intn(len(letters))]
- }
- return string(b)
- }
- func TestApproach1(t *testing.T) {
- rand.Seed(time.Now().UnixNano())
- fmt.Println(randStr(10))
- }
- func BenchmarkApproach1(b *testing.B) {
- rand.Seed(time.Now().UnixNano())
- for i := 0; i < b.N; i++ {
- _ = randStr(10)
- }
- }
复制代码 2. Bytes
如果随机挑选的字符只包含英文字母,我们可以直接使用bytes,因为在UTF-8编码模式下,英文字符和Bytes是一对一的(Go正是使用UTF-8模式编码)
所以可以把- var letters = []rune("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ")
复制代码 用这个替代- var letters = []byte("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ")
复制代码 或者更好- const letters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
复制代码 现在我们有很大的进展了,我们把它变为了一个常数,在go里面,只有string常数,可并没有slice常数。额外的收获,表达式len(letters)也变为了一个常数(如果s为常数,那么len(s)也将是常数)
我们没有付出什么代码,现在letters可以通过下标访问其中的bytes了,这正是我们需要的。- package approach2
- import (
- "fmt"
- "math/rand"
- "testing"
- "time"
- )
- const letters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
- func randStr(n int) string {
- b := make([]byte, n)
- for i := range b {
- b[i] = letters[rand.Intn(len(letters))]
- }
- return string(b)
- }
- func TestApproach2(t *testing.T) {
- rand.Seed(time.Now().UnixNano())
- fmt.Println(randStr(10))
- }
- func BenchmarkApproach2(b *testing.B) {
- rand.Seed(time.Now().UnixNano())
- for i := 0; i < b.N; i++ {
- _ = randStr(10)
- }
- }
复制代码 3. Remainder 余数
上面的解决方法通过rand.Intn()来获得一个随机字母,这个方法底层调用了Rand.Intn(),然后调用了Rand.Int31n()
相比于生成63个随机bits的函数rand.Int63()来说,Rand.Int31n()很慢。
我们可以简单地调用rand.Int63()然后除以len(letterBytes),使用它的余数来生成字母- package approach3
- import (
- "fmt"
- "math/rand"
- "testing"
- "time"
- )
- const letters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
- func randStr(n int) string {
- b := make([]byte, n)
- for i := range b {
- b[i] = letters[rand.Int63() % int64(len(letters))]
- }
- return string(b)
- }
- func TestApproach3(t *testing.T) {
- rand.Seed(time.Now().UnixNano())
- fmt.Println(randStr(10))
- }
- func BenchmarkApproach3(b *testing.B) {
- rand.Seed(time.Now().UnixNano())
- for i := 0; i < b.N; i++ {
- _ = randStr(10)
- }
- }
复制代码 这个算法能正常工作并且非常快,不过它牺牲了部分精确性,字母出现的概率并不是精确一样的(假设rand.Int63()生成63比特的数字是等概率的)。由于字母总共才52个,远小于 1= letterIdBits remain-- } return *(*string)(unsafe.Pointer(&b))}func TestApproach8(t *testing.T) { fmt.Println(randStr(10))}func BenchmarkApproach8(b *testing.B) { for i := 0; i < b.N; i++ { _ = randStr(10) }}[/code]Benchmark
- package approach4
- import (
- "fmt"
- "math/rand"
- "testing"
- "time"
- )
- const letters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
- const (
- // 6 bits to represent a letters index
- letterIdBits = 6
- // All 1-bits as many as letterIdBits
- letterIdMask = 1 <<letterIdBits - 1
- )
- func randStr(n int) string {
- b := make([]byte, n)
- for i := range b {
- if idx := int(rand.Int63() & letterIdMask); idx < len(letters) {
- b[i] = letters[idx]
- i++
- }
- }
- return string(b)
- }
- func TestApproach4(t *testing.T) {
- rand.Seed(time.Now().UnixNano())
- fmt.Println(randStr(10))
- }
- func BenchmarkApproach4(b *testing.B) {
- rand.Seed(time.Now().UnixNano())
- for i := 0; i < b.N; i++ {
- _ = randStr(10)
- }
- }
复制代码 原作者测试的数据
(译者注:第三列代表操作一次需要多少纳秒)- package approach5
- import (
- "fmt"
- "math/rand"
- "testing"
- "time"
- )
- const letters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
- const (
- // 6 bits to represent a letter index
- letterIdBits = 6
- // All 1-bits as many as letterIdBits
- letterIdMask = 1<<letterIdBits - 1
- letterIdMax = 63 / letterIdBits
- )
- func randStr(n int) string {
- b := make([]byte, n)
- // A rand.Int63() generates 63 random bits, enough for letterIdMax letters!
- for i, cache, remain := n-1, rand.Int63(), letterIdMax; i >= 0; {
- if remain == 0 {
- cache, remain = rand.Int63(), letterIdMax
- }
- if idx := int(cache & letterIdMask); idx < len(letters) {
- b[i] = letters[idx]
- i--
- }
- cache >>= letterIdBits
- remain--
- }
- return string(b)
- }
- func TestApproach5(t *testing.T) {
- rand.Seed(time.Now().UnixNano())
- fmt.Println(randStr(10))
- }
- func BenchmarkApproach5(b *testing.B) {
- rand.Seed(time.Now().UnixNano())
- for i := 0; i < b.N; i++ {
- _ = randStr(10)
- }
- }
复制代码 译者测试的数据- package approach6
- import (
- "fmt"
- "math/rand"
- "testing"
- "time"
- )
- const letters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
- var src = rand.NewSource(time.Now().UnixNano())
- const (
- // 6 bits to represent a letter index
- letterIdBits = 6
- // All 1-bits as many as letterIdBits
- letterIdMask = 1<<letterIdBits - 1
- letterIdMax = 63 / letterIdBits
- )
- func randStr(n int) string {
- b := make([]byte, n)
- // A rand.Int63() generates 63 random bits, enough for letterIdMax letters!
- for i, cache, remain := n-1, src.Int63(), letterIdMax; i >= 0; {
- if remain == 0 {
- cache, remain = src.Int63(), letterIdMax
- }
- if idx := int(cache & letterIdMask); idx < len(letters) {
- b[i] = letters[idx]
- i--
- }
- cache >>= letterIdBits
- remain--
- }
- return string(b)
- }
- func TestApproach6(t *testing.T) {
- fmt.Println(randStr(10))
- }
- func BenchmarkApproach6(b *testing.B) {
- for i := 0; i < b.N; i++ {
- _ = randStr(10)
- }
- }
复制代码 现在跑出来的数据,相原作者时候,已经有了一些变化,不过并不妨碍我们看出来各个方法的趋势:
- 仅仅只是把rune切换到byte,就获得了性能的大幅度提升(大于百分之20)
- 使用rand.Int63()代替rand.Intn()也获得大幅度提升(大于百分之20)
- 使用Masking并没有提升性能,相反在原作者哪里,反而性能下降了
- 不过使用了一次rand.Int63()返回的全部字符后,性能提升了3倍
- 使用rand.Source替代rand.Rand,性能提升了21%
- 使用strings.Builder,我们在速度上提升了3.5%,并且把原本2次的内存分配,降低到了一次!
- 使用unsafe包来代替strings.Builder,性能提升了14%
将第八个方案和第一个方案比较,第八个方案比第一个方案快6.3倍,仅仅使用六分之一的内存,分配次数也只有原来的一半。
点击关注,第一时间了解华为云新鲜技术~
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |