输入法词库解析（七）微软用户自定义短语.dat

详细代码：https://github.com/cxcn/dtool

前言

微软拼音和微软五笔通用的用户自定义短语 dat 格式。
解析


前 8 个字节标识文件格式 machxudp，微软五笔的 lex 格式是 imscwubi。
下面 8 个字节应该是版本号。
接下来每 4 字节一组，分别表示偏移表开始、词条开始、文件总长、词条数、导出的时间戳。
然后补 0 一直到偏移表开始。
偏移表记录了每个词条从词条开始的偏移量，每 4 个字节一组。
接下来就是词条本体部分：
#占用字节数描述410 00 10 00 标记a2该词条总字节长 - 词占用的字节长1在候选中的位置10x06或0x13，未知404从2010-01-01开始的时间戳a - 16编码（utf-16le），00 标识结束词条总字节长 - a词（utf-16le），00 标识结束代码实现：

1. func (MsUDP) Parse(filename string) Table {
2.     data, _ := os.ReadFile(filename)
3.     r := bytes.NewReader(data)
4.     ret := make(Table, 0, r.Len()>>8)
6.     // 词库偏移量
7.     r.Seek(0x10, 0)
8.     offset_start := ReadUint32(r) // 偏移表开始
9.     entry_start := ReadUint32(r)  // 词条开始
10.     entry_end := ReadUint32(r)    // 词条结束
11.     entry_count := ReadUint32(r)  // 词条数
12.     export_time := ReadUint32(r)  // 导出的时间
13.     t := time.Unix(int64(export_time), 0)
14.     fmt.Println(t, entry_end)
16.     // 第一个偏移量
17.     offset := 0
18.     for i := 0; i < entry_count; i++ {
19.         var next, length int
20.         if i == entry_count-1 {
21.             length = entry_end - entry_start - offset
22.         } else {
23.             r.Seek(int64(offset_start+4*(i+1)), 0)
24.             next = ReadUint32(r)
25.             length = next - offset
26.         }
27.         // fmt.Println(offset, next, length)
29.         r.Seek(int64(offset+entry_start), 0)
30.         offset = next
31.         ReadUint32(r)            // 0x10001000
32.         codeLen := ReadUint16(r) // 编码字节长+0x12
33.         order, _ := r.ReadByte() // 顺序
34.         _, _ = r.ReadByte()      // 0x06 不明
35.         ReadUint32(r)            // 4 个空字节
36.         ReadUint32(r)            // 时间戳
37.         tmp := make([]byte, codeLen-0x12)
38.         r.Read(tmp)
39.         code, _ := util.Decode(tmp, "UTF-16LE")
40.         ReadUint16(r) // 两个空字节
41.         tmp = make([]byte, length-codeLen-2)
42.         r.Read(tmp)
43.         word, _ := util.Decode(tmp, "UTF-16LE")
44.         fmt.Println(code, word)
45.         ret = append(ret, Entry{word, code, order})
46.     }
47.     return ret
48. }

复制代码

生成

只需注意文件总长先用空字节代替，最后才写入。
代码实现：

1. func (MsUDP) Gen(table Table) []byte {
2.     var buf bytes.Buffer
3.     stamp := util.GetUint32(int(time.Now().Unix()))
4.     buf.Write([]byte{0x6D, 0x73, 0x63, 0x68, 0x78, 0x75, 0x64, 0x70,
5.         0x02, 0x00, 0x60, 0x00, 0x01, 0x00, 0x00, 0x00})
6.     buf.Write(util.GetUint32(0x40))
7.     buf.Write(util.GetUint32(0x40 + 4*len(table)))
8.     buf.Write(make([]byte, 4)) // 待定 文件总长
9.     buf.Write(util.GetUint32(len(table)))
10.     buf.Write(stamp)
11.     buf.Write(make([]byte, 28))
12.     buf.Write(make([]byte, 4))
14.     words := make([][]byte, 0, len(table))
15.     codes := make([][]byte, 0, len(table))
16.     sum := 0
17.     for i := range table {
18.         word, _ := util.Encode([]byte(table[i].Word), "UTF-16LE")
19.         code, _ := util.Encode([]byte(table[i].Code), "UTF-16LE")
20.         words = append(words, word)
21.         codes = append(codes, code)
22.         if i != len(table)-1 {
23.             sum += len(word) + len(code) + 20
24.             buf.Write(util.GetUint32(sum))
25.         }
26.     }
27.     for i := range table {
28.         buf.Write([]byte{0x10, 0x00, 0x10, 0x00})
29.         // fmt.Println(words[i], len(words[i]), codes[i], len(codes[i]))
30.         buf.Write(util.GetUint16(len(codes[i]) + 18))
31.         buf.WriteByte(table[i].Order)
32.         buf.WriteByte(0x06)
33.         buf.Write(make([]byte, 4))
34.         buf.Write(stamp)
35.         buf.Write(codes[i])
36.         buf.Write([]byte{0, 0})
37.         buf.Write(words[i])
38.         buf.Write([]byte{0, 0})
39.     }
40.     b := buf.Bytes()
41.     copy(b[0x18:0x1c], util.GetUint32(len(b)))
42.     return b
43. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！