目录
一、配置文件 config.py
二、 数据加载文件 loader.py
1.加载数据
Ⅰ、加载字表或词表
Ⅱ、加载标签映射表
Ⅲ、封装数据
2.处理数据
Ⅰ、补齐或截断
Ⅱ、定义类的特殊方法
① 返回数据集大小
② 生成随机训练样本
③ 根据索引返回样本
Ⅲ、加载和处理训练样本和测试样本
Ⅳ、初始化数据加载器
完备代码
三、 模型定义文件 model.py
1.句子编码 SentenceEncoder
Ⅰ、模型初始化
Ⅱ、前向传播
2.计算句子间相似度 SiameseNetwork
Ⅰ、模型初始化
Ⅱ、计算余弦距离
Ⅲ、计算三元组损失
Ⅳ、前向传播
3.选择优化器
4.建立网络模型结构
四、模型效果评估 evaluate.py
1.初始化测试类
2.问题编码转向量
3.统计模型效果并展示
Ⅰ、计算统计预测效果
Ⅱ、展示预测效果和准确率
4.模型表现评估函数
5.模型效果测试
五、模型训练文件 main.py
1、导入文件
2、日志配置
3、主函数 main
Ⅰ、创建模型生存目录
Ⅱ、加载训练数据
Ⅲ、加载模型
Ⅳ、检查GPU并迁移模型
Ⅴ、加载优化器
Ⅵ、加载评估器
Ⅶ、训练循环 |
