软件工程-作业2

个人项目：论文查重系统

这个作业属于哪个课程班级链接这个作业要求在那里作业链接这个作业的目的算法设计与实现、工程化能力、文档与报告GitHub 项目地址：shiyao.com
一、PSP表格

PSP2.1Personal Software Process Stages预估耗时（分钟）实际耗时（分钟）Planning计划1510Estimate估计这个任务必要多少时间2020Development开辟180200Analysis需求分析 (包罗学习新技术)2015Design Spec天生设计文档2010Design Review设计复审105Coding Standard代码规范 (为现在的开辟制定合适的规范)105Design具体设计105Coding具体编码6080Code Review代码复审2030Test测试（自我测试，修改代码，提交修改）3020Reporting报告3045Test Repor测试报告3045Size Measurement盘算工作量2010Postmortem & Process Improvement Plan事后总结, 并提出过程改进计划1010·合计485510二、盘算模块设计

1. 接口设计与实现

类结构

• Main: 程序入口，处理命令行参数
  
• FileUtils: 文件读写工具类
  
• PaperCheckService: 查重算法
  
• ApplicationExceptionHandler: 启动类非常处理
  
• CommandLineArgsChecker: 启动前参数查抄
  

Main->CommandLineArgsChecker（查抄参数）->FileUtils(读)->aperCheckService（查重盘算）->FileUtils（写）->结束
算法关键：词频向量的余弦相似度
三、性能改进

PaperCheckService: 查重算法中，一开始想用滑动窗口+二分查找来查重，但是对与复杂文本难以适用于是改用词频向量的余弦相似度
1.滑动窗口+二分查找：

1. class LCSChecker {
2.     // 使用二分查找 + 滑动窗口找最长公共子串的长度
3.     public static int binarySearchLCS(String s1, String s2) {
4.         // 确保 s1 是较短的字符串，减少哈希集合的大小，提高匹配效率
5.         if (s1.length() > s2.length()) {
6.             String temp = s1;
7.             s1 = s2;
8.             s2 = temp;
9.         }
11.         int low = 0, high = s1.length(); // 二分查找范围
12.         int bestLength = 0; // 记录最长公共子串的长度
14.         // 二分查找最长公共子串
15.         while (low <= high) {
16.             int mid = (low + high) / 2; // 取中间长度
17.             if (hasCommonSubstring(s1, s2, mid)) { // 判断是否存在该长度的公共子串
18.                 bestLength = mid;  // 更新最长子串长度
19.                 low = mid + 1;      // 尝试更长的子串
20.             } else {
21.                 high = mid - 1;     // 尝试更短的子串
22.             }
23.         }
24.         return bestLength;
25.     }
26. }

复制代码

3.Intellij Profiler分析：

四、单位测试

1.单位测试代码

1. @Service
2. public class PaperCheckService {
4.     // 停用词表
5.     private static final Set<String> STOP_WORDS = new HashSet<>(Arrays.asList(
6.             "的", "了", "在", "是", "我", "有", "和", "就", "不", "人", "都", "与", "上", "这", "你"
7.     ));
9.     /**
10.      * 计算两篇文本的相似度
11.      * @param original    原始文本
12.      * @param plagiarized 待检测文本
13.      * @return 相似度得分（0.0~1.0）
14.      */
15.     public static double computeSimilarity(String original, String plagiarized) {
16.         // 处理空文本边界情况
17.         if (original.isEmpty() && plagiarized.isEmpty()) return 1.0;  // 两文本均为空视为完全相似
18.         if (original.isEmpty() || plagiarized.isEmpty()) return 0.0;  // 任一文本为空视为无相似
20.         // 文本预处理：分词 -> 过滤停用词 -> 过滤单字
21.         List<String> originalTerms = processText(original);
22.         List<String> plagiarizedTerms = processText(plagiarized);
24.         // 构建联合词频向量（Key: 词语, Value: int[2]数组，0位存原文词频，1位存待检测文本词频）
25.         Map<String, int[]> termFrequency = new HashMap<>();
26.         buildTermFrequencyVector(originalTerms, termFrequency, 0);  // 处理原文
27.         buildTermFrequencyVector(plagiarizedTerms, termFrequency, 1);  // 处理待检测文本
29.         // 计算并返回余弦相似度
30.         return calculateCosineSimilarity(termFrequency);
31.     }
33.     /**
34.      * 文本预处理流水线
35.      * @param text 原始文本
36.      * @return 处理后的词语列表（小写，已过滤停用词和单字）
37.      * @author zyh
38.      * @date 2025/03/06
39.      */
40.     private static List<String> processText(String text) {
41.         return ToAnalysis.parse(text).getTerms().stream()  // 分词器进行中文分词
42.                 .map(Term::getName)                        // 提取分词结果
43.                 .filter(word -> !STOP_WORDS.contains(word)) // 过滤停用词
44.                 .filter(word -> word.length() > 1)          // 过滤单字
45.                 .collect(Collectors.toList());
46.     }
48.     /**
49.      * 构建词频统计向量
50.      * @param terms        词语列表
51.      * @param frequencyMap 词频统计Map
52.      * @param index        统计位置（0表示原文，1表示待检测文本）
53.      * @author zyh
54.      * @date 2025/03/06
55.      */
56.     private static void buildTermFrequencyVector(List<String> terms,
57.                                                  Map<String, int[]> frequencyMap,
58.                                                  int index) {
59.         terms.forEach(term -> {
60.             frequencyMap.putIfAbsent(term, new int[2]);  // 初始化词频数组
61.             frequencyMap.get(term)[index]++;             // 对应位置词频+1
62.         });
63.     }
65.     /**
66.      * 计算余弦相似度公式：cos=(A·B)/(||A||*||B||)
67.      * @param frequencyMap 词频统计表
68.      * @return 余弦相似度值（范围0.0~1.0）
69.      * @author zyh
70.      * @date 2025/03/06
71.      */
72.     private static double calculateCosineSimilarity(Map<String, int[]> frequencyMap) {
73.         double dotProduct = 0.0;  // 点积（分子）
74.         double normA = 0.0;       // 向量A的模长平方
75.         double normB = 0.0;       // 向量B的模长平方
77.         for (int[] vector : frequencyMap.values()) {
78.             // 计算点积
79.             dotProduct += vector[0] * vector[1];
80.             // 分别累加模长平方
81.             normA += Math.pow(vector[0], 2);
82.             normB += Math.pow(vector[1], 2);
83.         }
85.         // 处理除零情况
86.         if (normA == 0 || normB == 0) return 0.0;
88.         // 计算并返回最终相似度
89.         return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
90.     }
91. }

复制代码

2.覆盖率

五、非常处理

1.非常设计代码

1. class PaperCheckServiceTest {
3.     /**
4.      * 测试完全相同的文本
5.      * 预期结果：相似度应为1.0
6.      */
7.     @Test
8.     void testExactMatch() {
9.         assertEquals(1.0, PaperCheckService.computeSimilarity("今天天气很好", "今天天气很好"), 0.01);
10.     }
12.     /**
13.      * 测试完全不同的文本
14.      * 预期结果：相似度应为0.0
15.      */
16.     @Test
17.     void testCompletelyDifferent() {
18.         assertEquals(0.0, PaperCheckService.computeSimilarity("今天天气很好", "计算机科学"), 0.01);
19.     }
21.     /**
22.      * 测试空文本处理（双空）
23.      * 预期结果：相似度应为1.0
24.      */
25.     @Test
26.     void testBothEmpty() {
27.         assertEquals(1.0, PaperCheckService.computeSimilarity("", ""), 0.01);
28.     }
30.     /**
31.      * 测试空文本与正常文本
32.      * 预期结果：相似度应为0.0
33.      */
34.     @Test
35.     void testOneEmpty() {
36.         assertEquals(0.0, PaperCheckService.computeSimilarity("", "深度学习"), 0.01);
37.     }
39.     /**
40.      * 测试单字词过滤
41.      * 数据构造：原文含单字词，对比文本无单字词
42.      * 预期结果：相似度为0.0（有效词被过滤后无交集）
43.      */
44.     @Test
45.     void testSingleCharacterFiltered() {
46.         assertEquals(0.0, PaperCheckService.computeSimilarity("A 数据", "数据挖掘"), 0.01); // 处理后"数据" vs "数据""挖掘"
47.     }
49.     /**
50.      * 测试词序不影响结果
51.      * 数据构造：相同词汇不同顺序
52.      * 预期结果：相似度应为1.0
53.      */
54.     @Test
55.     void testWordOrderIrrelevant() {
56.         assertEquals(1.0, PaperCheckService.computeSimilarity("机器学习 深度学习", "深度学习 机器学习"), 0.01);
57.     }
59.     /**
60.      * 测试部分重复内容
61.      * 数据构造：两文本有 50% 词汇重叠
62.      * 预期结果：相似度约为 0.5（实际值取决于词频）
63.      */
64.     @Test
65.     void testPartialOverlap() {
66.         String text1 = "自然语言处理 文本分析 算法";
67.         String text2 = "文本分析 机器学习 算法";
68.         double similarity = PaperCheckService.computeSimilarity(text1, text2);
69.         assertTrue(similarity > 0.4 && similarity < 0.6);
70.     }
72.     /**
73.      * 测试长文本重复
74.      * 数据构造：长文本与自身+少量新增内容对比
75.      * 预期结果：相似度接近 1.0
76.      */
77.     @Test
78.     void testLongText() {
79.         String base = "分布式系统的核心是容错性和一致性。";
80.         String text1 = base.repeat(100);
81.         String text2 = text1 + "新增补充内容。";
82.         assertTrue(PaperCheckService.computeSimilarity(text1, text2) > 0.95);
83.     }
85.     /**
86.      * 测试特殊符号处理
87.      * 数据构造：含特殊符号的文本与纯净文本对比
88.      * 预期结果：相似度应为 1.0（符号被过滤）
89.      */
90.     @Test
91.     void testSpecialSymbols() {
92.         assertEquals(1.0, PaperCheckService.computeSimilarity("数据！@#", "数据"), 0.01);
93.     }
95.     /**
96.      * 测试全停用词导致空向量
97.      * 数据构造：两文本均为停用词
98.      * 预期结果：相似度应为 0.0
99.      */
100.     @Test
101.     void testAllStopWords() {
102.         assertEquals(0.0, PaperCheckService.computeSimilarity("这是的", "就和在"), 0.01);
103.     }
104. }

复制代码

2.设计目的

1.testReadFile_FileNotExist

• ​目的：
  
  
  • 文件不存在时返回 null，克制程序崩溃
    
  • 打印错误路径（文件读错误: non_existent.txt），便于定位题目
    
  
  
• 场景：文件不存在
  

2.testWriteFile_InvalidPath

• ​目的：
  
  
  • 写入失败时静默处理，克制程序终止
    
  • 记录错误路径（文件写错误: /invalid_directory/result.txt）
    
  
  
• 场景：写入路径不可用（如目次不存在）
  

3.testCheckArgs_InvalidArgumentCount

• ​目的：
  
  
  • 参数不足时立即抛出非常，阻止后续无效操纵
    
  • 提示正确命令格式（java -jar main.jar   ）
    
  
  
• 场景：参数数量不匹配
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。