翻转外语——自动化脚本100%正确率-基于paddleocr和opencv以及pyautogui自 ...

自动翻转卡包和拼写均已实现，剩下的点听力，阅读，语法，较为简单（如需要请自行增补代码）
ps: 使用雷电模拟器
这里提供的代码重要是思绪，直接粘贴复制是用不了的（因为缺少相关情况和python的模块包）

实现自动拼写：

1. import pyautogui,time,logging,re
2. from paddleocr import PaddleOCR
4. pyautogui.PAUSE = 0.1
5. time.sleep(1)
6. img_path="pinxie.png"
7. ##定位键盘,这个x，y很重要，定位全局。(尽量别修改)
8. x,y=pyautogui.locateCenterOnScreen(img_path,region=(0,0,500,900),confidence=0.8)##左半屏
9. ##可以不带region参数 x,y=pyautogui.locateCenterOnScreen(img_path，confidence=0.8)##全屏寻找
10. print(x,y)                                             
12. keyboard_layout = {
13.     'q': (x-365, y-196), 'w': (x-320, y-196), 'e': (x-275, y-196), 'r': (x-230, y-196), 't': (x-185, y-196),
14.     'y': (x-140, y-196), 'u': (x-95, y-196), 'i': (x-50, y-196), 'o': (x-5, y-196), 'p': (x+40, y-196),
15.     'a': (x-340, y-136), 's': (x-295, y-136), 'd': (x-250, y-136), 'f': (x-205, y-136), 'g': (x-160, y-136),
16.     'h': (x-115, y-136), 'j': (x-70, y-136), 'k': (x-25, y-136), 'l': (x+20, y-136),
17.     'z': (x-300, y-76), 'x': (x-255, y-76), 'c': (x-210, y-76), 'v': (x-165, y-76), 'b': (x-120, y-76),
18.     'n': (x-75, y-76), 'm': (x-30, y-76)
19. }
20. #这里的坐标不要修改，我调好的参数。
22. ##这里是主体部分
24. while True:##一般这里就是二十五个循环（25个单词拼写）
25.     def type_text(text):
26.         for char in text:
27.             if char in keyboard_layout:
28.                 x, y = keyboard_layout[char]
29.                 pyautogui.click(x, y)
32.     # 模拟第一次输入
33.     type_text("qwertyuipoiuy")
34.     pyautogui.click(x, y)
36.     time.sleep(0.5)
37.     ##截取单词
38.     pyautogui.screenshot("danci.png", (int(x - 360), int(y - 536), 380, 250))
39.     danci = []
41.     ##识别单词
42.     logging.disable(logging.DEBUG)
43.     ocr = PaddleOCR(use_angle_cls=True, lang="ch")
44.     result = ocr.ocr(f"danci.png", cls=True)
45.     for idx in range(len(result)):
46.         res = result[idx]
47.         for line in res:
48.             danci.append(line[1][0])
49.             # 将列表转换为一个字符串
50.     string = ''.join(danci)
51.     # 定义正则表达式模式，匹配 "提示" 后面的单词
52.     pattern = re.compile(r'提示(\w+)')
53.     # 使用正则表达式进行匹配
54.     match = pattern.search(string)
55.     result = match.group(1)     #           <---这个就是识别出来的正确答案
56.     print(result)               #打印出来方便观察的（可以删）
57.     ##以上为识别单词（识别结束）
59.     # 现在可以点击删除键清空单词
60.     pyautogui.click(x + 20, y - 76)
61.     # 现在开始输入单词
62.     type_text(result)
63.     pyautogui.click(x, y)
65.     time.sleep(1)               #延迟函数（很重要）可以根据你的电脑调整时间，但是不要删除（给截屏反应时间的），因为那个页面跳转会有0.3秒的时间响应

复制代码

思绪都写在注释里了
自动翻转卡包：

1. import logging,re,Levenshtein
2. import pyautogui,time
3. from paddleocr import PaddleOCR, draw_ocr
4. li=[]##识别表
5. li1=[]##对比表1
6. li22=[]##对比表22
7. def ocrbaocun():                     ##识别保存后正则化   为  对比表1
8.     li=[]
9.     li1=[]##初始化列表为空，防止混淆
10.     pp=0
11.     while True:
12.         if (pp==5):
13.             break
14.         time.sleep(1.5)
15.         img_path = "shibie.png"
16.         x, y = pyautogui.locateCenterOnScreen(img_path, region=(0, 0, 400, 800), confidence=0.7)
17.         pyautogui.click(x, y + 200)
18.         time.sleep(1.5)
19.         pyautogui.screenshot(f"shot{pp+1}.png", (int(x - 235), int(y - 160), 350, 370))
21.         ##开始识别翻译的截屏
22.         logging.disable(logging.DEBUG)
23.         ocr = PaddleOCR(use_angle_cls=True, lang="ch")
25.         result = ocr.ocr(f"shot{pp+1}.png", cls=True)
26.         for idx in range(len(result)):
27.             res = result[idx]
28.             str1 = ""
29.             for line in res:
30.                 str1 += line[1][0]
31.         pp += 1
33.         # 按住鼠标左键
34.         pyautogui.mouseDown(button='left')
35.         # 向上滑动
36.         pyautogui.moveRel(0, -100, duration=0.2)  # 这里的100可以调整，表示滑动的距离
37.         # 释放鼠标左键
38.         pyautogui.mouseUp(button='left')
39.         li.append(str1)
40.         print(li)
41.     #正则表达式
42.     pattern = re.compile(r'(?<![A-Z])\b(?!vt|n|adj|adv)[a-zA-Z]+\b|[\u4e00-\u9fa5]+')
43.     # 遍历列表中的每个元素
44.     for text in li:
45.         # 使用findall方法匹配文本中的单词
46.         matches = pattern.findall(text)
47.         # 输出匹配到的单词
48.         li1.append(matches)
49.     time.sleep(2)
50.     print(li1)
51.     for i in range(5):
52.         ocrchoice(li1)
53. def ocrchoice(li1):
54.     time.sleep(1.5)
55.     li2=[]
56.     li22=[]
57.     elect_path = "choice.png"
58.     x, y = pyautogui.locateCenterOnScreen(elect_path, confidence=0.7, region=(0, 0, 400, 800))
59.     pyautogui.screenshot("choicejietu.png", (int(x - 200), int(y + 100), 390, 270))
61.     logging.disable(logging.DEBUG)
62.     ocr = PaddleOCR(use_angle_cls=True, lang="ch")
63.     result = ocr.ocr(f"choicejietu.png", cls=True)
64.     for idx in range(len(result)):
65.         res = result[idx]
66.         for line in res:
67.             li2.append(line[1][0])
68.     pattern = re.compile(r'[\u4e00-\u9fa5]+')
69.     for text in li2:
70.         matches = pattern.findall(text)
71.         li22.append(matches)
72.     print(li22)
74.     ##从这里开始选择
75.     decide(x,y,li1,li22)
78. def decide(x,y,li1,li22):
79.     flat_list1 = [item for sublist in li1 for item in sublist]
81.     # 设置相似度阈值
82.     immediate_threshold = 0.7
84.     def are_similar(str1, str2):
85.         return Levenshtein.ratio(str1, str2)
87.     # 找到第二个双层列表中包含相似元素的子列表的相似度最大索引
88.     max_similarity = 0
89.     matching_index = -1
90.     immediate_found=False
91.     for idx, sublist in enumerate(li22):
92.         for item in sublist:
93.             for flat_item in flat_list1:
94.                 similarity = are_similar(item, flat_item)
95.                 print(f"Comparing '{item}' with '{flat_item}', similarity: {similarity}")
96.                 if similarity >= immediate_threshold:
97.                     print(f"Found immediate match with similarity {similarity} at index {idx}")
98.                     matching_index=idx
99.                     max_similarity=similarity
100.                     immediate_found=True
101.                     break
102.                 if similarity > max_similarity:
103.                     max_similarity = similarity
104.                     matching_index = idx
105.             if immediate_found:
106.                 break
107.         if immediate_found:
108.             break
109.     print(f"Matching index: {matching_index}, max similarity: {max_similarity}")
110.     #以上有两种匹配方案，如果有相似度>=0.8的子列表，就直接结束比对（一般都是1.0的相似度）。
111.     #如果没有>=0.8的，就比对所有字符串后取最大相似度所在的子列表索引。
113.     if(matching_index==0):
114.         pyautogui.click(x + 150, y + 130)##A
115.     if(matching_index==1):
116.         pyautogui.click(x + 150, y + 200)##B
117.     if(matching_index==2):
118.         pyautogui.click(x + 150, y + 270)##C
119.     if(matching_index==3):
120.         pyautogui.click(x + 150, y + 340)##D
121.     time.sleep(0.5)
122.     # 按住鼠标左键
123.     pyautogui.mouseDown(button='left')
124.     # 向上滑动
125.     pyautogui.moveRel(0, -100, duration=0.2)  # 这里的100可以调整，表示滑动的距离
126.     # 释放鼠标左键
127.     pyautogui.mouseUp(button='left')
128.     time.sleep(1.5)
134. while True:
135.     ocrbaocun()
136.     time.sleep(1)

复制代码

简单解说下卡包的思绪：

列表里的1，2，3，4，5是分别五个单词的翻译及其单词（还没有正则化）五个字符串在一个列表中往后累加的，以是后面也是一样的形式

白色框：是正则化（re）后的每个单词及其翻译
绿色框（每个单词都是这样的）：是第一个的单词的选择（A，B，C，D），显而易见也是已经经过 正则化。

选择思绪：

判断相似度：

以上有两种匹配方案，如果有相似度>=0.8的子列表，就直接竣事比对（一般都是1.0的相似度）如果没有>=0.8的，就比对所有字符串后取最大相似度所在的子列表索引。
Matching index就是选项，0，1，2，3分别对应A,B,C,D.

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。