自定义Yolov10和Ollama（Llama 3）加强OCR
最近，我大部分时间都在玩大型语言模型（LLMs），但我对计算机视觉的热爱从未真正消退。因此，当偶然机将两者结合起来时，我迫不及待地想要深入研究。在Goodreads上扫描书的封面并将其标记为“已读”总是感觉像一种邪术，我忍不住想要为本身重现这种体验。https://img-blog.csdnimg.cn/img_convert/a21c6049c8333e2fb358d6f8dfbbf8f3.jpeg
通过结合自定义练习的YOLOv10模型和OCR技能，你可以获得巨大的正确性提拔。但当你加入一个LLM（Llama 3）时，真正的邪术就发生了——那些杂乱的OCR输出突然变成了干净、可用的文本，非常得当实际应用。
为什么我们需要在OCR中使用YOLO和Ollama？
传统的OCR（光学字符识别）方法在从简单图像中提取文本方面做得很好，但当文本与其他视觉元素交织在一起时，往往难以应对。通过使用自定义的YOLO模型起首检测文本区域等对象，我们可以为OCR隔离这些区域，明显减少噪声并提高正确性。让我们通过在没有YOLO的图像上运行一个基本的OCR示例来演示这一点，以突出单独使用OCR的挑战：
import easyocr``import cv2``# Initialize EasyOCR``reader = easyocr.Reader(['en'])``# Load the image``image = cv2.imread('book.jpg')``# Run OCR directly``results = reader.readtext(image)``# Display results``for (bbox, text, prob) in results:` `print(f"Detected Text: {text} (Probability: {prob})")
THE 0 R |G |NAL B E STSELLE R THE SECRET HISTORY DONNA TARTT Haunting, compelling and brilliant The Times
固然它可以很好地处理更简单的图像，但当存在噪声或复杂的视觉模式时，错误就开始堆积。这时，YOLO模型介入并真正发挥作用。
1. 练习自定义Yolov10数据集
用对象检测加强OCR的第一步是在你数据集上练习一个自定义的YOLO模型。YOLO（You Only Look Once）是一个强大的实时对象检测模型，它将图像划分为网格，允许它在单次前向转达中识别多个对象。这种方法非常得当检测图像中的文本，特别是当你想要通过隔离特定区域来提高OCR结果时。
https://img-blog.csdnimg.cn/img_convert/b8dde09db7cd18fc6a0da589e40a68ed.png
书籍封面数据集
我们将使用这里链接的预注释书籍封面数据集，并在它上面练习一个YOLOv10模型。YOLOv10针对较小的对象举行了优化，使其非常得当在视频或扫描文档等具有挑战性的环境中检测文本。
from ultralytics import YOLO`` ``model = YOLO("yolov10n.pt")``# Train the model``model.train(data="datasets/data.yaml", epochs=50, imgsz=640)
你可以调解周期数量、数据集大小等参数，大概实行调解超参数以提高模型的性能和正确性。
https://img-blog.csdnimg.cn/img_convert/83661fc0ecc8755fa668f0ce63cf66fd.png
YOLOv10自定义数据集练习的关键指标
2. 在视频上运行自定义模型以获取边界框
一旦你的YOLO模型练习完成，你可以将其应用于视频以检测文本区域周围的边界框。这些边界框隔离了感兴趣的区域，确保了更干净的OCR过程：
import cv2``# Open video file``video_path = 'books.mov'``cap = cv2.VideoCapture(video_path)``# Load YOLO model``model = YOLO('model.pt')``# Function for object detection and drawing bounding boxes``def predict_and_detect(model, frame, conf=0.5):` `results = model.predict(frame, conf=conf)` `for result in results:` `for box in result.boxes:` `# Draw bounding box` `x1, y1, x2, y2 = map(int, box.xyxy.tolist())` `cv2.rectangle(frame, (x1, y1), (x2, y2), (255, 0, 0), 2)` `return frame, results``# Process video frames``while cap.isOpened():` `ret, frame = cap.read()` `if not ret:` `break` `# Run object detection` `processed_frame, results = predict_and_detect(model, frame)` `# Show video with bounding boxes` `cv2.imshow('YOLO + OCR Detection', processed_frame)` `if cv2.waitKey(1) & 0xFF == ord('q'):` `break``# Release video``cap.release()``cv2.destroyAllWindows()``
https://img-blog.csdnimg.cn/img_convert/61df858ff35db69b1fa6a25a67415909.png
这段代码实时处理视频，绘制检测到的文本周围的边界框，并隔离这些区域，为下一步——OCR——做好了完美的准备。
3. 在边界框上运行OCR
现在我们已经用YOLO隔离了文本区域，我们可以在这些特定区域内应用OCR，与在整个图像上运行OCR相比，大大提高了正确性：
import easyocr``# Initialize EasyOCR``reader = easyocr.Reader(['en'])``# Function to crop frames and perform OCR``def run_ocr_on_boxes(frame, boxes):` `ocr_results = []` `for box in boxes:` `x1, y1, x2, y2 = map(int, box.xyxy.tolist())` `cropped_frame = frame` `ocr_result = reader.readtext(cropped_frame)` `ocr_results.append(ocr_result)` `return ocr_results``# Perform OCR on detected bounding boxes``for result in results:` `ocr_results = run_ocr_on_boxes(frame, result.boxes)` `# Extract and display the text from OCR results` `extracted_text = for ocr in ocr_results for detection in ocr]` `print(f"Extracted Text: {', '.join(extracted_text)}")
'THE, SECRET, HISTORY, DONNA, TARTT'
结果明显改善，因为OCR引擎现在只处理被特别识别为包罗文本的区域，减少了从无关图像元素中误解的风险。
4. 使用Ollama改进文本
使用easyocr提取文本后，Llama 3可以进一步通过完善通常不完美和杂乱的结果。OCR功能强大，但它仍旧可能误解文本或返回无序的数据，特别是书籍标题或作者名称。LLM介入整理输出，将原始OCR结果转化为结构化、连贯的文本。通过用特定提示引导Llama 3来识别和构造内容，我们可以将不完美的OCR数据完善为整洁格式化的书籍标题和作者名称。最好的部分？你可以使用Ollama在当地运行它！
import ollama``# Construct a prompt to clean up the OCR output``prompt = f"""``- Below is a text extracted from an OCR. The text contains mentions of famous books and their corresponding authors.``- Some words may be slightly misspelled or out of order.``- Your task is to identify the book titles and corresponding authors from the text.``- Output the text in the format: '<Name of the book> : <Name of the author>'.``- Do not generate any other text except the book title and the author.``TEXT:``{output_text}``"""``# Use Ollama to clean and structure the OCR output``response = ollama.chat(` `model="llama3",` `messages=[{"role": "user", "content": prompt}]``)``# Extract cleaned text``cleaned_text = response['message']['content'].strip()``print(cleaned_text)
The Secret History : Donna Tartt
一旦LLM清算了文本，抛光后的输出可以存储在数据库中，或用于各种实际应用，比方：
[*] 数字图书馆或书店：主动分类并表现书籍标题及其作者。
[*] 档案系统：将扫描的书籍封面或文件转换为可搜索的数字记录。
[*] 主动元数据生成：根据提取的信息为图像、PDF或其他数字资产生成元数据。
[*] 数据库输入：将清算后的文本直接插入数据库，确保更大系统中的数据结构化和一致性。
通过结合对象检测、OCR和LLMs，你解锁了一个强大的管道，用于更结构化的数据处理，非常得当需要高精度的应用。
结论
你可以通过结合自定义练习的YOLOv10模型和EasyOCR，并使用LLM加强结果，明显改进文本识别工作流程。无论你是在处理棘手的图像或视频中的文本，清算OCR杂乱，照旧使统统超级抛光，这个管道都能为你提供实时、激光正确的文本提取和细化。
怎样学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，以是实际上整个社会的生产效率是提拔的。
但是具体到个人，只能说是：
“最先把握AI的人，将会比力晚把握AI的人有竞争上风”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行子弟。帮助很多人得到了学习和成长。
我意识到有很多履历和知识值得分享给大家，也可以通过我们的本领和履历解答大家在人工智能学习中的很多困惑，以是在工作繁忙的情况下照旧坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提拔，故此将并将紧张的AI大模型资料包括AI大模型入门学习思维导图、佳构AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
https://img-blog.csdnimg.cn/direct/80dfd54ec491457faa956c46afad1163.png#pic_center
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的熟悉，对大模型 AI 的明白高出 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的看法，别人只会和 AI 谈天，而你能调教 AI，并能用代码将大模型和业务衔接。
[*]大模型 AI 能干什么？
[*]大模型是怎样获得「智能」的？
[*]用好 AI 的核心心法
[*]大模型应用业务架构
[*]大模型应用技能架构
[*]代码示例：向 GPT-3.5 灌入新知识
[*]提示工程的意义和核心思想
[*]Prompt 典型构成
[*]指令调优方法论
[*]思维链和思维树
[*]Prompt 攻击和防范
[*]…
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的本领。快速开辟一个完备的基于 agent 对话机器人。把握功能最强的大模型开辟框架，抓住最新的技能进展，得当 Python 和 JavaScript 步伐员。
[*]为什么要做 RAG
[*]搭建一个简单的 ChatPDF
[*]检索的基础概念
[*]什么是向量表示（Embeddings）
[*]向量数据库与向量检索
[*]基于向量检索的 RAG
[*]搭建 RAG 系统的扩展知识
[*]混合检索与 RAG-Fusion 简介
[*]向量模型当地摆设
[*]…
第三阶段（30天）：模型练习
恭喜你，假如学到这里，你基本可以找到一份大模型 AI相关的工作，本身也能练习 GPT 了！通过微调，练习本身的垂直大模型，能独立练习开源多模态大模型，把握更多技能方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
[*]为什么要做 RAG
[*]什么是模型
[*]什么是模型练习
[*]求解器 & 损失函数简介
[*]小实行2：手写一个简单的神经网络并练习它
[*]什么是练习/预练习/微调/轻量化微调
[*]Transformer结构简介
[*]轻量化微调
[*]实行数据集的构建
[*]…
第四阶段（20天）：商业闭环
对环球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和当地等多种环境下摆设大模型，找到得当本身的项目/创业方向，做一名被 AI 武装的产品经理。
[*]硬件选型
[*]带你相识环球大模型
[*]使用国产大模型服务
[*]搭建 OpenAI 代理
[*]热身：基于阿里云 PAI 摆设 Stable Diffusion
[*]在当地计算机运行大模型
[*]大模型的私有化摆设
[*]基于 vLLM 摆设大模型
[*]案例：怎样优雅地在阿里云私有摆设开源大模型
[*]摆设一套开源 LLM 项目
[*]内容安全
[*]互联网信息服务算法备案
[*]…
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的本身。
假如你能在15天内完成所有的使命，那你堪称天才。然而，假如你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特性了。
这份完备版的大模型 AI 学习资料已经上传CSDN，朋友们假如需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
https://img-blog.csdnimg.cn/direct/16d23a5ac75941ee874df3df7f04dfb4.png#pic_center
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]