别再为文本提取抓狂！一站式文本提取神器Kreuzberg 助你解决PDF、图片、文 ...

大家好，我是六哥，相信许多朋友肯定都有过从各种文档里提取文本的经历，那过程可太让人头疼了！本日就给大家分享一款超实用的当代Python库——Kreuzberg，帮你轻松解决文本提取的难题。
一、Kreuzberg解决了什么问题

现在许多文本提取工具，要么依靠外部API调用，要么配置特别复杂，使用起来很不方便。而Kreuzberg专为解决RAG（检索增强生成）应用里的文本提取需求而生，不外它可不止这点用处，任何文本提取场景都能美满适配。它专注于本地处理，依靠少，简朴又高效。
二、Kreuzberg的强大功能

• 通用文本提取：不管是可搜刮的PDF、扫描版PDF，照旧图片、办公文档，Kreuzberg都能从中精准提取文本。比如你要从合同PDF里提取关键条款，或者从产物宣传图里抓取文字信息，它都能轻松搞定。
  
• 智能处理：扫描文档能自动OCR识别，文本文件能检测编码。像处理不同来源的文本资料，它能自动识别编码，让乱码问题不再出现。
  
• 当代Python设计：接纳异步优先的API，基于anyio构建，支持全面的范例提示，方便在IDE中开发，还具备详细的错误处理，包含上下文信息，开发过程更省心。
  

三、Kreuzberg的显著特点

• 简朴便捷：提供简便的API，不用复杂配置就能运行，哪怕是新手小白也能轻松上手。
  
• 本地处理：无需调用外部API，不依靠云服务，数据安全有保障，没网也能正常工作。
  
• 资源高效：轻量级处理，不依靠GPU，普通电脑也能流通运行，节省硬件本钱。
  
• 格式支持全面：支持的格式超丰富，涵盖文档、图像、文本等各类格式，根本能满足日常所有需求。
  

四、使用方法超简朴

• 安装
  
  
  
  • 安装Python包：pip install kreuzberg
    
  • 安装系统依靠项：需要Pandoc（用于文档格式转换）和Tesseract OCR（用于图像和PDF光学字符识别），按照各自的安装指南安装就行。
    
  
  
• 根本使用
  Kreuzberg提供了简朴的异步文本提取API，主要有两个功能：
  
  
  
  • extract_file()：从文件中提取文本，可以接受字符串路径或pathlib.Path 。
    
  
  

1. from pathlib import Path
2. from kreuzberg import extract_file, extract_bytes
4. # 基本文件提取
5. async def extract_document():
6.     # 从PDF文件提取
7.     pdf_result = await extract_file("document.pdf")
8.     print(f"PDF文本: {pdf_result.content}")
10.     # 从图像提取
11.     img_result = await extract_file("scan.png")
12.     print(f"图像文本: {img_result.content}")
14.     # 从Word文档提取
15.     docx_result = await extract_file(Path("document.docx"))
16.     print(f"Word文本: {docx_result.content}")

复制代码

1. - `extract_bytes()`：从字节中提取文本，接受字节字符串。比如处理上传的文件：

复制代码

1. from kreuzberg import extract_bytes
3. async def process_upload(file_content: bytes, mime_type: str):
4.     """处理已知MIME类型的上传文件内容。"""
5.     result = await extract_bytes(file_content, mime_type=mime_type)
6.     return result.content
8. # 不同文件类型的示例用法
9. async def handle_uploads():
10.     # 处理PDF上传
11.     pdf_result = await extract_bytes(pdf_bytes, mime_type="application/pdf")
13.     # 处理图像上传
14.     img_result = await extract_bytes(image_bytes, mime_type="image/jpeg")
16.     # 处理Word文档上传
17.     docx_result = await extract_bytes(docx_bytes,
18.         mime_type="application/vnd.openxmlformats-officedocument.wordprocessingml.document")

复制代码

• 高级功能
  
  
  
  • PDF处理选项：可以强制对包含嵌入图像或扫描内容的PDF进行OCR处理。
    
  
  

1. from kreuzberg import extract_file
3. async def process_pdf():
4.     # 对包含图像或扫描内容的PDF强制OCR
5.     result = await extract_file("document.pdf", force_ocr=True)
7.     # 处理扫描版PDF（自动使用OCR）
8.     scanned = await extract_file("scanned.pdf")

复制代码

1. - **提取结果对象**：所有提取函数返回的对象包含提取的文本（`content`）和输出格式（`mime_type`）。

复制代码

1. from kreuzberg import ExtractionResult
3. async def process_document(path: str) -> tuple[str, str]:
4.     # 作为具名元组访问
5.     result: ExtractionResult = await extract_file(path)
6.     print(f"内容: {result.content}")
7.     print(f"格式: {result.mime_type}")
9.     # 或解包为元组
10.     content, mime_type = await extract_file(path)
11.     return content, mime_type

复制代码

1. - **错误处理**：Kreuzberg通过多种异常类型提供全面的错误处理，所有异常都继承自`KreuzbergError` ，每个异常都包含有助于调试的上下文信息。

复制代码

1. from kreuzberg import extract_file
2. from kreuzberg.exceptions import (
3.     ValidationError,
4.     ParsingError,
5.     OCRError,
6.     MissingDependencyError
7. )
9. async def safe_extract(path: str) -> str:
10.     try:
11.         result = await extract_file(path)
12.         return result.content
14.     except ValidationError as e:
15.         # 输入验证问题
16.         # - 不支持或无法检测的MIME类型
17.         # - 文件缺失
18.         # - 无效输入参数
19.         print(f"验证失败: {e}")
21.     except OCRError as e:
22.         # OCR特定问题
23.         # - Tesseract处理失败
24.         # - 图像转换问题
25.         print(f"OCR失败: {e}")
27.     except MissingDependencyError as e:
28.         # 系统依赖问题
29.         # - 缺少Tesseract OCR
30.         # - 缺少Pandoc
31.         # - 版本不兼容
32.         print(f"依赖缺失: {e}")
34.     except ParsingError as e:
35.         # 一般处理错误
36.         # - PDF解析失败
37.         # - 格式转换问题
38.         # - 编码问题
39.         print(f"处理失败: {e}")
41.     return ""
43. # 示例错误上下文
44. try:
45.     result = await extract_file("document.xyz")
46. except ValidationError as e:
47.     # 错误将包含上下文：
48.     # ValidationError: 不支持的mime类型
49.     # 上下文: {
50.     #    "file_path": "document.xyz",
51.     #    "supported_mimetypes": ["application/pdf",...]
52.     # }
53.     print(e)
55. try:
56.     result = await extract_file("scan.jpg")
57. except OCRError as e:
58.     # 错误将包含上下文：
59.     # OCRError: OCR返回非0代码失败
60.     # 上下文: {
61.     #    "file_path": "scan.jpg",
62.     #    "tesseract_version": "5.3.0"
63.     # }
64.     print(e)

复制代码

五、支持格式超丰富

• 文档格式：PDF（可搜刮和扫描的文档）、Microsoft Word（.docx ，.doc ）、PowerPoint 演示文稿（.pptx ）、OpenDocument 文本（.odt ）、富文本格式（.rtf ）、EPUB (.epub)、DocBook XML（.dbk ，.xml ）、FictionBook (.fb2)、LaTeX (.tex,.latex)、Typst (.typ)。
  
• 标记和文本格式：HTML（.html ，.htm ）、纯文本（.txt ）和Markdown（.md ，.markdown ）、reStructuredText (.rst) 、Org-mode (.org)、DokuWiki (.txt) 、Pod (.pod)、手册页（.1 ，.2 等）。
  
• 数据和研究结果格式：Excel 电子表格（.xlsx ）、CSV（.csv ）和TSV（.tsv ）文件、Jupyter Notebooks (.ipynb)、BibTeX（.bib ）和BibLaTeX（.bib ）、CSL-JSON (.json) 、EndNote XML (.xml)、RIS (.ris)、JATS XML（.xml ）。
  
• 图片格式：JPEG (.jpg,.jpeg,.pjpeg)、PNG (.png) 、TIFF (.tiff,.tif)、BMP (.bmp) 、GIF (.gif) 、WebP（.webp ）、JPEG 2000（.jp2 ，.jpx ，.jpm ，.mj2 ）、便携式Anymap（.pnm ）、便携式位图（.pbm ）、便携式灰度图（.pgm ）、便携式像素图（.ppm ）。
  

六、架构设计很巧妙

Kreuzberg设计为在现有开源工具之上的高级异步抽象，集成了多个工具来实现强大功能：

• PDF处理：使用pdfium2处理可搜刮的PDF文件，Tesseract OCR处理扫描内容。
  
• 文档转换：利用Pandoc支持多种文档和标记格式，python-pptx处理PowerPoint文件，html-to-markdown处理HTML内容，还有专门处理Excel电子表格的工具。
  
• 文本处理：实现智能编码检测，以及Markdown和纯文本处理。
  

如果你对Kreuzberg感爱好，想深入相识或者参与开发，可以访问项目链接：https://github.com/Goldziher/kreuzberg 。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。