Python简单使用MinerU

Python简单使用MinerU

1 简介

MinerU是国产的一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。现在支持图像（.jpg及.png）、PDF、Word（.doc及.docx）、以及PowerPoint（.ppt及.pptx）等。

1. # 官网地址
2. https://mineru.readthedocs.io/en/latest/index.html
4. # Github地址
5. https://github.com/opendatalab/mineru
7. # API接口地址
8. https://mineru.readthedocs.io/en/latest/user_guide/quick_start/convert_pdf.html
10. # 模型下载脚本地址
11. # 从ModelScope下载模型：download_models.py
12. # 从HuggingFace下载模型: download_models_hf.py
13. https://github.com/opendatalab/MinerU/tree/master/scripts

复制代码

2 安装MinerU

安装Python环境

1. # 我的版本是：magic-pdf==1.1.0
2. pip install -U "magic-pdf[full]" -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

下载权重
官网提供了HuggingFace和ModelScope两种方法下载，本文从ModlScope上下载，

1. # 官网下载方法地址
2. https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_zh_cn.md

复制代码

开始下载权重
⚠️ 注意：模子下载完成后，脚本会自动生成用户目录下的magic-pdf.json文件，并自动配置默认模子路径。 您可在【用户目录】下找到magic-pdf.json文件。

1. # 安装modelscope
2. pip install modelscope
4. # 下载文件
5. wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py -O download_models.py
6. # 也可以到下面的地址，找到download_models.py下载
7. https://github.com/opendatalab/MinerU/tree/master/scripts
9. # 执行下载模型
10. # 为了方便使用模型，我修改了download_models.py，添加了设置模型的位置。
11. python download_models.py

复制代码

修改后的download_models.py
⚠️ 此步可以不做。
文件中的local_dir是我新加的下载模子的位置，如果不设置会下载到下面貌录中：windows的用户目录为 “C:\Users\用户名”, linux用户目录为 “/home/用户名”。

1. import json
2. import os
4. import requests
5. from modelscope import snapshot_download
8. def download_json(url):
9.     # 下载JSON文件
10.     response = requests.get(url)
11.     response.raise_for_status()  # 检查请求是否成功
12.     return response.json()
15. def download_and_modify_json(url, local_filename, modifications):
16.     if os.path.exists(local_filename):
17.         data = json.load(open(local_filename))
18.         config_version = data.get('config_version', '0.0.0')
19.         if config_version < '1.1.1':
20.             data = download_json(url)
21.     else:
22.         data = download_json(url)
24.     # 修改内容
25.     for key, value in modifications.items():
26.         data[key] = value
28.     # 保存修改后的内容
29.     with open(local_filename, 'w', encoding='utf-8') as f:
30.         json.dump(data, f, ensure_ascii=False, indent=4)
33. if __name__ == '__main__':
34.     mineru_patterns = [
35.         "models/Layout/LayoutLMv3/*",
36.         "models/Layout/YOLO/*",
37.         "models/MFD/YOLO/*",
38.         "models/MFR/unimernet_small_2501/*",
39.         "models/TabRec/TableMaster/*",
40.         "models/TabRec/StructEqTable/*",
41.     ]
43.     # 设置模型下载的位置
44.     local_dir="E:/mineru"
46.     # 下载模型
47.     model_dir = snapshot_download('opendatalab/PDF-Extract-Kit-1.0', allow_patterns=mineru_patterns, local_dir=local_dir)
48.     layoutreader_model_dir = snapshot_download('ppaanngggg/layoutreader', local_dir=local_dir)
49.     model_dir = model_dir + '/models'
50.     print(f'model_dir is: {model_dir}')
51.     print(f'layoutreader_model_dir is: {layoutreader_model_dir}')
53.     json_url = 'https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/magic-pdf.template.json'
54.     config_file_name = 'magic-pdf.json'
55.     home_dir = os.path.expanduser('~')
56.     config_file = os.path.join(home_dir, config_file_name)
58.     json_mods = {
59.         'models-dir': model_dir,
60.         'layoutreader-model-dir': layoutreader_model_dir,
61.     }
63.     download_and_modify_json(json_url, config_file, json_mods)
64.     print(f'The configuration file has been configured successfully, the path is: {config_file}')

复制代码

3 Python使用MinerU

Python安装完MinerU后，可以直接执行下面的代码，首次执行时会自动下载PaddleOCR模子的权重和参数，PaddleOCR模子会自动下载到用户目录下的.paddleocr目录下。
解析PDF文件的Python代码如下：

1. import os
3. from magic_pdf.data.data_reader_writer import FileBasedDataWriter, FileBasedDataReader
4. from magic_pdf.data.dataset import PymuDocDataset
5. from magic_pdf.model.doc_analyze_by_custom_model import doc_analyze
6. from magic_pdf.config.enums import SupportedPdfParseMethod
8. # pdf文件路径
9. pdf_file_path = "E:/hello/test-5-2.pdf"
10. # 获取没有后缀的pdf文件名称
11. pdf_file_path_without_suff = pdf_file_path.split(".")[0]
12. print(pdf_file_path_without_suff)
14. # 文件所在的目录
15. pdf_file_path_parent_dir = os.path.dirname(pdf_file_path)
16. image_dir = os.path.join(pdf_file_path_parent_dir, "images")
17. print(image_dir)
19. # Markdown的写入实例
20. # markdown_dir = "./output/markdown"
21. # writer_markdown = FileBasedDataWriter(markdown_dir)
22. writer_markdown = FileBasedDataWriter()
23. # 读取图片
24. writer_image = FileBasedDataWriter(image_dir)
26. # 读取文件流
27. reader_pdf = FileBasedDataReader("")
28. bytes_pdf = reader_pdf.read(pdf_file_path)
30. # 处理数据
31. dataset_pdf = PymuDocDataset(bytes_pdf)
33. # 判断是否支持ocr
34. if dataset_pdf.classify() == SupportedPdfParseMethod.OCR:
35.     # 支持OCR
36.     infer_result = dataset_pdf.apply(doc_analyze, ocr=True)
37.     pipe_result = infer_result.pipe_ocr_mode(writer_image)
38. else:
39.     # 不支持OCR
40.     infer_result = dataset_pdf.apply(doc_analyze, ocr=False)
41.     pipe_result = infer_result.pipe_txt_mode(writer_image)
43. # 在每一页上都使用模型解析文本
44. infer_result.draw_model(pdf_file_path)
46. # 获取模型处理后的结果
47. model_inference_result = infer_result.get_infer_res()
48. print(model_inference_result)
50. # 为pdf生成含有颜色标注布局的pdf文件
51. pipe_result.draw_layout(f"{pdf_file_path_without_suff}_layout.pdf")
53. # 为pdf生成含有颜色标注文本行的pdf文件
54. pipe_result.draw_span(f"{pdf_file_path_without_suff}_spans.pdf")
56. # 获取markdown的内容
57. markdown_content = pipe_result.get_markdown(image_dir)
58. print(markdown_content)
60. # 保存markdown文件
61. # pipe_result.dump_md(writer_markdown, f"{pdf_file_path_without_suff}.md", image_dir)
62. pipe_result.dump_md(writer_markdown, f"{pdf_file_path_without_suff}.md", image_dir)
64. # json文本列表
65. # 数据类型包括type、text、text_level、page_idx、img_path等
66. content_list_content = pipe_result.get_content_list(image_dir)
67. print(content_list_content)
69. # 保存json文本列表
70. pipe_result.dump_content_list(writer_markdown, f"{pdf_file_path_without_suff}_content_list.json", image_dir)
72. # 获取含有位置信息的json文本
73. middle_json_content = pipe_result.get_middle_json()
75. # 保存含有位置信息的json文本
76. pipe_result.dump_middle_json(writer_markdown, f'{pdf_file_path_without_suff}_middle.json')

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。