ToB企服应用市场:ToB评测及商务社交产业平台

标题: Marker 开源项目使用教程 [打印本页]

作者: 渣渣兔 时间: 2024-10-11 19:35
标题: Marker 开源项目使用教程
Marker 开源项目使用教程

markerConvert PDF to markdown quickly with high accuracy项目地点:https://gitcode.com/gh_mirrors/ma/marker
项目先容

Marker 是一个基于深度学习的文档处置惩罚工具，旨在从 PDF 文件中提取文本、表格和代码块，并将其转换为 Markdown 格式。它支持 OCR 处置惩罚，能够在 GPU、CPU 或 MPS 上运行，适用于多种文档范例。Marker 的核心功能包括文本提取、布局检测、格式清理和后处置惩罚，通过一系列深度学习模子实现高效准确的文档处置惩罚。
项目快速启动

安装

首先，克隆项目仓库并安装所需的依赖：

git clone https://github.com/VikParuchuri/marker.git
cd marker
poetry install

复制代码

设置

在 marker/settings.py 文件中进行须要的设置。可以通过情况变量覆盖默认设置。比方，假如使用 GPU，可以设置 TORCH_DEVICE=cuda 和 INFERENCE_RAM 为 GPU 的 VRAM 大小。
运行

下载基准测试数据并解压，然后运行基准测试脚本：

python benchmark.py data/pdfs data/references report.json --nougat

复制代码

应用案例和最佳实践

案例一：学术论文处置惩罚

Marker 可以用于处置惩罚学术论文，提取其中的文本、表格和公式，并转换为 Markdown 格式，便于进一步编辑和分享。
案例二：技能文档转换

对于技能文档，Marker 能够准确提取代码块和表格，保持文档结构的完整性，适用于技能博客和开发文档的自动化处置惩罚。
最佳实践

优化设置：根据文档范例和硬件资源调整设置，以达到最佳性能。
批量处置惩罚：使用批量处置惩罚功能，提高处置惩罚效率。
错误处置惩罚：在处置惩罚过程中加入错误处置惩罚机制，确保处置惩罚流程的稳定性。

范例生态项目

Surya

Surya 是一个用于页面布局检测的深度学习模子，Marker 使用 Surya 来辨认文档中的阅读顺序和布局结构。
Texify

Texify 是一个文本格式清理工具，Marker 使用 Texify 对提取的文本进行格式化和清理，确保输出的 Markdown 文档质量。
Nougat

Nougat 是一个 OCR 处置惩罚工具，Marker 在须要时使用 Nougat 进行文本辨认，提高文档处置惩罚的准确性。
通过联合这些生态项目，Marker 能够提供一个完整的文档处置惩罚解决方案，适用于多种应用场景。
markerConvert PDF to markdown quickly with high accuracy项目地点:https://gitcode.com/gh_mirrors/ma/marker

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)