ToB企服应用市场:ToB评测及商务社交产业平台

标题: 使用PDFMiner.six剖析PDF数据 [打印本页]
作者: 千千梦丶琪    时间: 前天 23:34
标题: 使用PDFMiner.six剖析PDF数据
PDF（可移植文档格式）文件是由Adobe创建的一种机动的文件格式，它答应文档在不同的软件、硬件和操作系统中一致地显示。每个PDF文件都包罗对固定布局文档的全面形貌，包括文本、字体、图形和其他必要的显示元素。pdf通常用于文档共享，因为它们能够保持原始格式。然而，以编程方式剖析和解释PDF内容可能是一项挑衅。这些困难包括pdf的复杂结构、不同的文本编码、复杂的布局、压缩的内容和嵌入的字体等题目。
  我们最近评估了几个流行的Python PDF库，如PyPDF/PyPDF2, PDFMiner.six, PyMuPDF, PDFplumber2,等。有些库得当提取文本，有些得当提取图像，有些速率很快，等等。在本文中，我们将重点先容如何开始使用PDFMiner.six。最新信息请随时关注官方网站。
  

环境准备

安装依赖包：
  1. pip install pdfminer.six
  2. pip install 'pdfminer.six[image]'
复制代码
示例PDF文件可以在这里找到，当然你也可以自己准备。让我们看看如何使用这些api：

抽取文本

通过高级API可用于从PDF中提取文本。
  1. from pdfminer.high_level import extract_text
  2. from os import path
  4. path = path.abspath(path.dirname(__file__))
  5. print(path)
  7. pdf_file = path + '/sample01.pdf'
  8. text = extract_text(pdf_file)
  9. print(text)
复制代码
抽取每一页

  1. from io import StringIO
  3. from pdfminer.converter import TextConverter
  4. from pdfminer.layout import LAParams
  5. from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
  6. from pdfminer.pdfpage import PDFPage
  7. from pdfminer.utils import open_filename
  9. from os import path
  11. path = path.abspath(path.dirname(__file__))
  12. print(path)
  15. def iter_text_per_page(pdf_file, password='', page_numbers=None, maxpages=0,
  16.                  caching=True, codec='utf-8', laparams=None):
  17.     if laparams is None:
  18.         laparams = LAParams()
  20.     with open_filename(pdf_file, "rb") as fp:
  21.         rsrcmgr = PDFResourceManager(caching=caching)
  23.         idx = 1
  24.         for page in PDFPage.get_pages(
  25.                 fp,
  26.                 page_numbers,
  27.                 maxpages=maxpages,
  28.                 password=password,
  29.                 caching=caching,
  30.         ):
  31.             with StringIO() as output_string:
  32.                 device = TextConverter(rsrcmgr, output_string, codec=codec,
  33.                                        laparams=laparams)
  34.                 interpreter = PDFPageInterpreter(rsrcmgr, device)
  35.                 interpreter.process_page(page)
  36.                 yield idx, output_string.getvalue()
  37.                 idx += 1
  40. def main():
  41.     pdf_file = path + '/sample02.pdf'
  42.     for count, page_text in iter_text_per_page(pdf_file):
  43.         print(f'page# {count}:\n{page_text}')
  44.         print()
  47. if __name__ == "__main__":
  48.     main()
复制代码
输出内容截取如下：
  1. page# 1:
  3. 产品主要功能包括数据采集、数据治理以及数据产品应用。企业典型应用场景利用 AI 算法实现业务分类、聚类、回归预测以及时间序列预测等。在销售领域基于历史数据实现销售预测，基于用户特征数据对客户分类实现精准营销；在采购领域利用历史数据预测采购价格，基于多维度指标实现供应商综合评价模型等。
  5. page# 2:
  6. 各类政策法规进行整理和归纳，帮助用户更加方便快捷地获取所需的政策信息。。。。
复制代码
抽取图像

提取图像的最简朴方法是调用命令行工具pdf2txt.py。它是在安装PDFMiner时安装的，并且位于Python可执行文件的相同位置。使用的操作系统。可执行文件’查找Python二进制文件的位置。
下面是示例用法：
  1. usage: pdf2txt.py [-h] [--version] [--debug] [--disable-caching] [--page-numbers PAGE_NUMBERS [PAGE_NUMBERS ...]]
  2.                   [--pagenos PAGENOS] [--maxpages MAXPAGES] [--password PASSWORD] [--rotation ROTATION] [--no-laparams]
  3.                   [--detect-vertical] [--line-overlap LINE_OVERLAP] [--char-margin CHAR_MARGIN] [--word-margin WORD_MARGIN]
  4.                   [--line-margin LINE_MARGIN] [--boxes-flow BOXES_FLOW] [--all-texts] [--outfile OUTFILE]
  5.                   [--output_type OUTPUT_TYPE] [--codec CODEC] [--output-dir OUTPUT_DIR] [--layoutmode LAYOUTMODE]
  6.                   [--scale SCALE] [--strip-control]
  7.                   files [files ...]
  9. To extract all text from pdf:
  10. pdf2txt.py --all-texts ../samples/manual.pdf
  12. To extract all images from pdf:
  13. pdf2txt.py --output-dir images ../sample03.pdf
复制代码
如果希望将其集成到应用程序中，只需从pdf2txt.py复制源代码即可.
获取页数

  1. from pdfminer.pdfdocument import PDFDocument
  2. from pdfminer.pdfparser import PDFParser
  3. from pdfminer.pdftypes import resolve1
  5. pdf_file = '../samples/brocher1.pdf'
  7. with open(pdf_file, 'rb') as f:
  8.     parser = PDFParser(f)
  9.     doc = PDFDocument(parser)
  10.     parser.set_document(doc)
  11.     pages = resolve1(doc.catalog['Pages'])
  12.     pages_count = pages.get('Count', 0)
  13.     print(pages_count)
复制代码
抽取表格数据

pdfminer抽取表格的输出看起来比PyPDF2好得多，我们可以很容易地使用regex或split()提取所需的数据。但是在现实天下中，PDF文档包罗很多噪声，id可以是不同的格式等等。我无法想象一个算法会考虑全部的事情。为了简化和加速我们的工作，我建议将PDF文件转换为HTML格式：
  1. from io import StringIO
  2. from pdfminer.high_level import extract_text_to_fp
  3. from pdfminer.layout import LAParams
  5. output = StringIO()
  6. with open('example.pdf', 'rb') as pdf_file:
  7.     extract_text_to_fp(pdf_file, output, laparams=LAParams(), output_type='html', codec=None)
  8. with open('example.html', 'a') as html_file:
  9.     html_file.write(output.getvalue())
复制代码
然后再利用html标签处理库抽取文本，这种方法正确率应该能得到保障。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4