python 获取网页表格的方法（多种方法汇总）

我们在网页上看到许多的表格，如果要获取里面的数据或者转化成其他格式，
就必要将表格获取下来并举行整理。
在Python中，获取网页表格的方法有多种，以下是一些常用的方法和库：
1. 使用Pandas的read_html

Pandas库提供了一个非常方便的函数read_html，它可以主动辨认HTML中的表格并将其转换为DataFrame对象。

1. import pandas as pd
3. # 从URL读取
4. dfs = pd.read_html('http://example.com/some_page_with_tables.html')
6. # 从文件读取
7. dfs = pd.read_html('path_to_your_file.html')
9. # 访问第一个DataFrame
10. df = dfs[0]

复制代码

这个方法获取表格非常简单，而且剖析数据也很方便，是比较常用的直接获取网页表格的方法。
2. 使用BeautifulSoup和pandas

如果你必要更细粒度的控制，可以使用BeautifulSoup来剖析HTML，然后手动提取表格数据，并将其转换为pandas的DataFrame。

1. from bs4 import BeautifulSoup
2. import pandas as pd
4. # 假设html_doc是你的HTML内容
5. html_doc = """
6. <table>
7.   <tr>
8.     <th>Column1</th>
9.     <th>Column2</th>
10.   </tr>
11.   <tr>
12.     <td>Value1</td>
13.     <td>Value2</td>
14.   </tr>
15. </table>
16. """
18. # 使用BeautifulSoup解析HTML
19. soup = BeautifulSoup(html_doc, 'html.parser')
21. # 提取表格
22. table = soup.find('table')
24. # 提取表头
25. headers = [th.text for th in table.find_all('th')]
27. # 提取表格数据
28. rows = []
29. for tr in table.find_all('tr')[1:]:  # 跳过表头
30.     cells = [td.text for td in tr.find_all('td')]
31.     rows.append(cells)
33. # 创建DataFrame
34. df = pd.DataFrame(rows, columns=headers)

复制代码

这个方法主要是遍历表格的各个部门，然后保存下来。如许的方法可以细化做调整，例如可以筛选掉一些不必要的内容之类的。
3. 使用lxml库

lxml是一个强大的XML和HTML剖析库，它提供了XPath支持，可以用来提取复杂的HTML布局。

1. from lxml import html
3. # 假设html_doc是你的HTML内容
4. html_doc = """
5. <table>
6.   <tr>
7.     <th>Column1</th>
8.     <th>Column2</th>
9.   </tr>
10.   <tr>
11.     <td>Value1</td>
12.     <td>Value2</td>
13.   </tr>
14. </table>
15. """
17. # 解析HTML
18. tree = html.fromstring(html_doc)
20. # 使用XPath提取表格数据
21. rows = tree.xpath('//tr')
23. # 提取表头
24. headers = [header.text_content() for header in rows[0].xpath('.//th')]
26. # 提取表格数据
27. data = []
28. for row in rows[1:]:
29.     cells = [cell.text_content() for cell in row.xpath('.//td')]
30.     data.append(cells)
32. # 创建DataFrame
33. df = pd.DataFrame(data, columns=headers)

复制代码

4. 使用Scrapy框架

Scrapy是一个用于爬取网站并从页面中提取布局化数据的应用框架。它提供了一套完备的工具，可以用来处理复杂的爬虫任务。

1. import scrapy
3. class MySpider(scrapy.Spider):
4.     name = 'my_spider'
5.     start_urls = ['http://example.com/some_page_with_tables.html']
7.     def parse(self, response):
8.         for table in response.css('table'):
9.             for row in table.css('tr'):
10.                 columns = row.css('td::text').getall()
11.                 yield {
12.                     'Column1': columns[0],
13.                     'Column2': columns[1],
14.                 }

复制代码

5.使用Selenium的find_element获取

具体方法参考：
【Python】 使用Selenium获取网页表格的方法（find_element的方法）
这些方法各有优缺点，你可以根据你的具体需求和项目的复杂度来选择最合适的方法。
对于简单的表格提取，pd.read_html通常是最快捷的方法。
对于必要更复杂处理的情况，BeautifulSoup和lxml、selenium提供了更多的灵活性。而Scrapy则实用于大规模的爬虫项目。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。