马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
x
Python爬虫在抓取网页数据时，常常会遇到中文乱码问题。这通常是因为网页的编码格式与Python处理时使用的编码格式差别等导致的。以下是三种常见的处理中文乱码的方法，并附上相应的代码示例。
方法一：指定正确的编码格式
大多数今世网页接纳UTF-8编码，但也有一些网页大概使用GBK、GB2312或其他编码。当使用requests库抓取网页时，可以通过指定正确的编码格式来办理乱码问题。
示例代码：
假设网页是GBK编码，我们可以使用requests获取网页内容，并使用gbk解码。
- import requests
- url = 'http://example.com' # 假设这是一个GBK编码的网页
- # 使用requests获取网页内容，默认为bytes类型
- response = requests.get(url)
- # 指定编码为'gbk'进行解码
- content = response.content.decode('gbk')
- # 现在content是解码后的字符串，可以安全地处理中文
- print(content)
假如你不确定网页的编码格式，可以使用BeautifulSoup库来解析网页，因为它可以自动检测并转换编码。
示例代码：
- from bs4 import BeautifulSoup
- import requests
- url = 'http://example.com' # 网页编码未知
- # 获取网页内容
- response = requests.get(url)
- # 使用BeautifulSoup解析网页，它会自动处理编码
- soup = BeautifulSoup(response.content, 'html.parser')
- # 现在可以直接从soup对象中提取文本，无需担心编码问题
- print(soup.prettify()) # 或者 soup.get_text() 来获取纯文本
方法三：通过网页的<meta charset="...">标签获取编码
网页通常会在<head>部分通过<meta charset="...">标签指定其编码格式。你可以首先解析这个标签来获取编码，然后使用这个编码来解码网页内容。
示例代码（简化处理，未考虑全部情况）：
- import requests
- from bs4 import BeautifulSoup
- def get_charset_from_meta(soup):
- """从<meta charset="...">标签中提取编码"""
- meta = soup.find('meta', attrs={'charset': True})
- if meta:
- return meta['charset']
- meta = soup.find('meta', attrs={'content': True, 'http-equiv': 'Content-Type'})
- if meta and 'charset' in meta['content'].lower():
- import re
- match = re.search(r'charset=([\w-]+)', meta['content'].lower())
- if match:
- return match.group(1)
- return 'utf-8' # 默认编码
- url = 'http://example.com'
- response = requests.get(url)
- soup = BeautifulSoup(response.content, 'html.parser')
- charset = get_charset_from_meta(soup)
- # 使用从<meta>标签中获取的编码来解码网页内容
- content = response.content.decode(charset)
- print(content)
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
