python如何获取html中附件链接，并下载保存附件 - IT评测·应用市场-qidao123.com

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
# 示例HTML内容（这里应该是一个实际的URL或HTML字符串）
# html_url = 'http://example.com/page_with_attachments.html'
html_content = """
<!DOCTYPE html>
<html>
<head>
<title>Page with Attachments</title>
</head>
<body>
<h1>Download Attachments</h1>
<ul>
<li><a href="/downloads/file1.pdf">File 1 (PDF)</a></li>
<li><a href="https://example.com/downloads/file2.docx">File 2 (DOCX)</a></li>
<li><a href="/path/to/file3.zip">File 3 (ZIP)</a></li>
</ul>
</body>
</html>
"""
# 如果html_content是一个URL，你应该使用requests来获取HTML内容
# response = requests.get(html_url)
# html_content = response.text
# 解析HTML内容
soup = BeautifulSoup(html_content, 'lxml')
# 提取附件链接
# 这里我们假设附件链接是相对路径或绝对路径（包括域名的），并且我们想要下载所有.pdf, .docx, 和 .zip文件
base_url = 'http://example.com' # 如果HTML内容是本地字符串，你可能需要手动设置这个基础URL
attachment_links = []
for a_tag in soup.find_all('a', href=True):
href = a_tag['href']
# 处理相对路径
full_url = urljoin(base_url, href)
# 检查文件扩展名（这里只是示例，你可能需要更复杂的逻辑来确定哪些链接是附件）
if full_url.lower().endswith(('.pdf', '.docx', '.zip')):
attachment_links.append(full_url)
# 下载并保存附件
download_folder = 'downloads' # 你想要保存附件的文件夹
os.makedirs(download_folder, exist_ok=True)
for link in attachment_links:
# 获取文件名（从URL的最后一部分）
filename = os.path.basename(urlparse(link).path)
# 构建保存文件的完整路径
file_path = os.path.join(download_folder, filename)
# 下载文件
with requests.get(link, stream=True) as r:
r.raise_for_status() # 如果请求出错，抛出HTTPError异常
with open(file_path, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
print(f"Downloaded {len(attachment_links)} attachments to {download_folder}")

复制代码