ToB企服应用市场:ToB评测及商务社交产业平台

标题: 爬取股票数据python [打印本页]
作者: 一给    时间: 2024-6-26 07:07
标题: 爬取股票数据python
  1. 最近在搜集数据要做分析，一般的数据来源是一手数据（生产的）和二手数据（来自其他地方的）。
  2. 今天我们爬取同花顺这个网站的数据。url为：https://data.10jqka.com.cn/ipo/xgsgyzq/  
  3. 话不多说直接上代码。有帮助到各位的给**点赞评论收藏**。
复制代码
一 导入包

  1. import time
  2. import csv
  3. import requests
  4. from bs4 import BeautifulSoup
  5. import re
  6. import pandas as pd
复制代码
二 url+requests哀求

  1. url = 'https://data.10jqka.com.cn/ipo/xgsgyzq/'
  2. headers = {
  3.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
  4. response = requests.get(url, headers=headers)
  5. response.encoding = 'GBK' # utf-8
  6. main_string = response.text
复制代码
三 获取字段名称

  1. soup = BeautifulSoup(main_string, 'html') # html.parser
  2. # 正则表达式匹配<a>标签内的文本
  3. pattern = r'<a[^>]*>(.*?)</a>'
  4. matches = re.findall(pattern, str(soup.find_all('th')[0:18]), re.DOTALL)
  5. name_list = []
  6. for match in matches:
  7.     name_list.append(match)
  8. cleaned_list = [item.strip() if i == 0 else item for i, item in enumerate(name_list)]  # 有空字符 去掉
  9. print(cleaned_list)    ## 字段名称
复制代码
字段名称：
[‘股票代码’, ‘股票简称’, ‘申购代码’, ‘发行总数（万股）’, ‘网上发行（万股）’, ‘申购上限（万股）’,‘顶格申请需配市值（万元）’, ‘发行价格’, ‘发行市盈率’, ‘行业市盈率’, ‘申购日期’, ‘中签率（%）’, ‘中签号’, ‘中签缴款日期’, ‘上市日期’, ‘打新收益（元）’, ‘首日最高涨幅’, ‘连板天数’]
四 提取数据

  1. soup2 = BeautifulSoup(main_string, 'html')
  2. # 提取所有td标签内的内容以及span标签的target属性
  3. all_td_contents = [td.get_text(strip=True, separator=' ') for td in soup2.find_all('td')]
  4. all_target_values = [span.get('target') for span in soup2.find_all('span', class_='jumpToclient1')]
  5. data_list = []   ## 将数据添加到data_list里面  存在有问题的数据
  6. for content in all_td_contents:
  7.     data_list.append(content)
  8. print(data_list)
  9. ## 将有问题的数据处理保留干净的数据
  10. new_data = []
  11. # 遍历原始数据列表
  12. for item in data_list:
  13.     # 检查元素是否包含中签结果的关键词
  14.     if '网上定价发行摇号中签结果' in item:
  15.         parts = item.split(' ')
  16.         date_part = parts[0]
  17.         new_data.append(date_part)
  18.     else:
  19.         # 如果不是中签结果，则直接添加到新列表中
  20.         new_data.append(item)
  21. print(new_data)
复制代码
部分结果：
[‘603381’, ‘永臻股份’, ‘732381’, ‘5931.41’, ‘2135.3’, ‘2.10’, ‘21.00’, ‘-’, ‘-’, ‘17.20’, ‘06-17 周一’, ‘-’, ‘06-19’, ‘06-19’, ‘-’, ‘-’, ‘-’, ‘-’, ‘301580’, ‘爱迪特’, ‘301580’, ‘1902.9382’, ‘542.3’, ‘0.50’, ‘5.00’, ‘-’, ‘-’, ‘27.62’, ‘06-17 周一’, ‘-’, ‘06-19’, ‘06-19’, ‘-’, ‘-’, ‘-’, ‘-’]
五 建csv表以及将数据录入

  1. original_list = new_data
  2. ## 创建csv表
  3. fieldnames = ['股票代码', '股票简称', '申购代码', '发行总数（万股）', '网上发行（万股）', '申购上限（万股）','顶格申请需配市值（万元）', '发行价格', '发行市盈率', '行业市盈率', '申购日期', '中签率（%）', '中签号', '中签缴款日期', '上市日期', '打新收益（元）', '首日最高涨幅', '连板天数']
  4. filename = r'E:\工作\数据收集\数据\股票数据爬取\股票数据爬取.csv'
  5. with open(filename, 'w', newline='') as csvfile:
  6.     writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
  7.     writer.writeheader()     # 写入表头（字段名）
  8. print(f"CSV文件 {filename} 已创建并写入数据。")
  9. ## 写入数据
  10. with open(filename, 'a', newline='') as csvfile:
  11.     writer = csv.writer(csvfile)
  12.     # 使用列表推导式或循环来生成包含最多18个元素的子列表
  13.     for i in range(0, len(original_list), 18):
  14.         row = original_list[i:i + 18]  # 取列表中的18个元素
  15.         writer.writerow(row)  
复制代码
部分结果：


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4