ToB企服应用市场:ToB评测及商务社交产业平台

标题: python爬虫基础入门 [打印本页]
作者: 兜兜零元    时间: 2024-7-11 10:52
标题: python爬虫基础入门
步骤

DDoS攻击

通过给服务器发送海量高频请求，大量斲丧网页资源，影响其他用户的请求
服从规则

可以检察该网站的robots.txt文件，了解可爬取的网页路径范围
HTTP（Hypertext Transfer Protocol 超文本传输协议）

实战演示1

  1. import requests
  2. response = requests.get('https://books.toscrape.com/')  # 专门用来练习爬虫的网站
  3. print(response)                # <Response [200]>  # 打印出来的是一个Response对象，包含了请求的响应内容
  4. print(response.status_code, "\n==============================")    # 200  # 打印出响应状态码
  6. # 我们可以用response.text来获取响应内容的文本形式：
  7. print(response.text, "\n==============================")
  9. # 我们也可以用response.content来获取响应内容的字节串形式：
  10. print(response.content, "\n==============================")
  12. # 我们也可以用response.json()来获取响应内容的json形式
  14. # 可以用状态码来判断响应是否成功，也可以用Response对象的ok属性来判断：
  15. if response.ok:
  16.     print('请求成功')
  17. else:
  18.     print('请求失败')
  20. # 我们还可以用response.headers来获取响应头信息，它是一个字典。
  21. # 我们还可以用response.cookies来获取响应的cookie信息，它是一个字典。
  22. # 我们还可以用response.url来获取最终的url，它可能与请求url不同。
  23. # 我们还可以用response.request来获取请求对象，它是一个PreparedRequest对象。
  24. # 我们还可以用response.close()来关闭响应对象，释放资源。
  26. # 我们还可以用requests.post()、requests.put()、requests.delete()等方法来发送POST、PUT、DELETE请求。
  27. # 这些方法的用法和requests.get()类似，只是需要传入不同的参数。
  28. # 例如，requests.post('https://httpbin.org/post', data={'key': 'value'})可以发送一个POST请求，
  29. # 并将参数data作为请求体发送给httpbin.org。
  30. # requests.put('https://httpbin.org/put', data={'key': 'value'})可以发送一个PUT请求，
  31. # 并将参数data作为请求体发送给httpbin.org。
  32. # requests.delete('https://httpbin.org/delete')可以发送一个DELETE请求，
  33. # 并将请求发送给httpbin.org。
  35. # 可以传入headers参数来设置请求头，headers的数据类型是一个字典，例如：
  36. response = requests.get('https://httpbin.org/get', headers={'User-Agent': 'Mozilla/5.0'})
  37. # 这样就可以模拟浏览器发送请求。把爬虫程序伪装成正常浏览器，可以避免被网站识别出来。
复制代码
网页结构（三大技能要素：CSS、HTML、JS）

网页标签实践
  1. <!DOCTYPE html>
  2. <html>
  3.     <head>
  4.         <title>这是我的网页标题</title>
  5.     </head>
  7.     <body>
  9.         <h1>这是一个一级标题</h1>
  10.         <h2>这是一个二级标题</h2>
  11.         <h3>这是一个三级标题</h3>
  13.         <div style="background-color: yellow;">
  14.             <h4>这是一个四级标题</h4>
  15.             <h5>这是一个五级标题</h5>
  16.             <h6>这是一个六级标题</h6>
  17.         </div>
  19.         <h7>这是一个
  20.             <span style="color: red;">错误</span>
  21.             的七级标题，
  22.             <span style="background-color: rgb(12, 106, 12);">浏览器</span>
  23.             不支持，所以会显示为
  24.             <span style="color: blue;">正常的文本</span>
  25.         </h7>
  27.         <p>这是一个文本段落，和上面的七级标题是一样大小的</p>
  29.         <p>
  30.             当该
  31.             html文件
  34.             发生更改（并保存）时，只要<b>浏览器</b>不缓存，就会<u>自动更新</u>显示，不需要<i>手动刷新</i>；<br>但是如果浏览器缓存了该文件，则需要手动刷新才能看到更新后的效果。
  35.         </p>
  37.         <img src="https://p1.ssl.qhmsg.com/t0143b426aee3bb03cb.jpg"  width="300" height="300"><br>
  39.         <a href="https://www.baidu.com" target="_blank">在新窗口打开百度</a><br>
  40.         <a href="https://www.baidu.com">在当前窗口打开百度</a><br>
  42.         <ol>
  43.             <li>第一项</li>
  44.             <li>第二项</li>
  45.             <li>第三项</li>
  46.         </ol>
  48.         <ul>
  49.             <li>第一项</li>
  50.             <li>第二项</li>
  51.             <li>第三项</li>
  52.         </ul>
  54.         <table border="1">
  55.             <tr>
  56.                 <th>姓名</th>
  57.                 <th>性别</th>
  58.                 <th>年龄</th>
  59.             </tr>
  60.             <tr>
  61.                 <td>张三</td>
  62.                 <td>男</td>
  63.                 <td>20</td>
  64.             </tr>
  65.             <tr>
  66.                 <td>女</td>
  67.                 <td>25</td>
  68.             </tr>
  69.             <tr>
  70.                 <td>王五</td>
  71.                 <td>男</td>
  72.                 <td>30</td>
  73.             </tr>
  74.         </table>
  76.         <br>
  78.         <table border="5">
  79.             <thead>
  80.                 <th>姓名</th>
  81.                 <td>性别</td>
  82.                 <td>年龄</td>
  83.             </thead>
  84.             <tbody>
  85.                 <tr>
  86.                     <td>张三</td>
  87.                     <td>男</td>
  88.                     <td>20</td>
  89.                 </tr>
  90.                 <tr>
  91.                     <td>女</td>
  92.                     <td>25</td>
  93.                 </tr>
  94.                 <tr>
  95.                     <td>王五</td>
  96.                     <td>男</td>
  97.                     <td>30</td>
  98.                 </tr>
  99.             </tbody>
  101.         </table>
  102.     </body>
  103. </html>
复制代码


剖析网页结构

用Python第三方库：Beautiful Soup
  1. from bs4 import BeautifulSoup
  2. import requests
  4. url = "http://books.toscrape.com/"
  5. response = requests.get(url)
  6. text = response.text
  7. soup = BeautifulSoup(text, "html.parser")   # 第二个参数是解析器，这里使用html.parser
  9. # print(soup.p)   # 输出第一个<p>标签的内容
  10. # print(soup.find_all("p"))   # 输出所有<p>标签的内容
  12. # print(soup.img)   # 输出第一个<img>标签的内容
  13. # print(soup.find_all("img"))   # 输出所有<img>标签的内容
  15. # 找价格
  16. all_prices = soup.find_all("p", attrs={"class": "price_color"}) # 第二额参数是属性，类型为字典，这里查找所有class为price_color的<p>标签
  17. for price in all_prices:
  18.     print(price)   # 输出所有<p>标签中表示价格的<p>标签
  19.     print(price.text)   # 只输出价格即字符串内容
  20.     print(price.string)   # 等价于上一行，输出价格即字符串内容
  21.     print(price.string[2:])   # 输出价格的数字部分(即索引值从2开始的部分)
  23. # 找书名
  24. all_titles = soup.find_all("h3")   # 查找所有<h3>标签
  25. for title in all_titles:
  26.     all_links = title.find_all("a")   # 在每个<h3>标签中查找所有<a>标签
  27.     for link in all_links:
  28.         print(link.text)   # 输出所有<a>标签中的文本内容，即书名
  30. # 结果
  31. <p class="price_color">£51.77</p>
  32. £51.77
  33. £51.77
  34. 51.77
  35. <p class="price_color">£53.74</p>
  36. £53.74
  37. £53.74
  38. 53.74
  39. <p class="price_color">£50.10</p>
  40. £50.10
  41. £50.10
  42. 50.10
  43. <p class="price_color">£47.82</p>
  44. £47.82
  45. £47.82
  46. 47.82
  47. <p class="price_color">£54.23</p>
  48. £54.23
  49. £54.23
  50. 54.23
  51. <p class="price_color">£22.65</p>
  52. £22.65
  53. £22.65
  54. 22.65
  55. <p class="price_color">£33.34</p>
  56. £33.34
  57. £33.34
  58. 33.34
  59. <p class="price_color">£17.93</p>
  60. £17.93
  61. £17.93
  62. 17.93
  63. <p class="price_color">£22.60</p>
  64. £22.60
  65. £22.60
  66. 22.60
  67. <p class="price_color">£52.15</p>
  68. £52.15
  69. £52.15
  70. 52.15
  71. <p class="price_color">£13.99</p>
  72. £13.99
  73. £13.99
  74. 13.99
  75. <p class="price_color">£20.66</p>
  76. £20.66
  77. £20.66
  78. 20.66
  79. <p class="price_color">£17.46</p>
  80. £17.46
  81. £17.46
  82. 17.46
  83. <p class="price_color">£52.29</p>
  84. £52.29
  85. £52.29
  86. 52.29
  87. <p class="price_color">£35.02</p>
  88. £35.02
  89. £35.02
  90. 35.02
  91. <p class="price_color">£57.25</p>
  92. £57.25
  93. £57.25
  94. 57.25
  95. <p class="price_color">£23.88</p>
  96. £23.88
  97. £23.88
  98. 23.88
  99. <p class="price_color">£37.59</p>
  100. £37.59
  101. £37.59
  102. 37.59
  103. <p class="price_color">£51.33</p>
  104. £51.33
  105. £51.33
  106. 51.33
  107. <p class="price_color">£45.17</p>
  108. £45.17
  109. £45.17
  110. 45.17
  111. A Light in the ...
  112. Tipping the Velvet
  113. Soumission
  114. Sharp Objects
  115. Sapiens: A Brief History ...
  116. The Requiem Red
  117. The Dirty Little Secrets ...
  118. The Coming Woman: A ...
  119. The Boys in the ...
  120. The Black Maria
  121. Starving Hearts (Triangular Trade ...
  122. Shakespeare's Sonnets
  123. Set Me Free
  124. Scott Pilgrim's Precious Little ...
  125. Rip it Up and ...
  126. Our Band Could Be ...
  127. Olio
  128. Mesaerion: The Best Science ...
  129. Libertarianism for Beginners
  130. It's Only the Himalayas
复制代码
爬虫实战（爬豆瓣前250的电影）

  1. import requests
  2. from bs4 import BeautifulSoup
  3. headers = {
  4.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
  5. }
  6. response = requests.get('https://movie.douban.com/top250', headers=headers)
  7. soup = BeautifulSoup(response.text, 'html.parser')
  8. titles = soup.find_all("span", class_="title")
  9. i = 0
  10. for title in titles:
  11.     # print(title.text)  # 输出电影名(包括原标题)
  12.     if "/" not in title.string:
  13.         i+=1
  14.         print(i, ".", title.string)  # 输出电影名(去除原标题)
  16. print("========================================================================")
  18. # 以上操作只能获得第一页的内容，也即前25部电影的名称。
  19. # 点击到第二页我们会发现，其网址的参数信息变化了，start变成了25，可以以这个为基础，继续请求第二页的内容。
  20. # 我们可以定义一个函数，传入页码，返回该页的电影名称列表，然后再循环调用这个函数，获取所有电影名称。
  21. # 具体的实现方法可以参考如下代码：
  24. # 定义一个函数，传入页码，返回该页的电影名称列表
  25. def get_movie_names(page):
  26.     headers = {
  27.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
  28.     }
  29.     url = 'https://movie.douban.com/top250?start=' + str((page-1)*25)
  30.     response = requests.get(url, headers=headers)
  31.     soup = BeautifulSoup(response.text, 'html.parser')
  32.     titles = soup.find_all("span", class_="title")
  33.     movie_names = []
  34.     for title in titles:
  35.         if "/" not in title.string:
  36.             movie_names.append(title.string)
  37.     return movie_names
  39. # 循环调用这个函数，获取所有电影名称
  40. movie_names = []
  41. for i in range(1, 11):
  42.     movie_names += get_movie_names(i)
  44. # 输出所有电影名称   
  45. # for i, name in enumerate(movie_names):
  46. #     print(i+1, ".", name)
  47. j = 1
  48. for name in movie_names:
  49.     print(j, ".", name)
  50.     j += 1
  52. # 结果如下：
  53. 1 . 肖申克的救赎
  54. 2 . 霸王别姬
  55. 3 . 阿甘正传
  56. 4 . 泰坦尼克号
  57. 5 . 千与千寻
  58. 6 . 这个杀手不太冷
  59. 7 . 美丽人生
  60. 8 . 星际穿越
  61. 9 . 盗梦空间
  62. 10 . 楚门的世界
  63. 11 . 辛德勒的名单
  64. 12 . 忠犬八公的故事
  65. 13 . 海上钢琴师
  66. 14 . 三傻大闹宝莱坞
  67. 15 . 放牛班的春天
  68. 16 . 机器人总动员
  69. 17 . 疯狂动物城
  70. 18 . 无间道
  71. 19 . 控方证人
  72. 20 . 大话西游之大圣娶亲
  73. 21 . 熔炉
  74. 22 . 教父
  75. 23 . 触不可及
  76. 24 . 当幸福来敲门
  77. 25 . 寻梦环游记
  78. ========================================================================
  79. 1 . 肖申克的救赎
  80. 2 . 霸王别姬
  81. 3 . 阿甘正传
  82. 4 . 泰坦尼克号
  83. 5 . 千与千寻
  84. 6 . 这个杀手不太冷
  85. 7 . 美丽人生
  86. 8 . 星际穿越
  87. 9 . 盗梦空间
  88. 10 . 楚门的世界
  89. 11 . 辛德勒的名单
  90. 12 . 忠犬八公的故事
  91. 13 . 海上钢琴师
  92. 14 . 三傻大闹宝莱坞
  93. 15 . 放牛班的春天
  94. 16 . 机器人总动员
  95. 17 . 疯狂动物城
  96. 18 . 无间道
  97. 19 . 控方证人
  98. 20 . 大话西游之大圣娶亲
  99. 21 . 熔炉
  100. 22 . 教父
  101. 23 . 触不可及
  102. 24 . 当幸福来敲门
  103. 25 . 寻梦环游记
  104. 26 . 末代皇帝
  105. 27 . 龙猫
  106. 28 . 怦然心动
  107. 29 . 活着
  108. 30 . 哈利·波特与魔法石
  109. 31 . 蝙蝠侠：黑暗骑士
  110. 32 . 指环王3：王者无敌
  111. 33 . 我不是药神
  112. 34 . 乱世佳人
  113. 35 . 飞屋环游记
  114. 36 . 素媛
  115. 37 . 哈尔的移动城堡
  116. 38 . 十二怒汉
  117. 39 . 让子弹飞
  118. 40 . 何以为家
  119. 41 . 摔跤吧！爸爸
  120. 42 . 海蒂和爷爷
  121. 43 . 猫鼠游戏
  122. 44 . 天空之城
  123. 45 . 鬼子来了
  124. 46 . 少年派的奇幻漂流
  125. 47 . 钢琴家
  126. 48 . 指环王2：双塔奇兵
  127. 49 . 大话西游之月光宝盒
  128. 50 . 闻香识女人
  129. 51 . 死亡诗社
  130. 52 . 绿皮书
  131. 53 . 大闹天宫
  132. 54 . 罗马假日
  133. 55 . 黑客帝国
  134. 56 . 指环王1：护戒使者
  135. 57 . 天堂电影院
  136. 58 . 教父2
  137. 59 . 狮子王
  138. 60 . 辩护人
  139. 61 . 饮食男女
  140. 62 . 搏击俱乐部
  141. 63 . 本杰明·巴顿奇事
  142. 64 . 美丽心灵
  143. 65 . 穿条纹睡衣的男孩
  144. 66 . 窃听风暴
  145. 67 . 情书
  146. 68 . 两杆大烟枪
  147. 69 . 音乐之声
  148. 70 . 西西里的美丽传说
  149. 71 . 看不见的客人
  150. 72 . 哈利·波特与死亡圣器(下)
  151. 73 . 阿凡达
  152. 74 . 拯救大兵瑞恩
  153. 75 . 小鞋子
  154. 76 . 飞越疯人院
  155. 77 . 功夫
  156. 78 . 沉默的羔羊
  157. 79 . 布达佩斯大饭店
  158. 80 . 禁闭岛
  159. 81 . 蝴蝶效应
  160. 82 . 哈利·波特与阿兹卡班的囚徒
  161. 83 . 致命魔术
  162. 84 . 心灵捕手
  163. 85 . 超脱
  164. 86 . 低俗小说
  165. 87 . 摩登时代
  166. 88 . 春光乍泄
  167. 89 . 海豚湾
  168. 90 . 喜剧之王
  169. 91 . 美国往事
  170. 92 . 致命ID
  171. 93 . 杀人回忆
  172. 94 . 哈利·波特与密室
  173. 95 . 红辣椒
  174. 96 . 加勒比海盗
  175. 97 . 一一
  176. 98 . 七宗罪
  177. 99 . 狩猎
  178. 100 . 唐伯虎点秋香
  179. 101 . 7号房的礼物
  180. 102 . 被嫌弃的松子的一生
  181. 103 . 蝙蝠侠：黑暗骑士崛起
  182. 104 . 甜蜜蜜
  183. 105 . 爱在黎明破晓前
  184. 106 . 第六感
  185. 107 . 超能陆战队
  186. 108 . 请以你的名字呼唤我
  187. 109 . 入殓师
  188. 110 . 重庆森林
  189. 111 . 断背山
  190. 112 . 剪刀手爱德华
  191. 113 . 幽灵公主
  192. 114 . 寄生虫
  193. 115 . 爱在日落黄昏时
  194. 116 . 勇敢的心
  195. 117 . 菊次郎的夏天
  196. 118 . 借东西的小人阿莉埃蒂
  197. 119 . 未麻的部屋
  198. 120 . 消失的爱人
  199. 121 . 无人知晓
  200. 122 . 时空恋旅人
  201. 123 . 阳光灿烂的日子
  202. 124 . 完美的世界
  203. 125 . 倩女幽魂
  204. 126 . 天使爱美丽
  205. 127 . 小森林 夏秋篇
  206. 128 . 哈利·波特与火焰杯
  207. 129 . 侧耳倾听
  208. 130 . 驯龙高手
  209. 131 . 茶馆
  210. 132 . 幸福终点站
  211. 133 . 教父3
  212. 134 . 怪兽电力公司
  213. 135 . 一个叫欧维的男人决定去死
  214. 136 . 新世界
  215. 137 . 玩具总动员3
  216. 138 . 傲慢与偏见
  217. 139 . 小森林 冬春篇
  218. 140 . 被解救的姜戈
  219. 141 . 萤火之森
  220. 142 . 釜山行
  221. 143 . 神偷奶爸
  222. 144 . 色，戒
  223. 145 . 头脑特工队
  224. 146 . 九品芝麻官
  225. 147 . 哪吒闹海
  226. 148 . 告白
  227. 149 . 玛丽和马克思
  228. 150 . 喜宴
  229. 151 . 大鱼
  230. 152 . 模仿游戏
  231. 153 . 头号玩家
  232. 154 . 花样年华
  233. 155 . 射雕英雄传之东成西就
  234. 156 . 七武士
  235. 157 . 我是山姆
  236. 158 . 血战钢锯岭
  237. 159 . 惊魂记
  238. 160 . 阳光姐妹淘
  239. 161 . 恐怖直播
  240. 162 . 你的名字。
  241. 163 . 黑客帝国3：矩阵革命
  242. 164 . 三块广告牌
  243. 165 . 电锯惊魂
  244. 166 . 心迷宫
  245. 167 . 达拉斯买家俱乐部
  246. 168 . 疯狂原始人
  247. 169 . 谍影重重3
  248. 170 . 小丑
  249. 171 . 背靠背，脸对脸
  250. 172 . 上帝之城
  251. 173 . 英雄本色
  252. 174 . 心灵奇旅
  253. 175 . 风之谷
  254. 176 . 绿里奇迹
  255. 177 . 爱在午夜降临前
  256. 178 . 海街日记
  257. 179 . 纵横四海
  258. 180 . 卢旺达饭店
  259. 181 . 疯狂的石头
  260. 182 . 2001太空漫游
  261. 183 . 无间道2
  262. 184 . 记忆碎片
  263. 185 . 雨中曲
  264. 186 . 小偷家族
  265. 187 . 无敌破坏王
  266. 188 . 岁月神偷
  267. 189 . 忠犬八公物语
  268. 190 . 荒蛮故事
  269. 191 . 冰川时代
  270. 192 . 牯岭街少年杀人事件
  271. 193 . 爆裂鼓手
  272. 194 . 恐怖游轮
  273. 195 . 东京教父
  274. 196 . 魔女宅急便
  275. 197 . 大佛普拉斯
  276. 198 . 贫民窟的百万富翁
  277. 199 . 遗愿清单
  278. 200 . 东邪西毒
  279. 201 . 末路狂花
  280. 202 . 你看起来好像很好吃
  281. 203 . 可可西里
  282. 204 . 源代码
  283. 205 . 城市之光
  284. 206 . 黑天鹅
  285. 207 . 海边的曼彻斯特
  286. 208 . 疯狂的麦克斯4：狂暴之路
  287. 209 . 波西米亚狂想曲
  288. 210 . 真爱至上
  289. 211 . 雨人
  290. 212 . 青蛇
  291. 213 . 爱乐之城
  292. 214 . 初恋这件小事
  293. 215 . 芙蓉镇
  294. 216 . 终结者2：审判日
  295. 217 . 人工智能
  296. 218 . 虎口脱险
  297. 219 . 恋恋笔记本
  298. 220 . 新龙门客栈
  299. 221 . 无耻混蛋
  300. 222 . 花束般的恋爱
  301. 223 . 罗生门
  302. 224 . 高山下的花环
  303. 225 . 崖上的波妞
  304. 226 . 千钧一发
  305. 227 . 彗星来的那一夜
  306. 228 . 哈利·波特与死亡圣器(上)
  307. 229 . 白日梦想家
  308. 230 . 萤火虫之墓
  309. 231 . 黑客帝国2：重装上阵
  310. 232 . 奇迹男孩
  311. 233 . 火星救援
  312. 234 . 二十二
  313. 235 . 战争之王
  314. 236 . 血钻
  315. 237 . 哈利·波特与凤凰社
  316. 238 . 步履不停
  317. 239 . 千年女优
  318. 240 . 大红灯笼高高挂
  319. 241 . 房间
  320. 242 . 魂断蓝桥
  321. 243 . 谍影重重2
  322. 244 . 蜘蛛侠：平行宇宙
  323. 245 . 弱点
  324. 246 . 谍影重重
  325. 247 . 阿飞正传
  326. 248 . 朗读者
  327. 249 . 隐藏人物
  328. 特与死亡圣器(上)
  329. 229 . 白日梦想家
  330. 230 . 萤火虫之墓
  331. 231 . 黑客帝国2：重装上阵
  332. 232 . 奇迹男孩
  333. 233 . 火星救援
  334. 234 . 二十二
  335. 235 . 战争之王
  336. 236 . 血钻
  337. 237 . 哈利·波特与凤凰社
  338. 238 . 步履不停
  339. 239 . 千年女优
  340. 240 . 大红灯笼高高挂
  341. 241 . 房间
  342. 242 . 魂断蓝桥
  343. 243 . 谍影重重2
  344. 244 . 蜘蛛侠：平行宇宙
  345. 245 . 弱点
  346. 246 . 谍影重重
  347. 247 . 阿飞正传
  348. 248 . 朗读者
  349. 249 . 隐藏人物
  350. 250 . 再次出发之纽约遇见你
复制代码
下一步学习什么



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4