头歌答案--数据长期化（非数据库）

目录
​编辑
数据长期化（非数据库）
第1关：数据长期化（非数据库）
任务描述
多线程、多进程爬虫 
第1关：多线程、多进程爬虫
任务描述
Scrapy爬虫底子
任务描述

MySQL数据库编程
第1关：python数据库编程之创建数据库
任务描述
第2关：python数据库编程之创建数据表
任务描述
第3关：python数据库编程之插入数据
任务描述
第4关：python数据库编程之查询数据
任务描述
第5关：python数据库编程之修改数据
任务描述
第6关：python数据库编程之删除数据
任务描述

---

 

数据长期化（非数据库）

第1关：数据长期化（非数据库）

任务描述

本关任务：将网页上的图片数据长期化（生存）。

1. import os
2. import requests
3. from bs4 import BeautifulSoup
4. from lxml import etree
5. url = 'http://127.0.0.1:8080/imgs/'
6. headers = {
7.     'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
8. }
9. response = requests.get(url, headers=headers)
10. #********** Begin **********#
11. # 解析网页
12. html = etree.HTML(response.text)
13. img_srcs = html.xpath("//div[@class='box']/div/a/img/@src")
14. for img_src in img_srcs:
15.     name = img_src.split('/')[-1].split('.')[0]
16. # 请求图片地址
17.     img_url = "http://127.0.0.1:8080" + img_src
18.     img = requests.get(img_url)
19. # 判断保存图片的文件夹是否存在
20.     dir_path = 'step1/images'
21.     if not os.path.exists(dir_path):
22.         os.makedirs(dir_path)
23.     img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径
24. # 保存图片
25.     with open(img_path, 'wb')as file:
26.         file.write(img.content)
27.         
28. #********** End **********#

复制代码

多线程、多进程爬虫 

第1关：多线程、多进程爬虫

任务描述

本关任务：使用多线程将网页上的图片数据下载并生存。

1. import requests
2. from lxml import etree
3. import time
4. from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
5. from multiprocessing import Pool
6. import os
7. import threading
8. import psutil
9. # URL伪装
10. header = {
11.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
12. }
13. def downimg(img_src):
14.     start_time = time.time()
15.    
16.     name = img_src.split('/')[-1].split('.')[0]
17.     img_url = "http://127.0.0.1:8080" + img_src
18.     img = requests.get(img_url)
19.     dir_path = 'step1/images'
20.     if not os.path.exists(dir_path):
21.         os.makedirs(dir_path)
22.     img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径
23.     print(img_url, name + '.jpg', '开始下载。。。')
24.     thread = threading.currentThread()
25.     process = psutil.Process(os.getpid())
26.     print("线程ID：%s, 进程ID：%s"
27.           % (thread.ident, process.pid))
28.     #********** Begin *********#
29.     """保存图片"""
30.     with open(img_path, 'wb')as file:
31.         file.write(img.content)
32.     #********** End *********#
33.     finisTime = time.time() - start_time
34.     print(name + ".jpg 用时为：" + str(finisTime) + " second")
35. def parsePage():
36.     url = "http://127.0.0.1:8080/imgs/"
37.     response = requests.get(url=url, headers=header)
38.     html_content = response.text
39.     #********** Begin *********#
40.     """解析网页"""
41.     html = etree.HTML(html_content)
42.     item_list = html.xpath("//div[@class='box']/div/a/img/@src")
43.     print(item_list)
44.     s_time = time.time()
45.    
46.     #********** End *********#
47.     """非线程操作"""
48.     # for item in item_list:
49.     #     downimg(item)
50.     #********** Begin *********#
51.     """线程操作方式"""
52.     thread = []
53.     for item in item_list:
54.         
55.         thread.append(threading.Thread(target=downimg, args=(item, )))
56.     for t in thread:
57.         t.start()
58.     for t in thread:
59.         t.join()
60.     #********** End *********#
61.     print('总耗时: %s' % (time.time() - s_time))

复制代码

Scrapy爬虫底子


第1关：Scarpy安装与项目创建
任务描述

本关任务：借助Scrapy框架编写一个最根本的爬虫小程序，掌握Scrapy的底子理论和使用。

1. scrapy startproject HelloWorld
2. cd HelloWorld
3. scrapy genspider world www.baidu.com

复制代码

MySQL数据库编程

第1关：python数据库编程之创建数据库

任务描述

在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相干知识，并轻松使用 MySQL 数据库。
本关任务：使用 pymysql 创建数据库。

1. #!/usr/bin/python
3. # -*- coding: UTF-8 -*-
7. import pymysql
9. import mysql.connector
13. # 连接mysql，创建连接并返回连接对象
15. def connect():
17.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
19.     # ********* Begin ********* #
21.     conn = mysql.connector.connect(
23.     # mysql服务器主机地址
25.     host='127.0.0.1',
27.     # mysql服务器连接端口
29.     port=3306,
31.     # 用户名
33.     user='root',
35.     # 数据库名（若不选此参数则不指定具体数据库连接，我们可以使用use database来选择其它数据库）
37.     # db='db_name',
39.     # 用户密码
41.     passwd='123123',
43.     # 编码格式
45.     # charset='utf8'
47.     )
49.     # 使用cursor()函数创建一个游标对象
51.     # cursor = conn.cursor()
53.     return conn
57.     # *********  End  ********* #
62. def test():
64.     # 创建连接，并且返回连接对象
66.     conn = connect()
68.     # 创建游标对象
70.     cursor = conn.cursor()
72.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
74.     # ********* Begin ********* #
76.     cursor.execute("CREATE DATABASE  my_db")
78.     # *********  End  ********* #
80.     # 关闭游标
82.     cursor.close()
84.     # 关闭连接
86.     conn.close()

复制代码

第2关：python数据库编程之创建数据表

任务描述

在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相干知识，并轻松使用 MySQL 数据库。
本关任务：使用 pymysql 创建数据表。

1. #!/usr/bin/python
3. # -*- coding: UTF-8 -*-
7. import pymysql
12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
14. def connect():
16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
18.     # ********* Begin ********* #
20.     # 创建数据库连接
22.     conn = pymysql.connect(
24.         # mysql服务器主机地址
26.         host='127.0.0.1',
28.         # mysql服务器连接端口
30.         port=3306,
32.         # 用户名
34.         user='root',
36.         # 数据库名
38.         db='my_db',
40.         # 用户密码
42.         passwd='123123',
44.         # 编码格式
46.         charset='utf8'
48.     )
50.     return conn
54.     # *********  End  ********* #
59. def test():
61.     # 创建连接，并且返回连接对象
63.     conn = connect()
65.     # 创建游标对象
67.     cursor = conn.cursor()
69.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
71.     # ********* Begin ********* #
73.     cursor.execute('''CREATE TABLE user
75.     (id   INT(16) AUTO_INCREMENT PRIMARY KEY,
77.     username VARCHAR(32) NOT NULL,
79.     password varchar(32))
81.     ENGINE = MyISAM''')
85.     # *********  End  ********* #
87.     # 关闭游标
89.     cursor.close()
91.     # 关闭连接
93.     conn.close()

复制代码

第3关：python数据库编程之插入数据

任务描述

在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相干知识，并轻松使用 MySQL 数据库。
本关任务：使用 pymysql 插入数据。

1. #!/usr/bin/python
3. # -*- coding: UTF-8 -*-
7. import pymysql
12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
14. def connect():
16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
18.     # ********* Begin ********* #
20.     # 创建数据库连接
22.     conn = pymysql.connect(
24.         # mysql服务器主机地址
26.         host='127.0.0.1',
28.         # mysql服务器连接端口
30.         port=3306,
32.         # 用户名
34.         user='root',
36.         # 数据库名
38.         db='my_db',
40.         # 用户密码
42.         passwd='123123',
44.         # 编码格式
46.         charset='utf8'
48.     )
50.     return conn
52.     # *********  End  ********* #
57. def test():
59.     # 创建连接，并且返回连接对象
61.     conn = connect()
63.     # 创建游标对象
65.     cursor = conn.cursor()
67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
69.     # ********* Begin ********* #
71.     cursor.execute("insert into user (username, password) values('teble', 'teble')")
73.     # *********  End  ********* #
75.     # 关闭游标
77.     cursor.close()
79.     # 关闭连接
81.     conn.close()

复制代码

第4关：python数据库编程之查询数据

任务描述

在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相干知识，并轻松使用 MySQL 数据库。
本关任务：使用 pymysql 从数据库中查询数据。

1. #!/usr/bin/python
3. # -*- coding: UTF-8 -*-
7. import pymysql
12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
14. def connect():
16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
18.     # ********* Begin ********* #
20.     # 创建数据库连接
22.     conn = pymysql.connect(
24.         # mysql服务器主机地址
26.         host='127.0.0.1',
28.         # mysql服务器连接端口
30.         port=3306,
32.         # 用户名
34.         user='root',
36.         # 数据库名
38.         db='my_db',
40.         # 用户密码
42.         passwd='123123',
44.         # 编码格式
46.         charset='utf8'
48.     )
50.     return conn
54.     # *********  End  ********* #
59. def test():
61.     # 创建连接，并且返回连接对象
63.     conn = connect()
65.     # 创建游标对象
67.     cursor = conn.cursor()
69.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
71.     # ********* Begin ********* #
73.     cursor.execute("select id, username, password from user ORDER BY id DESC")
75.     for data in cursor.fetchall():
77.         print(data)
79.     # *********  End  ********* #
81.     # 关闭游标
83.     cursor.close()
85.     # 关闭连接
87.     conn.close()

复制代码

第5关：python数据库编程之修改数据

任务描述

在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相干知识，并轻松使用 MySQL 数据库。
本关任务：使用 pymysql 从数据库中修改数据。

1. #!/usr/bin/python
3. # -*- coding: UTF-8 -*-
7. import pymysql
12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
14. def connect():
16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
18.     # ********* Begin ********* #
20.     # 创建数据库连接
22.     conn = pymysql.connect(
24.         # mysql服务器主机地址
26.         host='127.0.0.1',
28.         # mysql服务器连接端口
30.         port=3306,
32.         # 用户名
34.         user='root',
36.         # 数据库名
38.         db='my_db',
40.         # 用户密码
42.         passwd='123123',
44.         # 编码格式
46.         charset='utf8'
48.     )
50.     return conn
52.     # *********  End  ********* #
57. def test():
59.     # 创建连接，并且返回连接对象
61.     conn = connect()
63.     # 创建游标对象
65.     cursor = conn.cursor()
67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
69.     # ********* Begin ********* #
71.     cursor.execute("update user set username = 'root',password='root' where id = '1'")
73.     # *********  End  ********* #
75.     # 关闭游标
77.     cursor.close()
79.     # 关闭连接
81.     conn.close()

复制代码

第6关：python数据库编程之删除数据

任务描述

在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相干知识，并轻松使用 MySQL 数据库。
本关任务：使用 pymysql 从数据库中删除数据。

1. #!/usr/bin/python
3. # -*- coding: UTF-8 -*-
7. import pymysql
12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
14. def connect():
16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
18.     # ********* Begin ********* #
20.     # 创建数据库连接
22.     conn = pymysql.connect(
24.         # mysql服务器主机地址
26.         host='127.0.0.1',
28.         # mysql服务器连接端口
30.         port=3306,
32.         # 用户名
34.         user='root',
36.         # 数据库名
38.         db='my_db',
40.         # 用户密码
42.         passwd='123123',
44.         # 编码格式
46.         charset='utf8'
48.     )
50.     return conn
52.     # *********  End  ********* #
57. def test():
59.     # 创建连接，并且返回连接对象
61.     conn = connect()
63.     # 创建游标对象
65.     cursor = conn.cursor()
67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
69.     # ********* Begin ********* #
71.     cursor.execute("delete from user where id = '2'")
73.     # *********  End  ********* #
75.     # 关闭游标
77.     cursor.close()
79.     # 关闭连接
81.     conn.close()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。