详解利用python读写csv，以及将csv数据写入数据库

csv文件

csv介绍

CSV，也即Comma-Separated Values，是一种用于存储表格数据的纯文本文件格式，其中每一行代表一条记载，记载中的各个字段由逗号分隔。
   姓名,年岁,性别
张三,25,男
李四,28,男
王五,22,男
六六,29,女
子柒,28,女
   对于如许一个纯文本记载，打开以后可能表现就像如许：

姓名	年岁	性别
张三	25	男
李四	28	男
王五	23	男
六六	36	女
子柒	34	女

切勿自行读写csv

很多人会想，既然csv文件不外就是逗号分隔的纯文本而已，那么，通过循环和split分隔不就好了吗？

1. csv_text = """姓名,年龄,性别
2. 张三,25,男
3. 李四,28,男
4. 王五,22,男
5. 六六,29,女
6. 子柒,28,女"""
9. for line in csv_text.split("\n")[1::]:
10.     item = line.split(",")
11.     print("姓名：", item[0])
12.     print("年龄：", item[1])
13.     print("性别：", item[2])
14.     print()

复制代码

如许做看起来行之有效，而且也非常简朴，轻易理解，但是，不要如许做。由于，在一些情况下，如许会引入错误。比方，当某个项中有逗号的时候，如一个人的名字叫做xu,kun，按照正确的csv文件格式，会写为"xu,kun"，并且是符合要求的选项。但是假如利用简朴的split分隔，这个名字也会被拆分开来，从而导致项变多，产生错误。
csv读写

读取csv

在python中存在内置的csv库，因此，利用内置的csv库：

1. import csv
3. with open("my_file.csv") as f:
4.     csv_reader = csv.reader(f, delimiter=",")
5.     for row in csv_reader:
6.         print(row)

复制代码

写入csv

1. import csv
3. with open("my_file.csv", "w", newline="") as f:
4.     csv_writer = csv.writer(f, delimiter=",")
5.     csv_writer.writerow(['姓名', '年龄', '性别'])
6.     csv_writer.writerow(['张三', '25', '男'])
7.     csv_writer.writerow(['李四', '28', '男'])
8.     csv_writer.writerow(['王五', '22', '男'])
9.     csv_writer.writerow(['六六', '29', '女'])
10.     csv_writer.writerow(['子柒', '28', '女'])

复制代码

pandas读写csv

读取csv

假如只是为了读写csv，那么直接利用内置的csv库即可。但是，假如为了让pandas利用csv，那么，可以通过pandas直接读写。

1. import pandas as pd
3. csv_data = pd.read_csv("my_file.csv")
4. print(csv_data)

复制代码

写入csv

假如是DataFrame的类型，那么利用：

1. import pandas as pd
3. # 如果csv_data已经是DataFrame
4. csv_data.to_csv("my_file.csv", index=False)

复制代码

假如是通过列表写入，那么利用：

1. import pandas as pd
3. data_list = [
4.     ['姓名', '年龄', '性别'],
5.     ['张三', '25', '男'],
6.     ['李四', '28', '男'],
7.     ['王五', '22', '男'],
8.     ['六六', '29', '女'],
9.     ['子柒', '28', '女']
10. ]
12. csv_data = pd.DataFrame(data_list[1::], columns=data_list[0])
13. csv_data.to_csv("my_file.csv", index=False)

复制代码

csv与数据库

从csv读取数据添加到mysql

添加数据自己并不困难，问题在于怎么样自动创建数据表。由于自动选择数据类型可能不能选择到最适合的类型，因此最好还是应该自行创建数据表，然后再进行数据的插入。

1. import pandas as pd
2. import pymysql
3. import os
4. import re
7. try:
8.     conn = pymysql.connect(
9.         host="数据库地址",
10.         user="用户名",
11.         password="密码",
12.         database="数据库名"
13.     )
14.     cursor = conn.cursor()
15.     print("数据库连接成功！")
16. except pymysql.MySQLError as e:
17.     print(f"数据库连接失败：{e}")
18.     raise
21. csv_file_path = "my_csv.csv"
22. df = pd.read_csv(csv_file_path)
23. df = df.where(pd.notnull(df), None)
26. table_name = re.sub(r'\W|^(?=\d)', '_', os.path.splitext(os.path.basename(csv_file_path))[0])
29. def create_table(cursor, table_name, df):
30.     columns = df.columns
31.     types = df.dtypes
32.     sql = f"CREATE TABLE IF NOT EXISTS `{table_name}` (id INT AUTO_INCREMENT PRIMARY KEY, "
33.     for col, dtype in zip(columns, types):
34.         if "int" in str(dtype):
35.             sql += f"`{col}` INT, "
36.         elif "float" in str(dtype):
37.             sql += f"`{col}` FLOAT, "
38.         elif "datetime" in str(dtype):
39.             sql += f"`{col}` DATETIME, "
40.         else:
41.             max_length = df[col].astype(str).map(len).max()
42.             sql += f"`{col}` VARCHAR({max_length}), "
43.     sql = sql.rstrip(", ") + ") ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;"
44.     try:
45.         cursor.execute(sql)
46.         print(f"表 `{table_name}` 创建成功！")
47.     except pymysql.MySQLError as e:
48.         print(f"创建表时出错：{e}")
49.         cursor.close()
50.         conn.close()
51.         raise
53. create_table(cursor, table_name, df)
56. def insert_data(cursor, table_name, df):
57.     cols = "`,`".join([str(i) for i in df.columns.tolist()])
58.     placeholders = ','.join(['%s'] * len(df.columns))
59.     sql = f"INSERT INTO `{table_name}` (`{cols}`) VALUES ({placeholders})"
60.     data = df.values.tolist()
61.     try:
62.         cursor.executemany(sql, data)
63.         conn.commit()
64.         print(f"数据成功插入到表 `{table_name}` 中！")
65.     except pymysql.MySQLError as e:
66.         conn.rollback()
67.         print(f"插入数据时出错：{e}")
68.         cursor.close()
69.         conn.close()
70.         raise
72. insert_data(cursor, table_name, df)
75. cursor.close()
76. conn.close()

复制代码

添加完成以后，即可在mysql数据库中查询到所有结果。

从mysql中读取数据写入csv

1. import pymysql
2. import csv
5. source_conn = pymysql.connect(
6.     host="源数据库地址",
7.     user="用户名",
8.     password="密码",
9.     database="源数据库名"
10. )
11. source_cursor = source_conn.cursor()
13. source_cursor.execute("SHOW TABLES")
14. tables = source_cursor.fetchall()
16. for table in tables:
17.     table_name = table[0]
18.     source_cursor.execute(f"SELECT * FROM {table_name}")
19.     rows = source_cursor.fetchall()
21.     columns = [desc[0] for desc in source_cursor.description]
23.     with open(f"{table_name}.csv", "w", newline="", encoding="utf-8") as file:
24.         writer = csv.writer(file)
25.         writer.writerow(columns)
26.         writer.writerows(rows)
28. source_cursor.close()
29. source_conn.close()

复制代码

 


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。