[爬虫]2.3.1 使用Python操作文件系统

Python提供了许多内置库来处理文件系统，如os、shutil和pathlib等，这些库可以帮助你创建、删除、读取、写入文件和目录。
读取文件

在Python中，你可以使用内置的open函数来打开一个文件。open函数返回一个文件对象，你可以对这个对象进行各种操作。
以下是一个读取文件的例子：

1. with open('example.txt', 'r') as f:
2.     content = f.read()
4. print(content)

复制代码

open函数的第一个参数是文件的路径，第二个参数是模式。在这个例子中，模式是'r'，表示读取。
使用with语句可以自动关闭文件，这是一个好习惯。
read方法可以读取文件的全部内容。如果文件很大，你可能想要使用readline或readlines方法来分行读取。
写入文件

你也可以使用open函数来写入文件。只需将模式改为'w'或'a'即可。'w'表示写入，如果文件已存在，它将被覆盖。'a'表示追加，如果文件已存在，新的内容将被添加到文件的末尾。
以下是一个写入文件的例子：

1. with open('example.txt', 'w') as f:
2.     f.write('Hello, Python!')

复制代码

write方法可以将一个字符串写入文件。
操作目录

你可以使用os库来操作目录。
例如，你可以创建一个新的目录：

1. import os
3. os.mkdir('example')

复制代码

你也可以删除一个目录：

1. os.rmdir('example')

复制代码

你可以获取当前的工作目录：

1. cwd = os.getcwd()
2. print(cwd)

复制代码

你也可以改变工作目录：

1. os.chdir('/path/to/directory')

复制代码

文件路径

在处理文件路径时，你可能会遇到许多问题，如路径分隔符在不同操作系统下的差异。为了解决这些问题，你可以使用os.path或pathlib库。
以下是一些常用的路径操作：

1. import os
3. # 连接路径
4. path = os.path.join('directory', 'file.txt')
6. # 分割路径
7. directory, file = os.path.split(path)
9. # 获取文件的扩展名
10. extension = os.path.splitext(file)[1]
12. # 检查文件或目录是否存在
13. exists = os.path.exists(path)

复制代码

这就是Python处理文件系统的基本知识。现在，你可以尝试使用这些知识来存储你爬取的数据了。
推荐阅读：
https://mp.weixin.qq.com/s/dV2JzXfgjDdCmWRmE0glDA
https://mp.weixin.qq.com/s/an83QZOWXHqll3SGPYTL5g


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！