ToB企服应用市场:ToB评测及商务社交产业平台

标题: NLP DAY1: 文本数据读取 [打印本页]
作者: 涛声依旧在    时间: 3 天前
标题: NLP DAY1: 文本数据读取
实行介绍

在自然语言处理的第一步，我们要面对的是各种各样以不同形式表现的文本数据，好比，有的是纯 txt 文档，有的是存储在 Excel 中的表格数据，尚有的是无法直接打开的 pkl 文件等。刚开始接触编程的同学在这里就犯难了，这可怎么把文本数据拿来进行代码层面的操作呢？
事实上，会者不难，针对这些不同类型的数据，可以基于 Python 中的基本功能函数大概调用某些库进行读写以及作一些基本的处理。本实行将介绍一些常见形式文件的操作，相信在学完本实行以后，各人能够非常快速地上手读写及处理大部门类型的文本数据。
知识点


 
txt 文本数据的读写 

对于 txt 文本数据，Python 中的内置函数 open() 和 write() 就可以实现读取大概写入操作。 
open() 函数用于打开一个文件，创建一个 file 对象，之后，相关的方法才可以调用它进行更多的操作。 对于 open() 函数，我们紧张关注三个传入的参数：

此中，mode 决定了打开文件的模式，也就是限定了可以对文件做什么样的操作，好比只读，写入，追加等，这个参数黑白逼迫的，默认文件访问模式为只读 (r)，以下是常用的模式：

注：utf-8（8 位元，Universal Character Set/Unicode Transformation Format）是针对 Unicode 的一种可变长度字符编码。它可以用来表现 Unicode 标准中的任何字符，而且其编码中的第一个字节仍与 ASCII 相容，使得原来处理 ASCII 字符的软件无须或只进行少部份修改后，便可继续利用。因此，它逐渐成为电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。
接下来应用 open() 读取一个 txt 文件，创建一个 file 对象，并应用 readlines() 读取相关内容。
首先从线上环境中下载文件：
 讲授代码：
  1. !wget -nc "https://labfile.oss.aliyuncs.com/courses/3205/idiom.txt"
复制代码

   提示：打开右侧环境中的 Code.ipynb，开始动手练习吧。
  读取文件 "idiom.txt" 中的内容并打印出来：
  1. f = open("idiom.txt","r", encoding="utf-8")
  2. poem = f.readlines()
  3. print(type(poem), poem)  # 从结果可见，readlines() 方法会返回一个 list，包含所有的行，每一行为 list 中的一个元素
复制代码
<class 'list'> ['路遥知马力，日久见人心。\n', '千学不如一看，千看不如一练。\n', '岁寒知松柏，患难见交情。\n'] 
通过以上的小练习，我们知道了 readlines() 方法的特点是，每次按行读取整个文件内容，将读取到的内容放到一个列表中，返回 list 类型。事实上，还存在别的两种读取方法：

  1. !wget -nc "https://labfile.oss.aliyuncs.com/courses/3205/poem.txt"
复制代码

read() 方法：
  1. f = open("poem.txt","r", encoding="utf-8")
  2. poem = f.read()
  3. print(type(poem), poem)  # 返回的是一个包含所有内容的 str 类型的变量
复制代码
<class 'str'> 帷飘白玉堂，簟卷碧牙床。 楚女当时意，萧萧发彩凉。 
readline() 方法：
  1. f = open("poem.txt","r", encoding="utf-8")
  2. while True:
  3.     poem_line = f.readline()
  4.     if poem_line:
  5.         print(type(poem_line), poem_line)  # 分次返回每一行
  6.     else:
  7.         break
复制代码
<class 'str'> 帷飘白玉堂，簟卷碧牙床。
<class 'str'> 楚女当时意，萧萧发彩凉。 
以上利用 open() 函数实现了 txt 文件的读取，接下来，我们希望应用 write() 函数，实现写入一个 txt 文件。
  1. # 将一些俗语写入至文件 idiom.txt 中
  2. idiom = ["路遥知马力，日久见人心。", "千学不如一看，千看不如一练。", "岁寒知松柏，患难见交情。"]
  3. f = open('idiom.txt', 'w', encoding='utf-8')
  4. for text in idiom:
  5.     f.write(text)
  6.     f.write("\n")  # 注意每写一句要换行一次，否则所有文字会粘在一行中
复制代码
写入文件之后，我们可以通过 Linux 命令查察当前目次下是否存在相应文件。
  1. !ls
复制代码
偶然候，我们希望在一个已存在的 txt 文件中，继续写入东西，这时间 mode 要选择“a”，如果选择“w”，新写入的内容会覆盖原来的内容。
  1. f = open('idiom.txt', 'a', encoding='utf-8')
  2. f.write("好好学习，天天向上。")
复制代码

你也可尝试利用“w”，观察文件内容发生了什么变化。

CSV 及 Excel 文本数据的读写 

首先，在这里给各人介绍 Pandas（之前博客里有），这是一个功能强盛且机动的 Python 软件包，具有读写 Excel，CSV 以及更多其他类型文件的能力，别的，它还提供统计方法，绘图等功能。在接下来的教程中，我们基于 Pandas 对不同类型的文件数据进行操作。
对于 CSV 类型的文件，可调用 Pandas 中的 to_csv() 以及 read_csv() 函数，轻松实现写入大概读取。
  1. import pandas as pd
  2. # 这是我们的数据
  3. data = {
  4.     'CHN': {'COUNTRY': 'China', 'POP': 1_398.72, 'AREA': 9_596.96,
  5.             'GDP': 12_234.78, 'CONT': 'Asia'},
  6.     'IND': {'COUNTRY': 'India', 'POP': 1_351.16, 'AREA': 3_287.26,
  7.             'GDP': 2_575.67, 'CONT': 'Asia', 'IND_DAY': '1947-08-15'},
  8.     'USA': {'COUNTRY': 'US', 'POP': 329.74, 'AREA': 9_833.52,
  9.             'GDP': 19_485.39, 'CONT': 'N.America',
  10.             'IND_DAY': '1776-07-04'},
  11.     'IDN': {'COUNTRY': 'Indonesia', 'POP': 268.07, 'AREA': 1_910.93,
  12.             'GDP': 1_015.54, 'CONT': 'Asia', 'IND_DAY': '1945-08-17'},
  13.     'BRA': {'COUNTRY': 'Brazil', 'POP': 210.32, 'AREA': 8_515.77,
  14.             'GDP': 2_055.51, 'CONT': 'S.America', 'IND_DAY': '1822-09-07'},
  15.     'PAK': {'COUNTRY': 'Pakistan', 'POP': 205.71, 'AREA': 881.91,
  16.             'GDP': 302.14, 'CONT': 'Asia', 'IND_DAY': '1947-08-14'},
  17.     'NGA': {'COUNTRY': 'Nigeria', 'POP': 200.96, 'AREA': 923.77,
  18.             'GDP': 375.77, 'CONT': 'Africa', 'IND_DAY': '1960-10-01'},
  19.     'BGD': {'COUNTRY': 'Bangladesh', 'POP': 167.09, 'AREA': 147.57,
  20.             'GDP': 245.63, 'CONT': 'Asia', 'IND_DAY': '1971-03-26'},
  21.     'RUS': {'COUNTRY': 'Russia', 'POP': 146.79, 'AREA': 17_098.25,
  22.             'GDP': 1_530.75, 'IND_DAY': '1992-06-12'},
  23.     'MEX': {'COUNTRY': 'Mexico', 'POP': 126.58, 'AREA': 1_964.38,
  24.             'GDP': 1_158.23, 'CONT': 'N.America', 'IND_DAY': '1810-09-16'},
  25.     'JPN': {'COUNTRY': 'Japan', 'POP': 126.22, 'AREA': 377.97,
  26.             'GDP': 4_872.42, 'CONT': 'Asia'},
  27.     'DEU': {'COUNTRY': 'Germany', 'POP': 83.02, 'AREA': 357.11,
  28.             'GDP': 3_693.20, 'CONT': 'Europe'},
  29.     'FRA': {'COUNTRY': 'France', 'POP': 67.02, 'AREA': 640.68,
  30.             'GDP': 2_582.49, 'CONT': 'Europe', 'IND_DAY': '1789-07-14'},
  31.     'GBR': {'COUNTRY': 'UK', 'POP': 66.44, 'AREA': 242.50,
  32.             'GDP': 2_631.23, 'CONT': 'Europe'},
  33.     'ITA': {'COUNTRY': 'Italy', 'POP': 60.36, 'AREA': 301.34,
  34.             'GDP': 1_943.84, 'CONT': 'Europe'},
  35.     'ARG': {'COUNTRY': 'Argentina', 'POP': 44.94, 'AREA': 2_780.40,
  36.             'GDP': 637.49, 'CONT': 'S.America', 'IND_DAY': '1816-07-09'},
  37.     'DZA': {'COUNTRY': 'Algeria', 'POP': 43.38, 'AREA': 2_381.74,
  38.             'GDP': 167.56, 'CONT': 'Africa', 'IND_DAY': '1962-07-05'},
  39.     'CAN': {'COUNTRY': 'Canada', 'POP': 37.59, 'AREA': 9_984.67,
  40.             'GDP': 1_647.12, 'CONT': 'N.America', 'IND_DAY': '1867-07-01'},
  41.     'AUS': {'COUNTRY': 'Australia', 'POP': 25.47, 'AREA': 7_692.02,
  42.             'GDP': 1_408.68, 'CONT': 'Oceania'},
  43.     'KAZ': {'COUNTRY': 'Kazakhstan', 'POP': 18.53, 'AREA': 2_724.90,
  44.             'GDP': 159.41, 'CONT': 'Asia', 'IND_DAY': '1991-12-16'}
  45. }
  47. columns = ('COUNTRY', 'POP', 'AREA', 'GDP', 'CONT', 'IND_DAY')
  48. # 需要应用 DataFrame 构造函数将 data 创建一个 DataFrame 对象，才能写入文件
  49. df = pd.DataFrame(data=data)
复制代码
  1. df  # 查看数据
复制代码
 
 以上形式看着比力别扭，接下来，我们对 DataFrame 进行转置变换：
  1. # 将数据进行转置
  2. df = df.T
  3. df
复制代码
接下来，应用 to_csv() 将以上内容写入一个 CSV 文件中。
  1. df.to_csv('20_country.csv', encoding="utf-8")  # 写入 CSV 文件
复制代码

应用 read_csv() 则可以读取刚刚生成的 CSV 文件。
  1. # 读取 CSV 文件
  2. # 使用 index_col = 0，表示直接将第一列作为索引
  3. df = pd.read_csv('20_country.csv', index_col=0)
  4. df
复制代码
对于 Excel 文件，如法炮制，调用 Pandas 中的 to_excel() 以及 read_excel() 函数，轻松实现写入大概读取。如果我们操作的对象是以 .xlsx 为后缀的 Excel 文件，还必要安装库 openpyxl。
  1. df.to_excel('20_country.xlsx')  # 写入 .xlsx 文件
复制代码
  1. # read_excel() 则可以读取 csv 文件
  2. df = pd.read_excel('20_country.xlsx', index_col=0)
  3. df
复制代码

通过以上的例子，相信各人都已经发现，如果想将 DataFrame 对象写入某一格式的文件，应用 Pandas 库中 to_<file-type>() 形式的函数就可以了，好比上述的 to_csv() 和 to_excel()，当然，还包括更多其它的文件形式：

对于不同类型文件的读取，同理可得：

更多的 DataFrame 操作

许多时间，我们完成了文件中的数据读取，转换为 DataFrame 形式之后，必要进行一系列的数据处理操作，好比获取某行某列，根据条件获取部门数据，进行数据可视化等等。接下来的部门将为各人介绍一些常见的基于 DataFrame 的操作。
利用 loc[] 可以获取具有指定行和列名称的数据。
  1. df.loc["CHN", "POP"]
复制代码
直接根据列名来获取某列。
  1. df["POP"]
复制代码

也可以根据列名来获取多列。
  1. df[["POP", "GDP"]]
复制代码

根据 iloc[] 获取某一行。
  1. df.iloc[[1],]
复制代码

获取某几行。
  1. df.iloc[[1, 4], ]
复制代码

取某几行，某几列。
  1. df.iloc[[0, 2], [1, 2, 3]]
复制代码

根据条件获取数据，如获取亚洲国家对应的数据。
  1. df.loc[df["CONT"] == "Asia"]
复制代码

若必要满足多个条件，用 & 连接即可。
  1. df.loc[(df["CONT"] == "Asia") & (df["GDP"] > 1000)]  # 注意 & 左右两边的条件要加上（），否则报错
复制代码

直接应用 DataFrame 中的 plot() 函数可以对数值类型的列进行绘图。
  1. df.plot.bar()
复制代码
                      
 

也可以只选取此中的某部门感兴趣的数据进行绘图。
  1. df["POP"]
  2. .plot.bar()  # 各国家的生齿对比
复制代码
                     
 
数据规模太大怎么办

偶然候在数据预处理过程中，我们会遇到大型文件，好比某部长篇小说都存放在一个 txt 文件中，如果文件太大，无法直接生存或处理，则可以采用以下几种方法来减少所需的磁盘空间：

压缩文件：在生存文件时，添加一个与所需压缩类型相对应的后缀，好比：

压缩为以 ".zip" 为后缀的文件。
  1. df.to_csv("20_country.csv.zip")
复制代码
利用准确更低的数据类型：在可以接受不太准确的数据类型的情况下，转换数据类型可以节流大量内存。
  1. df = pd.read_excel("20_country.xlsx", index_col=0)
  2. df.dtypes
复制代码

具有浮点数的列是 64 位浮点数。此类型的每个数字 float64 消耗 64 位或 8 个字节。每列有 20 个数字，必要 160 个字节。
  1. df.memory_usage()
复制代码
通过将将 float64 浮点数存为 float32 浮点数，以节流内存。
  1. dtypes = {'POP': 'float32', 'AREA': 'float32', 'GDP': 'float32'}
  2. df = pd.read_excel("20_country.xlsx", index_col=0, dtype=dtypes)
  3. df.dtypes
复制代码

转换后的数值部门可以节流内存，从 160 个字节变为 80 个字节。
  1. df.memory_usage()
复制代码
拆分数据分成块：处理超大型数据集的另一种方法是将数据分成较小的块，然后一次处理一个块，参数 chunksize，默认为 None，可以传入一个整数值指明块的数量。
  1. data_chunk = pd.read_csv("20_country.csv", index_col=0, chunksize=8)
  2. print(type(data_chunk))
  3. print(hasattr(data_chunk, '__iter__'))
  4. print(hasattr(data_chunk, '__next__'))
复制代码
当 chunksize 为整数时，read_csv() 返回一个可迭代的变量，可以在 for 循环中利用该可迭代的变量，以在每次迭代中仅获取和处理数据集的一部门，这样就能够控制处理一次数据所需的内存量，并将其保持在合理的程度。
  1. for df_chunk in pd.read_csv('20_country.csv', index_col=0, chunksize=8):
  2.     print(df_chunk, end='\n\n')  # 每次迭代一部分
  3.     print('memory:', df_chunk.memory_usage().sum(),
  4.           'bytes', end='\n\n\n')  # 查看所占内存
复制代码
在上述例子中，chunksize 是 8，因此 for 循环的第一次迭代仅返回 DataFrame 数据集的前 8 行，第二次迭代将返回接下来的 8 行，第三次也是最后一次迭代将返回其余 4 行。在每次迭代中，获得 DataFrame 行数等于 chunksize。当前，在最后一次迭代中，行数可能少于 chunksize，因为 DataFrame 的总行数不一定能够被 chunksize 整除。 
实行总结

在本实行中，我们紧张介绍了对于不同类型文件的读写以及后续的操作处理，包括以下知识点：

相信通过本次实行的学习，同学们可以游刃有余地面对各种数据文件了。在接下来的实行中，我们将开始真正地开启自然语言处理之旅，开始认识并熟悉一些常见的针对文本自己的预处理操作。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4