ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python词频分析 [打印本页]
作者: 数据人与超自然意识    时间: 2022-8-31 19:46
标题: Python词频分析
Python词频分析
一、前言

在日常工作或者生活中，有时候会遇到词频分析的场景。如果是要进行词频分析，那么首先需要对句子进行分词，将句子中的单词进行切割并按照词性进行归类。
在Python中有个第三方库叫jieba(结巴)，可以对文章或者语句进行分词。不得不佩服这个库的作者，真是个取名鬼才：)
二、分词

2.1 安装库

jieba库github地址
jieba库官方给出了3中安装库的方式，分别如下：
全自动安装：
easy_install jieba 或者 pip install jieba / pip3 install jieba
半自动安装：
先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install
手动安装：
将 jieba 目录放置于当前目录或者 site-packages 目录
2.2 方法介绍

2.2.1 jieba.cut

方法接受四个输入参数:
1、需要分词的字符串；
2、cut_all 参数用来控制是否采用全模式；
3、HMM 参数用来控制是否使用 HMM 模型；
4、use_paddle 参数用来控制是否使用paddle模式下的分词模式，paddle模式采用延迟加载方式，通过enable_paddle接口安装paddlepaddle-tiny，并且import相关代码；
注意：
1、实测paddle模式无法开启(jieba.enable_paddle())，会报错。
2、该方法返回的是generator，如果需要返回list，则可以通过list转换结果或者使用jieba.lcut方法
3、待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8。
2.2.1 jieba.cut_for_search

方法接受两个参数：
1、需要分词的字符串；
2、是否使用 HMM 模型。
注意：
1、该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。
2、该方法返回的是generator，如果需要返回list，则可以通过list转换结果或者使用jieba.lcut_for_search方法。
2.2.2 jieba.Tokenizer(dictionary=DEFAULT_DICT)

该方法用于新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
2.3 代码示例

2.3.1 分词
  1. # encoding=utf-8
  2. import jieba
  4. strs = ["我来到北京清华大学", "乒乓球拍卖完了", "中国科学技术大学"]
  5. for s in strs:
  6.     seg_list = jieba.cut(s, use_paddle=False)  # 使用paddle模式
  7.     print("Paddle Mode: " + '/'.join(list(seg_list)))
  9. seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
  10. print("Full Mode: " + "/ ".join(seg_list))  # 全模式
  12. seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
  13. print("Default Mode: " + "/ ".join(seg_list))  # 精确模式
  15. seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
  16. print(", ".join(seg_list))
  18. seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
  19. print(", ".join(seg_list))
复制代码
运行结果：
Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\FURONG~1\AppData\Local\Temp\jieba.cache
Loading model cost 0.705 seconds.
Prefix dict has been built successfully.
Paddle Mode: 我/来到/北京/清华大学
Paddle Mode: 乒乓球/拍卖/完/了
Paddle Mode: 中国/科学技术/大学
Full Mode: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
Default Mode: 我/ 来到/ 北京/ 清华大学
他, 来到, 了, 网易, 杭研, 大厦
小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
2.3.2 载入词典

开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率。
用法：jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径。
词典格式和 dict.txt 一样(dict.txt为安装jieba库时自带的词典，路径为：Python安装路径\Lib\site-packages\jieba\dict.txt)，一个词占一行；每一行分三部分：
创新办 3 i
云计算 5
凱特琳 nz
台中
更改分词器（默认为 jieba.dt）的 tmp_dir 和 cache_file 属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统。
范例：
自定义词典：https://github.com/fxsjy/jieba/blob/master/test/userdict.txt
用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py
加载自定义词库前： 李小福 / 是 / 创新 / 办 / 主任 / 也 / 是 / 云 / 计算 / 方面 / 的 / 专家 /
加载自定义词库后：　李小福 / 是 / 创新办 / 主任 / 也 / 是 / 云计算 / 方面 / 的 / 专家 /
调整词典
使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中将/出错/。
jieba.suggest_freq(('中', '将'), True)
494
print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中/将/出错/。
print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台/中/」/正确/应该/不会/被/切开
jieba.suggest_freq('台中', True)
69
print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台中/」/正确/应该/不会/被/切开
2.3.3 词性标注

jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。
标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
  1. import jieba.posseg as pseg
  3. words = pseg.cut("我爱北京天安门")
  4. for word, flag in words:
  5.     print('%s %s' % (word, flag))
复制代码
我 r
爱 v
北京 ns
天安门 ns
词性和专名类别标签集合如下表，其中词性标签 24 个（小写字母），专名类别标签 4 个（大写字母）：
三、实例

3.1 分词

这里就拿笔者最近看的一本小说判官.txt来进行实例词频分析吧。目的是想要分析这本小说的人物、名词、地名，从而对这本小说有个大概的认识。
分词代码如下：
  1.     def m_get_content(self):
  2.         """
  3.         获取给定txt或str中的内容
  4.         @return: {str:获取到的内容}
  5.         """
  6.         if self.f_input.endswith('.txt'):
  7.             with open(self.f_input, 'r', encoding='utf-8') as f:
  8.                 content = f.read()
  9.         else:
  10.             content = self.f_input
  11.         return content
  12.     def m_get_target_words_from_content(self, p_content):
  13.         """
  14.         从目标内容中获取到指定词性的词语
  15.         @param p_content: 需要分词的内容
  16.         @return: {list:分词后的词语}
  17.         """
  18.         return [
  19.             _.word
  20.             for _ in psg.cut(p_content)
  21.             if len(_.word) > 1 and _.flag in self.f_wordclass
  22.         ]
复制代码
3.2 按照词频排序
  1. def words_frequency(p_list, p_reverse=True):
  2.     """
  3.     返回给定的list中的所有元素按照频率和指定的顺序组成的list
  4.     @param p_list: 给定的list
  5.     @param p_reverse: 指定的排序顺序(倒序为True，正序为False)
  6.     @return: {list[tuple]:经过排序后的内容}
  7.     """
  8.     result = {}
  9.     for word in p_list:
  10.         result.setdefault(word, 0)
  11.         result[word] += 1
  12.     return sorted(result.items(), key=lambda x: x[1], reverse=p_reverse)
  13.     def m_words_sort(self, p_words: list):
  14.         """
  15.         对获取到的分词的内容进行按照频率排序
  16.         @param p_words: 需要进行按频率排序的内容
  17.         @return: {list[tuple]:经过排序后的内容}
  18.         """
  19.         return words_frequency(p_list=p_words, p_reverse=self.f_reverse)
复制代码
3.3 获取排序后的前N项内容制作柱图

[code]    def m_show_words_frequency(self, p_words_sort: list):        """        将p_words_sort中的内容提取前p_ranknum项使用"-"符号展示柱图。        @param p_words_sort: 要用来展示柱图的dict内容        @return: {str:柱图}        """        max_frequency = max(p_words_sort[0][1], p_words_sort[-1][1])        ratio = max_frequency / self.f_shownum        print('%-5s\t%-5s\t%-5s\t%-15s' % ('序号', '词性', '词频', '柱图'))        for i in range(self.f_ranknum):            print(f'{i + 1:



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4