In [1]:
# -*- coding=utf-8 -*-
from jieba.analyse import *
with open('../docs/HLS.TXT', encoding='utf-8') as f:
data = f.read()
分别使用TF-idf、TextRank方式提取关键词和权重，并且依次显示出来。（如果你不做特殊指定的话，默认显示数量为20个关键词）
In [2]:
for keyword, weight in extract_tags(data, topK=30, withWeight=True):
print('%s %s' % (keyword, weight))
In [3]:
for keyword, weight in textrank(data, topK=30, withWeight=True):
print('%s %s' % (keyword, weight))
我们简要讲解一下，前文出现的2种不同关键词提取方式——TF-idf和TextRank的基本原理。
为了不让大家感到枯燥，这里咱们就不使用数学公式了。后文我会给出相关的资料链接。如果你对细节感兴趣，欢迎按图索骥，查阅学习。
先说TF-idf。
它的全称是 Term Frequency - inverse document frequency。中间有个连字符，左右两侧各是一部分，共同结合起来，决定某个词的重要程度。
第一部分，就是词频（Term Frequency），即某个词语出现的频率。
我们常说“重要的事说三遍”。
同样的道理，某个词语出现的次数多，也就说明这个词语重要性可能会很高。
但是，这只是可能性，并不绝对。
例如现代汉语中的许多虚词——“的，地，得”，古汉语中的许多句尾词“之、乎、者、也、兮”，这些词在文中可能出现许多次，但是它们显然不是关键词。
这就是为什么我们在判断关键词的时候，需要第二部分（idf）配合。
逆文档频率（inverse document frequency）首先计算某个词在各文档中出现的频率。假设一共有10篇文档，其中某个词A在其中10篇文章中都出先过，另一个词B只在其中3篇文中出现。请问哪一个词更关键？
给你一分钟思考一下，然后继续读。
公布答案时间到。
答案是B更关键。
A可能就是虚词，或者全部文档共享的主题词。而B只在3篇文档中出现，因此很有可能是个关键词。
逆文档频率就是把这种文档频率取倒数。这样第一部分和第二部分都是越高越好。二者都高，就很有可能是关键词了。
TF-idf讲完了，下面我们说说TextRank。
相对于TF-idf，TextRank要显得更加复杂一些。它不是简单做加减乘除运算，而是基于图的计算。
文章来源：https://zhuanlan.zhihu.com/p/31870596?group_id=923093802266013696