Term Frequency: Frequency of a word in a particular document.
TF = (Num. of occurences of a word in a document) / (Num. of words in that document)
Inverse Document Frequency: Frequency of word in the whole corpus i.e. all documents.
IDF = log ( (Num. of documents) / (Num. of documents containing that word) )
In [1]:
# Import Dependencies
import numpy as np
import nltk
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
In [2]:
# Sample Text
text = """If I could be a superhero, just for the day,
I would want to be Supergirl, in every way.
She’s the young cousin of Superman with long golden locks,
But don’t let that fool you because she’s tougher than rocks.
Her powers consist of flying with speed,
To the moon, around the world or wherever the need.
She can hear a pin drop or the beat of a human’s heart,
Not to mention the faintest whisper, oh how very smart!
In addition to mind control, Supergirl’s vision is x-ray
She also has eyes that generate heat without delay.
Just like her cousin, she has her weakness too,
Kryptonite, oh Kryptonite. There’s only one and not two.
So why would I want to be this superhero for the day?
Well, that’s easy, I will tell you. So listen to what I say.
Bullying has become a major problem everywhere we turn.
Our teachers discuss the issue, but there is more that we need to learn.
Throughout the school halls and at the lunchroom tables,
Students are teased or pushed, and fighting back, well they aren’t able.
As Supergirl I would stop all this nonsense,
By using my powers to aid in every victim’s defense.
Throughout the day, I would listen for the negative chatter
And change each bully’s insults to words that matter.
Before the first punch is thrown or a foot trips another,
I would zap the tormentor’s behind with heat until he calls his mother.
It’s too bad I can’t be this superhero for longer,
It will take more than a day to help bullied victims to become stronger.
The truth is that no one deserves this cruel and hateful treatment
Everyone deserves happiness and that should be a unanimous agreement."""
In [3]:
# Sentence Tokenization
from nltk.tokenize import sent_tokenize
In [4]:
tokenize_sent = sent_tokenize(text)
In [5]:
tokenize_sent
Out[5]:
['If I could be a superhero, just for the day,\nI would want to be Supergirl, in every way.',
'She’s the young cousin of Superman with long golden locks,\nBut don’t let that fool you because she’s tougher than rocks.',
'Her powers consist of flying with speed,\nTo the moon, around the world or wherever the need.',
'She can hear a pin drop or the beat of a human’s heart,\nNot to mention the faintest whisper, oh how very smart!',
'In addition to mind control, Supergirl’s vision is x-ray\nShe also has eyes that generate heat without delay.',
'Just like her cousin, she has her weakness too,\nKryptonite, oh Kryptonite.',
'There’s only one and not two.',
'So why would I want to be this superhero for the day?',
'Well, that’s easy, I will tell you.',
'So listen to what I say.',
'Bullying has become a major problem everywhere we turn.',
'Our teachers discuss the issue, but there is more that we need to learn.',
'Throughout the school halls and at the lunchroom tables,\nStudents are teased or pushed, and fighting back, well they aren’t able.',
'As Supergirl I would stop all this nonsense,\nBy using my powers to aid in every victim’s defense.',
'Throughout the day, I would listen for the negative chatter\nAnd change each bully’s insults to words that matter.',
'Before the first punch is thrown or a foot trips another,\nI would zap the tormentor’s behind with heat until he calls his mother.',
'It’s too bad I can’t be this superhero for longer,\nIt will take more than a day to help bullied victims to become stronger.',
'The truth is that no one deserves this cruel and hateful treatment\nEveryone deserves happiness and that should be a unanimous agreement.']
In [6]:
import re
for i in range(len(tokenize_sent)):
tokenize_sent[i] = tokenize_sent[i].lower()
tokenize_sent[i] = re.sub(r'\W',' ',tokenize_sent[i])
tokenize_sent[i] = re.sub(r'\s+',' ',tokenize_sent[i])
In [7]:
# Create a Histogram
word2count = {}
for sent in tokenize_sent:
# Tokenize Sentences into Words
words = nltk.word_tokenize(sent)
for word in words:
# If word not in bow, add it
if word not in word2count.keys():
word2count[word] = 1
# If word present in bow, increment the counter
else:
word2count[word] += 1
In [8]:
import heapq
# Get top 100 word count key values
frequent_words = heapq.nlargest(100, word2count, key=word2count.get)
In [9]:
# IDF Matrix
word_idf = {}
In [10]:
for words in frequent_words:
doc_count = 0
for data in tokenize_sent:
if word in nltk.word_tokenize(data):
doc_count += 1
# IDF
word_idf[words] = np.log((len(tokenize_sent)/doc_count) + 1)
In [11]:
word_idf
Out[11]:
{'the': 2.9444389791664403,
'to': 2.9444389791664403,
's': 2.9444389791664403,
'i': 2.9444389791664403,
'a': 2.9444389791664403,
'that': 2.9444389791664403,
'and': 2.9444389791664403,
'be': 2.9444389791664403,
'would': 2.9444389791664403,
'she': 2.9444389791664403,
'for': 2.9444389791664403,
'day': 2.9444389791664403,
'or': 2.9444389791664403,
'is': 2.9444389791664403,
'this': 2.9444389791664403,
'superhero': 2.9444389791664403,
'supergirl': 2.9444389791664403,
'in': 2.9444389791664403,
'of': 2.9444389791664403,
'with': 2.9444389791664403,
't': 2.9444389791664403,
'her': 2.9444389791664403,
'has': 2.9444389791664403,
'just': 2.9444389791664403,
'want': 2.9444389791664403,
'every': 2.9444389791664403,
'cousin': 2.9444389791664403,
'but': 2.9444389791664403,
'you': 2.9444389791664403,
'than': 2.9444389791664403,
'powers': 2.9444389791664403,
'need': 2.9444389791664403,
'can': 2.9444389791664403,
'not': 2.9444389791664403,
'oh': 2.9444389791664403,
'heat': 2.9444389791664403,
'too': 2.9444389791664403,
'kryptonite': 2.9444389791664403,
'there': 2.9444389791664403,
'one': 2.9444389791664403,
'so': 2.9444389791664403,
'well': 2.9444389791664403,
'will': 2.9444389791664403,
'listen': 2.9444389791664403,
'become': 2.9444389791664403,
'we': 2.9444389791664403,
'more': 2.9444389791664403,
'throughout': 2.9444389791664403,
'it': 2.9444389791664403,
'deserves': 2.9444389791664403,
'if': 2.9444389791664403,
'could': 2.9444389791664403,
'way': 2.9444389791664403,
'young': 2.9444389791664403,
'superman': 2.9444389791664403,
'long': 2.9444389791664403,
'golden': 2.9444389791664403,
'locks': 2.9444389791664403,
'don': 2.9444389791664403,
'let': 2.9444389791664403,
'fool': 2.9444389791664403,
'because': 2.9444389791664403,
'tougher': 2.9444389791664403,
'rocks': 2.9444389791664403,
'consist': 2.9444389791664403,
'flying': 2.9444389791664403,
'speed': 2.9444389791664403,
'moon': 2.9444389791664403,
'around': 2.9444389791664403,
'world': 2.9444389791664403,
'wherever': 2.9444389791664403,
'hear': 2.9444389791664403,
'pin': 2.9444389791664403,
'drop': 2.9444389791664403,
'beat': 2.9444389791664403,
'human': 2.9444389791664403,
'heart': 2.9444389791664403,
'mention': 2.9444389791664403,
'faintest': 2.9444389791664403,
'whisper': 2.9444389791664403,
'how': 2.9444389791664403,
'very': 2.9444389791664403,
'smart': 2.9444389791664403,
'addition': 2.9444389791664403,
'mind': 2.9444389791664403,
'control': 2.9444389791664403,
'vision': 2.9444389791664403,
'x': 2.9444389791664403,
'ray': 2.9444389791664403,
'also': 2.9444389791664403,
'eyes': 2.9444389791664403,
'generate': 2.9444389791664403,
'without': 2.9444389791664403,
'delay': 2.9444389791664403,
'like': 2.9444389791664403,
'weakness': 2.9444389791664403,
'only': 2.9444389791664403,
'two': 2.9444389791664403,
'why': 2.9444389791664403,
'easy': 2.9444389791664403}
In [12]:
# Term Frequency Matrix
tf_matrix = {}
In [13]:
# Term Frequency
for words in frequent_words:
doc_tf = []
for data in tokenize_sent:
freq = 0
for word in nltk.word_tokenize(data):
if word == words:
freq += 1
tf_word = freq / len(nltk.word_tokenize(data))
doc_tf.append(tf_word)
tf_matrix[words] = doc_tf
In [14]:
doc_tf
Out[14]:
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.125,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0]
In [15]:
tf_matrix
Out[15]:
{'the': [0.05263157894736842,
0.041666666666666664,
0.17647058823529413,
0.08333333333333333,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.07142857142857142,
0.09090909090909091,
0.0,
0.1,
0.08,
0.0,
0.045454545454545456],
'to': [0.05263157894736842,
0.0,
0.058823529411764705,
0.041666666666666664,
0.05,
0.0,
0.0,
0.08333333333333333,
0.0,
0.16666666666666666,
0.0,
0.07142857142857142,
0.0,
0.05263157894736842,
0.05,
0.0,
0.07692307692307693,
0.0],
's': [0.0,
0.08333333333333333,
0.0,
0.041666666666666664,
0.05,
0.0,
0.14285714285714285,
0.0,
0.125,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.05,
0.04,
0.038461538461538464,
0.0],
'i': [0.10526315789473684,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.125,
0.16666666666666666,
0.0,
0.0,
0.0,
0.05263157894736842,
0.05,
0.04,
0.038461538461538464,
0.0],
'a': [0.05263157894736842,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.1111111111111111,
0.0,
0.0,
0.0,
0.0,
0.04,
0.038461538461538464,
0.045454545454545456],
'that': [0.0,
0.041666666666666664,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.125,
0.0,
0.0,
0.07142857142857142,
0.0,
0.0,
0.05,
0.0,
0.0,
0.09090909090909091],
'and': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14285714285714285,
0.0,
0.0,
0.0,
0.0,
0.0,
0.09090909090909091,
0.0,
0.05,
0.0,
0.0,
0.09090909090909091],
'be': [0.10526315789473684,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.045454545454545456],
'would': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.05,
0.04,
0.0,
0.0],
'she': [0.0,
0.08333333333333333,
0.0,
0.041666666666666664,
0.05,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'for': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.038461538461538464,
0.0],
'day': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.038461538461538464,
0.0],
'or': [0.0,
0.0,
0.058823529411764705,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.045454545454545456,
0.0,
0.0,
0.04,
0.0,
0.0],
'is': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.07142857142857142,
0.0,
0.0,
0.0,
0.04,
0.0,
0.045454545454545456],
'this': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.0,
0.0,
0.038461538461538464,
0.045454545454545456],
'superhero': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'supergirl': [0.05263157894736842,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.0,
0.0,
0.0,
0.0],
'in': [0.05263157894736842,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.0,
0.0,
0.0,
0.0],
'of': [0.0,
0.041666666666666664,
0.058823529411764705,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'with': [0.0,
0.041666666666666664,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.04,
0.0,
0.0],
't': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.045454545454545456,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'her': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.16666666666666666,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'has': [0.0,
0.0,
0.0,
0.0,
0.05,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.1111111111111111,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'just': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'want': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'every': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.0,
0.0,
0.0,
0.0],
'cousin': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'but': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.07142857142857142,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'you': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.125,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'than': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'powers': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.05263157894736842,
0.0,
0.0,
0.0,
0.0],
'need': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.07142857142857142,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'can': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'not': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.14285714285714285,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'oh': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'heat': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.04,
0.0,
0.0],
'too': [0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'kryptonite': [0.0,
0.0,
0.0,
0.0,
0.0,
0.16666666666666666,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'there': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14285714285714285,
0.0,
0.0,
0.0,
0.0,
0.07142857142857142,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'one': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14285714285714285,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.045454545454545456],
'so': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.16666666666666666,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'well': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.125,
0.0,
0.0,
0.0,
0.045454545454545456,
0.0,
0.0,
0.0,
0.0,
0.0],
'will': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.125,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'listen': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.16666666666666666,
0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0],
'become': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.1111111111111111,
0.0,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'we': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.1111111111111111,
0.07142857142857142,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'more': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.07142857142857142,
0.0,
0.0,
0.0,
0.0,
0.038461538461538464,
0.0],
'throughout': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.045454545454545456,
0.0,
0.05,
0.0,
0.0,
0.0],
'it': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.07692307692307693,
0.0],
'deserves': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.09090909090909091],
'if': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'could': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'way': [0.05263157894736842,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'young': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'superman': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'long': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'golden': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'locks': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'don': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'let': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'fool': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'because': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'tougher': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'rocks': [0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'consist': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'flying': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'speed': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'moon': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'around': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'world': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'wherever': [0.0,
0.0,
0.058823529411764705,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'hear': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'pin': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'drop': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'beat': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'human': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'heart': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'mention': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'faintest': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'whisper': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'how': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'very': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'smart': [0.0,
0.0,
0.0,
0.041666666666666664,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'addition': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'mind': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'control': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'vision': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'x': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'ray': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'also': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'eyes': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'generate': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'without': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'delay': [0.0,
0.0,
0.0,
0.0,
0.05,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'like': [0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'weakness': [0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'only': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14285714285714285,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'two': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14285714285714285,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'why': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.08333333333333333,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
'easy': [0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.125,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0]}
In [16]:
tf_idf = []
In [17]:
score = 0
for word in tf_matrix.keys():
# TF-IDF for specific words
tfidf = []
for value in tf_matrix[word]:
score = value * word_idf[word]
tfidf.append(score)
tf_idf.append(tfidf)
In [18]:
tf_idf
Out[18]:
[[0.15497047258770738,
0.12268495746526834,
0.5196068786764306,
0.24536991493053667,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.21031706994046,
0.26767627083331275,
0.0,
0.29444389791664405,
0.23555511833331522,
0.0,
0.13383813541665637],
[0.15497047258770738,
0.0,
0.17320229289214353,
0.12268495746526834,
0.14722194895832202,
0.0,
0.0,
0.24536991493053667,
0.0,
0.49073982986107334,
0.0,
0.21031706994046,
0.0,
0.15497047258770738,
0.14722194895832202,
0.0,
0.22649530608972618,
0.0],
[0.0,
0.24536991493053667,
0.0,
0.12268495746526834,
0.14722194895832202,
0.0,
0.42063413988092,
0.0,
0.36805487239580503,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.14722194895832202,
0.11777755916665761,
0.11324765304486309,
0.0],
[0.30994094517541476,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.36805487239580503,
0.49073982986107334,
0.0,
0.0,
0.0,
0.15497047258770738,
0.14722194895832202,
0.11777755916665761,
0.11324765304486309,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.3271598865740489,
0.0,
0.0,
0.0,
0.0,
0.11777755916665761,
0.11324765304486309,
0.13383813541665637],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.36805487239580503,
0.0,
0.0,
0.21031706994046,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.26767627083331275],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.42063413988092,
0.0,
0.0,
0.0,
0.0,
0.0,
0.26767627083331275,
0.0,
0.14722194895832202,
0.0,
0.0,
0.26767627083331275],
[0.30994094517541476,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.13383813541665637],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.14722194895832202,
0.11777755916665761,
0.0,
0.0],
[0.0,
0.24536991493053667,
0.0,
0.12268495746526834,
0.14722194895832202,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.11324765304486309,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.13383813541665637,
0.0,
0.0,
0.11777755916665761,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.21031706994046,
0.0,
0.0,
0.0,
0.11777755916665761,
0.0,
0.13383813541665637],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.0,
0.0,
0.11324765304486309,
0.13383813541665637],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.17320229289214353,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11777755916665761,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.13383813541665637,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.49073982986107334,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.3271598865740489,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.21031706994046,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.36805487239580503,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.15497047258770738,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.21031706994046,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.42063413988092,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11777755916665761,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.49073982986107334,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.42063413988092,
0.0,
0.0,
0.0,
0.0,
0.21031706994046,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.42063413988092,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.13383813541665637],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.49073982986107334,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.36805487239580503,
0.0,
0.0,
0.0,
0.13383813541665637,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.36805487239580503,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.49073982986107334,
0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.3271598865740489,
0.0,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.3271598865740489,
0.21031706994046,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.21031706994046,
0.0,
0.0,
0.0,
0.0,
0.11324765304486309,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.13383813541665637,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.22649530608972618,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.26767627083331275],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.15497047258770738,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.17320229289214353,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.12268495746526834,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.14722194895832202,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.42063413988092,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.42063413988092,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.24536991493053667,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0],
[0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.36805487239580503,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0]]
In [19]:
X = np.asarray(tf_idf)
In [20]:
X = X.T
In [21]:
X.shape
Out[21]:
(18, 100)
In [22]:
X
Out[22]:
array([[0.15497047, 0.15497047, 0. , ..., 0. , 0. ,
0. ],
[0.12268496, 0. , 0.24536991, ..., 0. , 0. ,
0. ],
[0.51960688, 0.17320229, 0. , ..., 0. , 0. ,
0. ],
...,
[0.23555512, 0. , 0.11777756, ..., 0. , 0. ,
0. ],
[0. , 0.22649531, 0.11324765, ..., 0. , 0. ,
0. ],
[0.13383814, 0. , 0. , ..., 0. , 0. ,
0. ]])
In [23]:
plt.figure(figsize=(20,10))
sns.heatmap(X, linewidths=0.5)
Out[23]:
<matplotlib.axes._subplots.AxesSubplot at 0x1c09d679b00>
Content source: anujdutt9/Natural-Language-Processing
Similar notebooks: