In [53]:
# CSE5525 NLP Homework 2 Group 1
import nltk
import numpy
import itertools
from nltk.corpus import treebank
full_training_set = nltk.corpus.treebank.tagged_sents()[0:3500]
training_set1 = full_training_set[0:1750]
training_set2 = full_training_set[1750:]
test_set = nltk.corpus.treebank.tagged_sents()[3500:]
# Step 2: Retrieve P(W_i | T_i) and P(T_i| T_i-1)
#
# Sample Usage 1:
# print set1_cpd_tags['DT'].prob('JJ')
# meaning print the prob of adjective given determinor from training set 1
#
# Sample Usage 2:
# print full_cpd_word_tag['DT'].prob('the')
# meaning print the prob of word 'the' given determinor from full training set
#
# PS. cpd as the Conditional Prob Distribution
# PSS. We use Laplace distribution for unseen cases
# Full Traning Set
full_training_set_words = []
for sent in full_training_set:
full_training_set_words.append(('<s>','<s>'))
full_training_set_words.extend([ (tag, word) for (word, tag) in sent ])
full_training_set_words.append(('</s>','</s>'))
full_tags = [tag for (tag, word) in full_training_set_words]
full_words = [word for (tag, word) in full_training_set_words]
full_cfd_word_tag = nltk.ConditionalFreqDist(full_training_set_words)
full_cfd_tags = nltk.ConditionalFreqDist(nltk.bigrams(full_tags))
for tag_1 in set(full_tags): # Laplace smoothing
for tag_2 in set(full_tags):
if full_cfd_tags[tag_1][tag_2] == 0:
full_cfd_tags[tag_1][tag_2] = 1
for tag in set(full_tags): # Laplace smoothing
for word in set(full_words):
if full_cfd_word_tag[tag][word] == 0:
full_cfd_word_tag[tag][word] = 1
full_cpd_word_tag = nltk.ConditionalProbDist(full_cfd_word_tag, nltk.MLEProbDist)
full_cpd_tags = nltk.ConditionalProbDist(full_cfd_tags, nltk.MLEProbDist)
# Traning Set 1
set1_training_set_words = []
for sent in training_set1:
set1_training_set_words.append(('<s>','<s>'))
set1_training_set_words.extend([ (tag, word) for (word, tag) in sent ])
set1_training_set_words.append(('</s>','</s>'))
set1_tags = [tag for (tag, word) in set1_training_set_words]
set1_words = [word for (tag, word) in set1_training_set_words]
set1_cfd_word_tag = nltk.ConditionalFreqDist(set1_training_set_words)
set1_cfd_tags = nltk.ConditionalFreqDist(nltk.bigrams(set1_tags))
for tag_1 in set(set1_tags): # Laplace smoothing
for tag_2 in set(set1_tags):
if set1_cfd_tags[tag_1][tag_2] == 0:
set1_cfd_tags[tag_1][tag_2] = 1
for tag in set(set1_tags): # Laplace smoothing
for word in set(set1_words):
if set1_cfd_word_tag[tag][word] == 0:
set1_cfd_word_tag[tag][word] = 1
set1_cpd_word_tag = nltk.ConditionalProbDist(set1_cfd_word_tag, nltk.MLEProbDist)
set1_cpd_tags = nltk.ConditionalProbDist(set1_cfd_tags, nltk.MLEProbDist)
In [5]:
import numpy
In [41]:
full_cfd_tags['DT']['NN']
Out[41]:
3434
In [49]:
len(set(set1_tags))
Out[49]:
47
In [46]:
for tag_1 in set(full_tags):
# A_table[dict_tags[tag_1]][dict_tags[tag_2]] = set1_cpd_tags[tag_1].prob(tag_2)
#print tag_1, ' ', tag_2, ' ', full_cpd_tags[tag_1].prob(tag_2)
print tag_1,' ', full_cfd_word_tag[tag_1]
PRP$ <FreqDist with 13 samples and 707 outcomes>
VBG <FreqDist with 531 samples and 1303 outcomes>
VBD <FreqDist with 480 samples and 2680 outcomes>
`` <FreqDist with 2 samples and 668 outcomes>
VBN <FreqDist with 646 samples and 1916 outcomes>
POS <FreqDist with 2 samples and 727 outcomes>
'' <FreqDist with 2 samples and 651 outcomes>
VBP <FreqDist with 276 samples and 1220 outcomes>
WDT <FreqDist with 6 samples and 397 outcomes>
JJ <FreqDist with 1647 samples and 5250 outcomes>
WP <FreqDist with 5 samples and 228 outcomes>
VBZ <FreqDist with 304 samples and 1949 outcomes>
DT <FreqDist with 39 samples and 7314 outcomes>
# <FreqDist with 1 samples and 16 outcomes>
RP <FreqDist with 15 samples and 193 outcomes>
$ <FreqDist with 3 samples and 613 outcomes>
NN <FreqDist with 2482 samples and 11664 outcomes>
FW <FreqDist with 4 samples and 4 outcomes>
, <FreqDist with 2 samples and 4432 outcomes>
. <FreqDist with 3 samples and 3468 outcomes>
TO <FreqDist with 3 samples and 1956 outcomes>
PRP <FreqDist with 25 samples and 1600 outcomes>
RB <FreqDist with 431 samples and 2574 outcomes>
-LRB- <FreqDist with 2 samples and 108 outcomes>
: <FreqDist with 5 samples and 524 outcomes>
NNS <FreqDist with 1359 samples and 5436 outcomes>
NNP <FreqDist with 2316 samples and 8438 outcomes>
VB <FreqDist with 656 samples and 2293 outcomes>
WRB <FreqDist with 9 samples and 159 outcomes>
CC <FreqDist with 17 samples and 2039 outcomes>
LS <FreqDist with 7 samples and 13 outcomes>
PDT <FreqDist with 5 samples and 23 outcomes>
RBS <FreqDist with 2 samples and 34 outcomes>
RBR <FreqDist with 16 samples and 125 outcomes>
CD <FreqDist with 863 samples and 3128 outcomes>
-NONE- <FreqDist with 440 samples and 5892 outcomes>
T <FreqDist with 1 samples and 3500 outcomes>
IN <FreqDist with 117 samples and 8852 outcomes>
WP$ <FreqDist with 1 samples and 10 outcomes>
MD <FreqDist with 16 samples and 818 outcomes>
NNPS <FreqDist with 98 samples and 216 outcomes>
-RRB- <FreqDist with 2 samples and 114 outcomes>
JJS <FreqDist with 29 samples and 160 outcomes>
S <FreqDist with 1 samples and 3500 outcomes>
SYM <FreqDist with 1 samples and 1 outcomes>
UH <FreqDist with 3 samples and 3 outcomes>
JJR <FreqDist with 46 samples and 346 outcomes>
EX <FreqDist with 2 samples and 85 outcomes>
In [51]:
for tag_1 in set(set1_tags):
for tag_2 in set(set1_tags):
print tag_1, ' ', tag_2, ' ', set1_cpd_tags[tag_1].prob(tag_2)
PRP$ PRP$ 0.000123411082315
PRP$ VBG 0.000123411082315
PRP$ VBD 0.000123411082315
PRP$ `` 0.000123411082315
PRP$ VBN 0.000370233246946
PRP$ POS 0.000123411082315
PRP$ '' 0.000123411082315
PRP$ VBP 0.000123411082315
PRP$ WDT 0.000123411082315
PRP$ JJ 0.00937924225595
PRP$ WP 0.000123411082315
PRP$ VBZ 0.000123411082315
PRP$ DT 0.000123411082315
PRP$ RP 0.000123411082315
PRP$ $ 0.000617055411576
PRP$ NN 0.0193755399235
PRP$ FW 0.000123411082315
PRP$ , 0.000123411082315
PRP$ . 0.000123411082315
PRP$ TO 0.000123411082315
PRP$ PRP 0.000123411082315
PRP$ RB 0.000123411082315
PRP$ -LRB- 0.000123411082315
PRP$ : 0.000123411082315
PRP$ NNS 0.00925583117364
PRP$ NNP 0.00320868814019
PRP$ VB 0.000123411082315
PRP$ WRB 0.000123411082315
PRP$ CC 0.000123411082315
PRP$ LS 0.000123411082315
PRP$ PDT 0.000123411082315
PRP$ RBS 0.000123411082315
PRP$ RBR 0.000123411082315
PRP$ CD 0.00123411082315
PRP$ -NONE- 0.000123411082315
PRP$ T 0.000123411082315
PRP$ IN 0.000123411082315
PRP$ WP$ 0.000123411082315
PRP$ MD 0.000123411082315
PRP$ NNPS 0.000123411082315
PRP$ -RRB- 0.000123411082315
PRP$ JJS 0.000740466493891
PRP$ S 0.000123411082315
PRP$ SYM 0.000123411082315
PRP$ UH 0.000123411082315
PRP$ JJR 0.000123411082315
PRP$ EX 0.000123411082315
VBG PRP$ 0.0027397260274
VBG VBG 0.00011911852293
VBG VBD 0.00011911852293
VBG `` 0.000357355568791
VBG VBN 0.00178677784395
VBG POS 0.00011911852293
VBG '' 0.00011911852293
VBG VBP 0.00011911852293
VBG WDT 0.00011911852293
VBG JJ 0.00547945205479
VBG WP 0.000357355568791
VBG VBZ 0.00011911852293
VBG DT 0.0129839189994
VBG RP 0.00190589636689
VBG $ 0.000357355568791
VBG NN 0.0110780226325
VBG FW 0.00011911852293
VBG , 0.00166765932102
VBG . 0.00190589636689
VBG TO 0.00416914830256
VBG PRP 0.00178677784395
VBG RB 0.0039309112567
VBG -LRB- 0.00011911852293
VBG : 0.00011911852293
VBG NNS 0.00714711137582
VBG NNP 0.00238237045861
VBG VB 0.00011911852293
VBG WRB 0.00011911852293
VBG CC 0.000952948183443
VBG LS 0.00011911852293
VBG PDT 0.00011911852293
VBG RBS 0.00011911852293
VBG RBR 0.000357355568791
VBG CD 0.00154854079809
VBG -NONE- 0.00583680762359
VBG T 0.00011911852293
VBG IN 0.00964860035736
VBG WP$ 0.00011911852293
VBG MD 0.00011911852293
VBG NNPS 0.00011911852293
VBG -RRB- 0.00011911852293
VBG JJS 0.00011911852293
VBG S 0.00011911852293
VBG SYM 0.00011911852293
VBG UH 0.00011911852293
VBG JJR 0.000714711137582
VBG EX 0.00011911852293
VBD PRP$ 0.00264084507042
VBD VBG 0.00286091549296
VBD VBD 0.000110035211268
VBD `` 0.000550176056338
VBD VBN 0.0136443661972
VBD POS 0.000110035211268
VBD '' 0.000110035211268
VBD VBP 0.000110035211268
VBD WDT 0.000110035211268
VBD JJ 0.00682218309859
VBD WP 0.000110035211268
VBD VBZ 0.000110035211268
VBD DT 0.0207966549296
VBD RP 0.00253080985915
VBD $ 0.000880281690141
VBD NN 0.00451144366197
VBD FW 0.000110035211268
VBD , 0.000880281690141
VBD . 0.000880281690141
VBD TO 0.00275088028169
VBD PRP 0.00209066901408
VBD RB 0.0119938380282
VBD -LRB- 0.000110035211268
VBD : 0.000220070422535
VBD NNS 0.00275088028169
VBD NNP 0.0044014084507
VBD VB 0.000660211267606
VBD WRB 0.000220070422535
VBD CC 0.000330105633803
VBD LS 0.000110035211268
VBD PDT 0.000110035211268
VBD RBS 0.000110035211268
VBD RBR 0.000660211267606
VBD CD 0.00550176056338
VBD -NONE- 0.0430237676056
VBD T 0.000110035211268
VBD IN 0.0169454225352
VBD WP$ 0.000110035211268
VBD MD 0.000110035211268
VBD NNPS 0.000110035211268
VBD -RRB- 0.000110035211268
VBD JJS 0.000110035211268
VBD S 0.000110035211268
VBD SYM 0.000110035211268
VBD UH 0.000110035211268
VBD JJR 0.00110035211268
VBD EX 0.000110035211268
`` PRP$ 0.00024718823384
`` VBG 0.00049437646768
`` VBD 0.00012359411692
`` `` 0.00012359411692
`` VBN 0.0006179705846
`` POS 0.00012359411692
`` '' 0.00012359411692
`` VBP 0.00049437646768
`` WDT 0.00012359411692
`` JJ 0.0037078235076
`` WP 0.00074156470152
`` VBZ 0.00086515881844
`` DT 0.00766283524904
`` RP 0.00012359411692
`` $ 0.00012359411692
`` NN 0.0037078235076
`` FW 0.00012359411692
`` , 0.00012359411692
`` . 0.00012359411692
`` TO 0.00012359411692
`` PRP 0.009269558769
`` RB 0.00259547645532
`` -LRB- 0.00012359411692
`` : 0.00012359411692
`` NNS 0.00148312940304
`` NNP 0.00420219997528
`` VB 0.00074156470152
`` WRB 0.00037078235076
`` CC 0.0012359411692
`` LS 0.00012359411692
`` PDT 0.00012359411692
`` RBS 0.00012359411692
`` RBR 0.00012359411692
`` CD 0.00012359411692
`` -NONE- 0.00173031763688
`` T 0.00012359411692
`` IN 0.00234828822148
`` WP$ 0.00012359411692
`` MD 0.0006179705846
`` NNPS 0.00012359411692
`` -RRB- 0.00012359411692
`` JJS 0.00012359411692
`` S 0.00012359411692
`` SYM 0.00012359411692
`` UH 0.00012359411692
`` JJR 0.00012359411692
`` EX 0.00111234705228
VBN PRP$ 0.00185614849188
VBN VBG 0.00162412993039
VBN VBD 0.000116009280742
VBN `` 0.00046403712297
VBN VBN 0.00278422273782
VBN POS 0.000116009280742
VBN '' 0.000116009280742
VBN VBP 0.000116009280742
VBN WDT 0.000116009280742
VBN JJ 0.00522041763341
VBN WP 0.000348027842227
VBN VBZ 0.000116009280742
VBN DT 0.00696055684455
VBN RP 0.00162412993039
VBN $ 0.000348027842227
VBN NN 0.00568445475638
VBN FW 0.000116009280742
VBN , 0.000696055684455
VBN . 0.000580046403712
VBN TO 0.00116009280742
VBN PRP 0.000116009280742
VBN RB 0.00197215777262
VBN -LRB- 0.000116009280742
VBN : 0.000232018561485
VBN NNS 0.00348027842227
VBN NNP 0.00116009280742
VBN VB 0.000116009280742
VBN WRB 0.000116009280742
VBN CC 0.000232018561485
VBN LS 0.000116009280742
VBN PDT 0.000116009280742
VBN RBS 0.000116009280742
VBN RBR 0.000232018561485
VBN CD 0.000696055684455
VBN -NONE- 0.0588167053364
VBN T 0.000116009280742
VBN IN 0.00696055684455
VBN WP$ 0.000116009280742
VBN MD 0.000116009280742
VBN NNPS 0.000116009280742
VBN -RRB- 0.000116009280742
VBN JJS 0.000116009280742
VBN S 0.000116009280742
VBN SYM 0.000116009280742
VBN UH 0.000116009280742
VBN JJR 0.000116009280742
VBN EX 0.000116009280742
POS PRP$ 0.000123517786561
POS VBG 0.000494071146245
POS VBD 0.000123517786561
POS `` 0.000370553359684
POS VBN 0.000247035573123
POS POS 0.000123517786561
POS '' 0.000123517786561
POS VBP 0.000123517786561
POS WDT 0.000123517786561
POS JJ 0.00914031620553
POS WP 0.000123517786561
POS VBZ 0.000123517786561
POS DT 0.000123517786561
POS RP 0.000123517786561
POS $ 0.000123517786561
POS NN 0.0182806324111
POS FW 0.000123517786561
POS , 0.000247035573123
POS . 0.000370553359684
POS TO 0.000123517786561
POS PRP 0.000123517786561
POS RB 0.000123517786561
POS -LRB- 0.000123517786561
POS : 0.000123517786561
POS NNS 0.00568181818182
POS NNP 0.00666996047431
POS VB 0.000123517786561
POS WRB 0.000123517786561
POS CC 0.000370553359684
POS LS 0.000123517786561
POS PDT 0.000123517786561
POS RBS 0.000123517786561
POS RBR 0.000123517786561
POS CD 0.000741106719368
POS -NONE- 0.000123517786561
POS T 0.000123517786561
POS IN 0.000247035573123
POS WP$ 0.000123517786561
POS MD 0.000123517786561
POS NNPS 0.000247035573123
POS -RRB- 0.000123517786561
POS JJS 0.000864624505929
POS S 0.000123517786561
POS SYM 0.000123517786561
POS UH 0.000123517786561
POS JJR 0.000247035573123
POS EX 0.000123517786561
'' PRP$ 0.000123716441915
'' VBG 0.00024743288383
'' VBD 0.00284547816405
'' `` 0.000123716441915
'' VBN 0.00024743288383
'' POS 0.000123716441915
'' '' 0.000123716441915
'' VBP 0.00024743288383
'' WDT 0.000618582209576
'' JJ 0.000123716441915
'' WP 0.000123716441915
'' VBZ 0.00742298651491
'' DT 0.00173203018681
'' RP 0.000123716441915
'' $ 0.000123716441915
'' NN 0.00136088086107
'' FW 0.000123716441915
'' , 0.000123716441915
'' . 0.000123716441915
'' TO 0.00024743288383
'' PRP 0.00259804528022
'' RB 0.000371149325745
'' -LRB- 0.000494865767661
'' : 0.000123716441915
'' NNS 0.000742298651491
'' NNP 0.00334034393171
'' VB 0.000123716441915
'' WRB 0.000123716441915
'' CC 0.00123716441915
'' LS 0.000123716441915
'' PDT 0.000123716441915
'' RBS 0.000123716441915
'' RBR 0.000123716441915
'' CD 0.000123716441915
'' -NONE- 0.000371149325745
'' T 0.014598540146
'' IN 0.00433007546703
'' WP$ 0.000123716441915
'' MD 0.000123716441915
'' NNPS 0.000123716441915
'' -RRB- 0.000123716441915
'' JJS 0.000123716441915
'' S 0.000123716441915
'' SYM 0.000123716441915
'' UH 0.000123716441915
'' JJR 0.000123716441915
'' EX 0.000123716441915
VBP PRP$ 0.000954653937947
VBP VBG 0.00692124105012
VBP VBD 0.000238663484487
VBP `` 0.00035799522673
VBP VBN 0.0119331742243
VBP POS 0.000119331742243
VBP '' 0.000119331742243
VBP VBP 0.000119331742243
VBP WDT 0.000119331742243
VBP JJ 0.00692124105012
VBP WP 0.000119331742243
VBP VBZ 0.000119331742243
VBP DT 0.00644391408115
VBP RP 0.00107398568019
VBP $ 0.00035799522673
VBP NN 0.00226730310263
VBP FW 0.000119331742243
VBP , 0.000596658711217
VBP . 0.000477326968974
VBP TO 0.000715990453461
VBP PRP 0.00155131264916
VBP RB 0.0112171837709
VBP -LRB- 0.000119331742243
VBP : 0.000119331742243
VBP NNS 0.00190930787589
VBP NNP 0.00107398568019
VBP VB 0.000119331742243
VBP WRB 0.000119331742243
VBP CC 0.000238663484487
VBP LS 0.000119331742243
VBP PDT 0.000119331742243
VBP RBS 0.000119331742243
VBP RBR 0.000715990453461
VBP CD 0.000477326968974
VBP -NONE- 0.0131264916468
VBP T 0.000119331742243
VBP IN 0.00751789976134
VBP WP$ 0.000119331742243
VBP MD 0.000119331742243
VBP NNPS 0.000119331742243
VBP -RRB- 0.000119331742243
VBP JJS 0.000119331742243
VBP S 0.000119331742243
VBP SYM 0.000119331742243
VBP UH 0.000119331742243
VBP JJR 0.000477326968974
VBP EX 0.000119331742243
WDT PRP$ 0.000126167045168
WDT VBG 0.000126167045168
WDT VBD 0.000126167045168
WDT `` 0.000126167045168
WDT VBN 0.000126167045168
WDT POS 0.000126167045168
WDT '' 0.000126167045168
WDT VBP 0.000126167045168
WDT WDT 0.000126167045168
WDT JJ 0.000126167045168
WDT WP 0.000126167045168
WDT VBZ 0.000126167045168
WDT DT 0.000757002271007
WDT RP 0.000126167045168
WDT $ 0.000126167045168
WDT NN 0.000126167045168
WDT FW 0.000126167045168
WDT , 0.000126167045168
WDT . 0.000126167045168
WDT TO 0.000126167045168
WDT PRP 0.000883169316175
WDT RB 0.000252334090336
WDT -LRB- 0.000126167045168
WDT : 0.000126167045168
WDT NNS 0.000252334090336
WDT NNP 0.000252334090336
WDT VB 0.000126167045168
WDT WRB 0.000126167045168
WDT CC 0.000126167045168
WDT LS 0.000126167045168
WDT PDT 0.000126167045168
WDT RBS 0.000126167045168
WDT RBR 0.000126167045168
WDT CD 0.000126167045168
WDT -NONE- 0.0201867272268
WDT T 0.000126167045168
WDT IN 0.000126167045168
WDT WP$ 0.000126167045168
WDT MD 0.000126167045168
WDT NNPS 0.000126167045168
WDT -RRB- 0.000126167045168
WDT JJS 0.000126167045168
WDT S 0.000126167045168
WDT SYM 0.000126167045168
WDT UH 0.000126167045168
WDT JJR 0.000126167045168
WDT EX 0.000126167045168
JJ PRP$ 9.6033803899e-05
JJ VBG 0.00144050705848
JJ VBD 9.6033803899e-05
JJ `` 0.000480169019495
JJ VBN 0.000768270431192
JJ POS 9.6033803899e-05
JJ '' 0.000576202823394
JJ VBP 9.6033803899e-05
JJ WDT 9.6033803899e-05
JJ JJ 0.0176702199174
JJ WP 9.6033803899e-05
JJ VBZ 0.000480169019495
JJ DT 0.00105637184289
JJ RP 9.6033803899e-05
JJ $ 0.000384135215596
JJ NN 0.112359550562
JJ FW 9.6033803899e-05
JJ , 0.00758667050802
JJ . 0.00518582541054
JJ TO 0.00249687890137
JJ PRP 0.000288101411697
JJ RB 0.000672236627293
JJ -LRB- 0.000288101411697
JJ : 0.00115240564679
JJ NNS 0.0641505810045
JJ NNP 0.0096033803899
JJ VB 9.6033803899e-05
JJ WRB 0.000288101411697
JJ CC 0.00470565639105
JJ LS 9.6033803899e-05
JJ PDT 9.6033803899e-05
JJ RBS 9.6033803899e-05
JJ RBR 9.6033803899e-05
JJ CD 0.00470565639105
JJ -NONE- 0.00605012964564
JJ T 9.6033803899e-05
JJ IN 0.0148852396043
JJ WP$ 9.6033803899e-05
JJ MD 9.6033803899e-05
JJ NNPS 0.000288101411697
JJ -RRB- 9.6033803899e-05
JJ JJS 9.6033803899e-05
JJ S 9.6033803899e-05
JJ SYM 9.6033803899e-05
JJ UH 9.6033803899e-05
JJ JJR 0.000288101411697
JJ EX 9.6033803899e-05
WP PRP$ 0.000254388196388
WP VBG 0.000127194098194
WP VBD 0.000127194098194
WP `` 0.000127194098194
WP VBN 0.000127194098194
WP POS 0.000127194098194
WP '' 0.000127194098194
WP VBP 0.000127194098194
WP WDT 0.000127194098194
WP JJ 0.000127194098194
WP WP 0.000127194098194
WP VBZ 0.000381582294582
WP DT 0.000508776392775
WP RP 0.000127194098194
WP $ 0.000127194098194
WP NN 0.000127194098194
WP FW 0.000127194098194
WP , 0.000127194098194
WP . 0.000127194098194
WP TO 0.000127194098194
WP PRP 0.00114474688374
WP RB 0.000381582294582
WP -LRB- 0.000127194098194
WP : 0.000127194098194
WP NNS 0.000254388196388
WP NNP 0.000254388196388
WP VB 0.000127194098194
WP WRB 0.000127194098194
WP CC 0.000127194098194
WP LS 0.000127194098194
WP PDT 0.000127194098194
WP RBS 0.000127194098194
WP RBR 0.000127194098194
WP CD 0.000127194098194
WP -NONE- 0.0114474688374
WP T 0.000127194098194
WP IN 0.000381582294582
WP WP$ 0.000127194098194
WP MD 0.000127194098194
WP NNPS 0.000127194098194
WP -RRB- 0.000127194098194
WP JJS 0.000127194098194
WP S 0.000127194098194
WP SYM 0.000127194098194
WP UH 0.000127194098194
WP JJR 0.000127194098194
WP EX 0.000127194098194
VBZ PRP$ 0.00148622384818
VBZ VBG 0.00571624556991
VBZ VBD 0.000342974734195
VBZ `` 0.00137189893678
VBZ VBN 0.0179490110895
VBZ POS 0.000114324911398
VBZ '' 0.000114324911398
VBZ VBP 0.000114324911398
VBZ WDT 0.000114324911398
VBZ JJ 0.0062878701269
VBZ WP 0.000228649822796
VBZ VBZ 0.000114324911398
VBZ DT 0.014061964102
VBZ RP 0.00102892420258
VBZ $ 0.000571624556991
VBZ NN 0.00331542243055
VBZ FW 0.000114324911398
VBZ , 0.000914599291186
VBZ . 0.000228649822796
VBZ TO 0.000914599291186
VBZ PRP 0.00194352349377
VBZ RB 0.015776837773
VBZ -LRB- 0.000114324911398
VBZ : 0.000685949468389
VBZ NNS 0.00160054875957
VBZ NNP 0.00285812278495
VBZ VB 0.000228649822796
VBZ WRB 0.000342974734195
VBZ CC 0.000571624556991
VBZ LS 0.000114324911398
VBZ PDT 0.000114324911398
VBZ RBS 0.000114324911398
VBZ RBR 0.000342974734195
VBZ CD 0.00228649822796
VBZ -NONE- 0.0261804047102
VBZ T 0.000114324911398
VBZ IN 0.00891734308906
VBZ WP$ 0.000114324911398
VBZ MD 0.000114324911398
VBZ NNPS 0.000114324911398
VBZ -RRB- 0.000114324911398
VBZ JJS 0.000114324911398
VBZ S 0.000114324911398
VBZ SYM 0.000114324911398
VBZ UH 0.000114324911398
VBZ JJR 0.000571624556991
VBZ EX 0.000114324911398
DT PRP$ 8.79816998064e-05
DT VBG 0.00343128629245
DT VBD 0.000351926799226
DT `` 0.00211156079535
DT VBN 0.00255146929439
DT POS 8.79816998064e-05
DT '' 8.79816998064e-05
DT VBP 8.79816998064e-05
DT WDT 8.79816998064e-05
DT JJ 0.0675699454513
DT WP 0.000175963399613
DT VBZ 0.00158367059652
DT DT 0.000791835298258
DT RP 8.79816998064e-05
DT $ 0.002727432694
DT NN 0.148865036072
DT FW 8.79816998064e-05
DT , 0.000263945099419
DT . 0.000351926799226
DT TO 8.79816998064e-05
DT PRP 0.000263945099419
DT RB 0.00290339609361
DT -LRB- 0.000175963399613
DT : 8.79816998064e-05
DT NNS 0.0270983635404
DT NNP 0.0392398381137
DT VB 8.79816998064e-05
DT WRB 8.79816998064e-05
DT CC 8.79816998064e-05
DT LS 8.79816998064e-05
DT PDT 8.79816998064e-05
DT RBS 0.000527890198839
DT RBR 0.000703853598452
DT CD 0.0068625725849
DT -NONE- 0.000615871898645
DT T 8.79816998064e-05
DT IN 0.00387119479148
DT WP$ 8.79816998064e-05
DT MD 0.000527890198839
DT NNPS 0.000703853598452
DT -RRB- 8.79816998064e-05
DT JJS 0.00334330459264
DT S 8.79816998064e-05
DT SYM 8.79816998064e-05
DT UH 8.79816998064e-05
DT JJR 0.00255146929439
DT EX 8.79816998064e-05
RP PRP$ 0.00089013224822
RP VBG 0.000127161749746
RP VBD 0.000127161749746
RP `` 0.000254323499491
RP VBN 0.000127161749746
RP POS 0.000127161749746
RP '' 0.000127161749746
RP VBP 0.000127161749746
RP WDT 0.000127161749746
RP JJ 0.000635808748728
RP WP 0.000127161749746
RP VBZ 0.000127161749746
RP DT 0.00406917599186
RP RP 0.000127161749746
RP $ 0.000127161749746
RP NN 0.000508646998983
RP FW 0.000127161749746
RP , 0.000635808748728
RP . 0.000762970498474
RP TO 0.000381485249237
RP PRP 0.000127161749746
RP RB 0.000508646998983
RP -LRB- 0.000127161749746
RP : 0.000127161749746
RP NNS 0.00101729399797
RP NNP 0.000381485249237
RP VB 0.000127161749746
RP WRB 0.000127161749746
RP CC 0.000381485249237
RP LS 0.000127161749746
RP PDT 0.000127161749746
RP RBS 0.000127161749746
RP RBR 0.000127161749746
RP CD 0.000508646998983
RP -NONE- 0.0013987792472
RP T 0.000127161749746
RP IN 0.00368769074262
RP WP$ 0.000127161749746
RP MD 0.000127161749746
RP NNPS 0.000127161749746
RP -RRB- 0.000127161749746
RP JJS 0.000127161749746
RP S 0.000127161749746
RP SYM 0.000127161749746
RP UH 0.000127161749746
RP JJR 0.000127161749746
RP EX 0.000127161749746
$ PRP$ 0.000124812780829
$ VBG 0.000124812780829
$ VBD 0.000124812780829
$ `` 0.000124812780829
$ VBN 0.000124812780829
$ POS 0.000124812780829
$ '' 0.000124812780829
$ VBP 0.000124812780829
$ WDT 0.000124812780829
$ JJ 0.000249625561658
$ WP 0.000124812780829
$ VBZ 0.000124812780829
$ DT 0.000124812780829
$ RP 0.000124812780829
$ $ 0.000124812780829
$ NN 0.000124812780829
$ FW 0.000124812780829
$ , 0.000124812780829
$ . 0.000124812780829
$ TO 0.000124812780829
$ PRP 0.000124812780829
$ RB 0.000124812780829
$ -LRB- 0.000124812780829
$ : 0.000124812780829
$ NNS 0.000124812780829
$ NNP 0.000124812780829
$ VB 0.000124812780829
$ WRB 0.000124812780829
$ CC 0.000124812780829
$ LS 0.000124812780829
$ PDT 0.000124812780829
$ RBS 0.000124812780829
$ RBR 0.000124812780829
$ CD 0.0323265102346
$ -NONE- 0.000124812780829
$ T 0.000124812780829
$ IN 0.000124812780829
$ WP$ 0.000124812780829
$ MD 0.000124812780829
$ NNPS 0.000124812780829
$ -RRB- 0.000124812780829
$ JJS 0.000124812780829
$ S 0.000124812780829
$ SYM 0.000124812780829
$ UH 0.000124812780829
$ JJR 0.000124812780829
$ EX 0.000124812780829
NN PRP$ 0.000150443809237
NN VBG 0.0032345418986
NN VBD 0.0194072513916
NN `` 0.00105310666466
NN VBN 0.00413720475402
NN POS 0.00782307808034
NN '' 0.00248232285241
NN VBP 0.00173010380623
NN WDT 0.00346020761246
NN JJ 0.00278321047089
NN WP 0.00142921618775
NN VBZ 0.0185045885362
NN DT 0.00195576952008
NN RP 0.000300887618474
NN $ 0.000150443809237
NN NN 0.0502482322852
NN FW 7.52219046186e-05
NN , 0.0479915751467
NN . 0.0464871370543
NN TO 0.00880096284038
NN PRP 0.000676997141568
NN RB 0.0076726342711
NN -LRB- 0.00052655333233
NN : 0.00586730856025
NN NNS 0.0324958627952
NN NNP 0.0032345418986
NN VB 0.000300887618474
NN WRB 0.000902662855423
NN CC 0.0151196028283
NN LS 7.52219046186e-05
NN PDT 7.52219046186e-05
NN RBS 7.52219046186e-05
NN RBR 0.000451331427712
NN CD 0.00127877237852
NN -NONE- 0.0182789228223
NN T 7.52219046186e-05
NN IN 0.104031894088
NN WP$ 7.52219046186e-05
NN MD 0.00549119903716
NN NNPS 7.52219046186e-05
NN -RRB- 0.000451331427712
NN JJS 7.52219046186e-05
NN S 7.52219046186e-05
NN SYM 7.52219046186e-05
NN UH 7.52219046186e-05
NN JJR 0.00052655333233
NN EX 7.52219046186e-05
FW PRP$ 0.000128982329421
FW VBG 0.000128982329421
FW VBD 0.000128982329421
FW `` 0.000128982329421
FW VBN 0.000128982329421
FW POS 0.000128982329421
FW '' 0.000128982329421
FW VBP 0.000128982329421
FW WDT 0.000128982329421
FW JJ 0.000128982329421
FW WP 0.000128982329421
FW VBZ 0.000128982329421
FW DT 0.000128982329421
FW RP 0.000128982329421
FW $ 0.000128982329421
FW NN 0.000128982329421
FW FW 0.000128982329421
FW , 0.000128982329421
FW . 0.000128982329421
FW TO 0.000128982329421
FW PRP 0.000128982329421
FW RB 0.000128982329421
FW -LRB- 0.000128982329421
FW : 0.000128982329421
FW NNS 0.000128982329421
FW NNP 0.000128982329421
FW VB 0.000128982329421
FW WRB 0.000128982329421
FW CC 0.000128982329421
FW LS 0.000128982329421
FW PDT 0.000128982329421
FW RBS 0.000128982329421
FW RBR 0.000128982329421
FW CD 0.000128982329421
FW -NONE- 0.000128982329421
FW T 0.000128982329421
FW IN 0.000128982329421
FW WP$ 0.000128982329421
FW MD 0.000128982329421
FW NNPS 0.000128982329421
FW -RRB- 0.000128982329421
FW JJS 0.000128982329421
FW S 0.000128982329421
FW SYM 0.000128982329421
FW UH 0.000128982329421
FW JJR 0.000128982329421
FW EX 0.000128982329421
, PRP$ 0.000709435492044
, VBG 0.0040539170974
, VBD 0.0128711867842
, `` 0.00385122124253
, VBN 0.0043579608797
, POS 0.000101347927435
, '' 0.0144927536232
, VBP 0.0020269585487
, WDT 0.00628357150096
, JJ 0.0107428803081
, WP 0.00263504611331
, VBZ 0.00658761528327
, DT 0.0327353805615
, RP 0.000101347927435
, $ 0.000709435492044
, NN 0.0117563595824
, FW 0.000101347927435
, , 0.000101347927435
, . 0.000101347927435
, TO 0.000304043782305
, PRP 0.00912131346914
, RB 0.0117563595824
, -LRB- 0.000101347927435
, : 0.000101347927435
, NNS 0.00496604844431
, NNP 0.0274652883349
, VB 0.00040539170974
, WRB 0.00131752305665
, CC 0.0162156683896
, LS 0.000101347927435
, PDT 0.000101347927435
, RBS 0.00020269585487
, RBR 0.000304043782305
, CD 0.00547278808148
, -NONE- 0.00780379041249
, T 0.000101347927435
, IN 0.0146954494781
, WP$ 0.00020269585487
, MD 0.00212830647613
, NNPS 0.000101347927435
, -RRB- 0.000101347927435
, JJS 0.00020269585487
, S 0.000101347927435
, SYM 0.000101347927435
, UH 0.000101347927435
, JJR 0.000101347927435
, EX 0.00101347927435
. PRP$ 0.000105385182843
. VBG 0.000105385182843
. VBD 0.000105385182843
. `` 0.000105385182843
. VBN 0.000105385182843
. POS 0.000105385182843
. '' 0.0128569923069
. VBP 0.000105385182843
. WDT 0.000105385182843
. JJ 0.000105385182843
. WP 0.000105385182843
. VBZ 0.000105385182843
. DT 0.000105385182843
. RP 0.000105385182843
. $ 0.000105385182843
. NN 0.000105385182843
. FW 0.000105385182843
. , 0.000105385182843
. . 0.000105385182843
. TO 0.000105385182843
. PRP 0.000105385182843
. RB 0.000105385182843
. -LRB- 0.000105385182843
. : 0.000105385182843
. NNS 0.000105385182843
. NNP 0.00031615554853
. VB 0.000105385182843
. WRB 0.000105385182843
. CC 0.000105385182843
. LS 0.000105385182843
. PDT 0.000105385182843
. RBS 0.000105385182843
. RBR 0.000105385182843
. CD 0.000105385182843
. -NONE- 0.000526925914216
. T 0.168932448098
. IN 0.000105385182843
. WP$ 0.000105385182843
. MD 0.000105385182843
. NNPS 0.000105385182843
. -RRB- 0.000843081462746
. JJS 0.000105385182843
. S 0.000105385182843
. SYM 0.000105385182843
. UH 0.000105385182843
. JJR 0.000105385182843
. EX 0.000105385182843
TO PRP$ 0.00242718446602
TO VBG 0.000115580212668
TO VBD 0.000115580212668
TO `` 0.00046232085067
TO VBN 0.000231160425335
TO POS 0.000115580212668
TO '' 0.000115580212668
TO VBP 0.000115580212668
TO WDT 0.000115580212668
TO JJ 0.00300508552936
TO WP 0.000115580212668
TO VBZ 0.000115580212668
TO DT 0.0144475265834
TO RP 0.000115580212668
TO $ 0.0035829865927
TO NN 0.00288950531669
TO FW 0.000115580212668
TO , 0.000115580212668
TO . 0.000115580212668
TO TO 0.000115580212668
TO PRP 0.000577901063338
TO RB 0.000693481276006
TO -LRB- 0.000115580212668
TO : 0.000115580212668
TO NNS 0.00312066574202
TO NNP 0.00520110957004
TO VB 0.0621821544152
TO WRB 0.000115580212668
TO CC 0.000115580212668
TO LS 0.000115580212668
TO PDT 0.000115580212668
TO RBS 0.000115580212668
TO RBR 0.000346740638003
TO CD 0.00531668978271
TO -NONE- 0.000809061488673
TO T 0.000115580212668
TO IN 0.00046232085067
TO WP$ 0.000115580212668
TO MD 0.000115580212668
TO NNPS 0.000115580212668
TO -RRB- 0.000115580212668
TO JJS 0.000115580212668
TO S 0.000115580212668
TO SYM 0.000115580212668
TO UH 0.000115580212668
TO JJR 0.000115580212668
TO EX 0.000115580212668
PRP PRP$ 0.000116577290744
PRP VBG 0.000349731872231
PRP VBD 0.0269293541618
PRP `` 0.000349731872231
PRP VBN 0.000233154581488
PRP POS 0.000116577290744
PRP '' 0.000116577290744
PRP VBP 0.0192352529727
PRP WDT 0.000116577290744
PRP JJ 0.000699463744463
PRP WP 0.000233154581488
PRP VBZ 0.0197015621357
PRP DT 0.000466309162975
PRP RP 0.000582886453719
PRP $ 0.000116577290744
PRP NN 0.000466309162975
PRP FW 0.000116577290744
PRP , 0.00151550477967
PRP . 0.00244812310562
PRP TO 0.00163208207041
PRP PRP 0.000116577290744
PRP RB 0.00512940079273
PRP -LRB- 0.000116577290744
PRP : 0.000116577290744
PRP NNS 0.000116577290744
PRP NNP 0.000349731872231
PRP VB 0.000582886453719
PRP WRB 0.000116577290744
PRP CC 0.000466309162975
PRP LS 0.000116577290744
PRP PDT 0.000116577290744
PRP RBS 0.000116577290744
PRP RBR 0.000116577290744
PRP CD 0.000116577290744
PRP -NONE- 0.00384705059454
PRP T 0.000116577290744
PRP IN 0.00349731872231
PRP WP$ 0.000116577290744
PRP MD 0.00967591513173
PRP NNPS 0.000116577290744
PRP -RRB- 0.000116577290744
PRP JJS 0.000116577290744
PRP S 0.000116577290744
PRP SYM 0.000116577290744
PRP UH 0.000116577290744
PRP JJR 0.000349731872231
PRP EX 0.000116577290744
RB PRP$ 0.000110619469027
RB VBG 0.00508849557522
RB VBD 0.00973451327434
RB `` 0.00033185840708
RB VBN 0.0120575221239
RB POS 0.000110619469027
RB '' 0.000110619469027
RB VBP 0.00486725663717
RB WDT 0.000110619469027
RB JJ 0.0149336283186
RB WP 0.000110619469027
RB VBZ 0.00586283185841
RB DT 0.00851769911504
RB RP 0.000110619469027
RB $ 0.00176991150442
RB NN 0.00254424778761
RB FW 0.000110619469027
RB , 0.0128318584071
RB . 0.00685840707965
RB TO 0.00154867256637
RB PRP 0.000221238938053
RB RB 0.0109513274336
RB -LRB- 0.000110619469027
RB : 0.000663716814159
RB NNS 0.000884955752212
RB NNP 0.000553097345133
RB VB 0.0133849557522
RB WRB 0.000221238938053
RB CC 0.000884955752212
RB LS 0.000110619469027
RB PDT 0.000110619469027
RB RBS 0.000110619469027
RB RBR 0.00110619469027
RB CD 0.00453539823009
RB -NONE- 0.00420353982301
RB T 0.000110619469027
RB IN 0.0178097345133
RB WP$ 0.000110619469027
RB MD 0.00154867256637
RB NNPS 0.000110619469027
RB -RRB- 0.000110619469027
RB JJS 0.000110619469027
RB S 0.000110619469027
RB SYM 0.000110619469027
RB UH 0.000110619469027
RB JJR 0.00143805309735
RB EX 0.000110619469027
-LRB- PRP$ 0.000128435653737
-LRB- VBG 0.000128435653737
-LRB- VBD 0.000128435653737
-LRB- `` 0.000128435653737
-LRB- VBN 0.000256871307475
-LRB- POS 0.000128435653737
-LRB- '' 0.000128435653737
-LRB- VBP 0.000128435653737
-LRB- WDT 0.000128435653737
-LRB- JJ 0.000128435653737
-LRB- WP 0.000128435653737
-LRB- VBZ 0.000128435653737
-LRB- DT 0.000770613922425
-LRB- RP 0.000128435653737
-LRB- $ 0.000770613922425
-LRB- NN 0.000128435653737
-LRB- FW 0.000128435653737
-LRB- , 0.000128435653737
-LRB- . 0.000128435653737
-LRB- TO 0.000128435653737
-LRB- PRP 0.000256871307475
-LRB- RB 0.000128435653737
-LRB- -LRB- 0.000128435653737
-LRB- : 0.000128435653737
-LRB- NNS 0.000128435653737
-LRB- NNP 0.00166966349859
-LRB- VB 0.000128435653737
-LRB- WRB 0.000128435653737
-LRB- CC 0.000128435653737
-LRB- LS 0.000128435653737
-LRB- PDT 0.000128435653737
-LRB- RBS 0.000128435653737
-LRB- RBR 0.000128435653737
-LRB- CD 0.00051374261495
-LRB- -NONE- 0.000128435653737
-LRB- T 0.000128435653737
-LRB- IN 0.000899049576162
-LRB- WP$ 0.000128435653737
-LRB- MD 0.000128435653737
-LRB- NNPS 0.000128435653737
-LRB- -RRB- 0.000128435653737
-LRB- JJS 0.000128435653737
-LRB- S 0.000128435653737
-LRB- SYM 0.000128435653737
-LRB- UH 0.000128435653737
-LRB- JJR 0.000128435653737
-LRB- EX 0.000128435653737
: PRP$ 0.000125691302162
: VBG 0.000251382604324
: VBD 0.000879839115133
: `` 0.00125691302162
: VBN 0.000251382604324
: POS 0.000125691302162
: '' 0.000125691302162
: VBP 0.000628456510809
: WDT 0.000125691302162
: JJ 0.00301659125189
: WP 0.000502765208648
: VBZ 0.000251382604324
: DT 0.00364504776269
: RP 0.000125691302162
: $ 0.000377073906486
: NN 0.00125691302162
: FW 0.000125691302162
: , 0.000125691302162
: . 0.000377073906486
: TO 0.000125691302162
: PRP 0.000628456510809
: RB 0.000754147812971
: -LRB- 0.000125691302162
: : 0.000125691302162
: NNS 0.0010055304173
: NNP 0.00289089994972
: VB 0.000125691302162
: WRB 0.000251382604324
: CC 0.00150829562594
: LS 0.000377073906486
: PDT 0.000125691302162
: RBS 0.000125691302162
: RBR 0.000125691302162
: CD 0.000879839115133
: -NONE- 0.00113122171946
: T 0.00251382604324
: IN 0.00326797385621
: WP$ 0.000125691302162
: MD 0.000502765208648
: NNPS 0.000125691302162
: -RRB- 0.000125691302162
: JJS 0.000125691302162
: S 0.000125691302162
: SYM 0.000125691302162
: UH 0.000125691302162
: JJR 0.000251382604324
: EX 0.000125691302162
NNS PRP$ 9.60430272762e-05
NNS VBG 0.00278524779101
NNS VBD 0.0171917018824
NNS `` 0.000480215136381
NNS VBN 0.00461006530926
NNS POS 0.00297733384556
NNS '' 0.00115251632731
NNS VBP 0.0250672301191
NNS WDT 0.00432193622743
NNS JJ 0.00461006530926
NNS WP 0.00249711870918
NNS VBZ 0.00268920476373
NNS DT 0.00288129081829
NNS RP 9.60430272762e-05
NNS $ 9.60430272762e-05
NNS NN 0.00518632347292
NNS FW 9.60430272762e-05
NNS , 0.0315021129466
NNS . 0.0311179408375
NNS TO 0.00518632347292
NNS PRP 0.000480215136381
NNS RB 0.00653092585478
NNS -LRB- 0.00105647330004
NNS : 0.00451402228198
NNS NNS 0.0016327314637
NNS NNP 9.60430272762e-05
NNS VB 0.000576258163657
NNS WRB 0.000864387245486
NNS CC 0.0152708413369
NNS LS 9.60430272762e-05
NNS PDT 9.60430272762e-05
NNS RBS 9.60430272762e-05
NNS RBR 0.000672301190934
NNS CD 0.000192086054552
NNS -NONE- 0.0106607760277
NNS T 9.60430272762e-05
NNS IN 0.0631963119478
NNS WP$ 0.000192086054552
NNS MD 0.00729927007299
NNS NNPS 9.60430272762e-05
NNS -RRB- 0.000672301190934
NNS JJS 9.60430272762e-05
NNS S 9.60430272762e-05
NNS SYM 9.60430272762e-05
NNS UH 9.60430272762e-05
NNS JJR 0.000384172109105
NNS EX 9.60430272762e-05
NNP PRP$ 8.26514587982e-05
NNP VBG 0.000330605835193
NNP VBD 0.0230597570047
NNP `` 0.000165302917596
NNP VBN 0.000330605835193
NNP POS 0.0181006694768
NNP '' 0.00190098355236
NNP VBP 0.00157037771717
NNP WDT 8.26514587982e-05
NNP JJ 0.00289280105794
NNP WP 0.000330605835193
NNP VBZ 0.0147946111249
NNP DT 0.00107446896438
NNP RP 8.26514587982e-05
NNP $ 8.26514587982e-05
NNP NN 0.0183486238532
NNP FW 8.26514587982e-05
NNP , 0.0527316307133
NNP . 0.0193404413588
NNP TO 0.00181833209356
NNP PRP 0.000247954376395
NNP RB 0.00289280105794
NNP -LRB- 0.000495908752789
NNP : 0.00231424084635
NNP NNS 0.00743863129184
NNP NNP 0.141416646004
NNP VB 0.000330605835193
NNP WRB 8.26514587982e-05
NNP CC 0.0146293082073
NNP LS 8.26514587982e-05
NNP PDT 8.26514587982e-05
NNP RBS 8.26514587982e-05
NNP RBR 8.26514587982e-05
NNP CD 0.00562029919828
NNP -NONE- 0.00206628646996
NNP T 8.26514587982e-05
NNP IN 0.0189271840648
NNP WP$ 8.26514587982e-05
NNP MD 0.00330605835193
NNP NNPS 0.00438052731631
NNP -RRB- 0.000743863129184
NNP JJS 8.26514587982e-05
NNP S 8.26514587982e-05
NNP SYM 8.26514587982e-05
NNP UH 8.26514587982e-05
NNP JJR 8.26514587982e-05
NNP EX 8.26514587982e-05
VB PRP$ 0.00511189367261
VB VBG 0.000795183460184
VB VBD 0.000227195274338
VB `` 0.000567988185846
VB VBN 0.0105645802567
VB POS 0.000113597637169
VB '' 0.000340792911507
VB VBP 0.000113597637169
VB WDT 0.000113597637169
VB JJ 0.0113597637169
VB WP 0.000227195274338
VB VBZ 0.000113597637169
VB DT 0.0280586163808
VB RP 0.00420311257526
VB $ 0.00136317164603
VB NN 0.00658866295581
VB FW 0.000113597637169
VB , 0.0014767692832
VB . 0.00181756219471
VB TO 0.00193115983188
VB PRP 0.00408951493809
VB RB 0.00386231966375
VB -LRB- 0.000113597637169
VB : 0.000340792911507
VB NNS 0.00545268658412
VB NNP 0.00499829603544
VB VB 0.000340792911507
VB WRB 0.000454390548677
VB CC 0.000908781097353
VB LS 0.000113597637169
VB PDT 0.000113597637169
VB RBS 0.000227195274338
VB RBR 0.00102237873452
VB CD 0.00204475746904
VB -NONE- 0.0103373849824
VB T 0.000113597637169
VB IN 0.0130637282745
VB WP$ 0.000113597637169
VB MD 0.000113597637169
VB NNPS 0.000113597637169
VB -RRB- 0.000113597637169
VB JJS 0.000113597637169
VB S 0.000113597637169
VB SYM 0.000113597637169
VB UH 0.000113597637169
VB JJR 0.000795183460184
VB EX 0.000113597637169
WRB PRP$ 0.000255721774709
WRB VBG 0.000127860887355
WRB VBD 0.000127860887355
WRB `` 0.000127860887355
WRB VBN 0.000127860887355
WRB POS 0.000127860887355
WRB '' 0.000127860887355
WRB VBP 0.000127860887355
WRB WDT 0.000127860887355
WRB JJ 0.00102288709884
WRB WP 0.000127860887355
WRB VBZ 0.000127860887355
WRB DT 0.00358010484593
WRB RP 0.000127860887355
WRB $ 0.000127860887355
WRB NN 0.000767165324127
WRB FW 0.000127860887355
WRB , 0.000127860887355
WRB . 0.000127860887355
WRB TO 0.000127860887355
WRB PRP 0.00166219153561
WRB RB 0.000383582662064
WRB -LRB- 0.000127860887355
WRB : 0.000127860887355
WRB NNS 0.000767165324127
WRB NNP 0.00115074798619
WRB VB 0.000127860887355
WRB WRB 0.000127860887355
WRB CC 0.000127860887355
WRB LS 0.000127860887355
WRB PDT 0.000127860887355
WRB RBS 0.000127860887355
WRB RBR 0.000127860887355
WRB CD 0.000127860887355
WRB -NONE- 0.000127860887355
WRB T 0.000127860887355
WRB IN 0.000255721774709
WRB WP$ 0.000127860887355
WRB MD 0.000127860887355
WRB NNPS 0.000127860887355
WRB -RRB- 0.000127860887355
WRB JJS 0.000127860887355
WRB S 0.000127860887355
WRB SYM 0.000127860887355
WRB UH 0.000127860887355
WRB JJR 0.000127860887355
WRB EX 0.000127860887355
CC PRP$ 0.00137899333487
CC VBG 0.00275798666973
CC VBD 0.00528614111698
CC `` 0.000114916111239
CC VBN 0.00137899333487
CC POS 0.000114916111239
CC '' 0.000114916111239
CC VBP 0.0014939094461
CC WDT 0.000114916111239
CC JJ 0.0120661916801
CC WP 0.000344748333716
CC VBZ 0.00264307055849
CC DT 0.0104573661227
CC RP 0.000114916111239
CC $ 0.00160882555734
CC NN 0.0132153527925
CC FW 0.000114916111239
CC , 0.00126407722363
CC . 0.000114916111239
CC TO 0.000689496667433
CC PRP 0.0056308894507
CC RB 0.00609055389566
CC -LRB- 0.000114916111239
CC : 0.000114916111239
CC NNS 0.00804412778672
CC NNP 0.0205699839117
CC VB 0.00367731555964
CC WRB 0.000574580556194
CC CC 0.000114916111239
CC LS 0.000114916111239
CC PDT 0.000114916111239
CC RBS 0.000114916111239
CC RBR 0.000114916111239
CC CD 0.00333256722593
CC -NONE- 0.00160882555734
CC T 0.000114916111239
CC IN 0.00517122500575
CC WP$ 0.000114916111239
CC MD 0.000804412778672
CC NNPS 0.000229832222478
CC -RRB- 0.000114916111239
CC JJS 0.000459664444955
CC S 0.000114916111239
CC SYM 0.000114916111239
CC UH 0.000114916111239
CC JJR 0.000689496667433
CC EX 0.000689496667433
LS PRP$ 0.000128865979381
LS VBG 0.000128865979381
LS VBD 0.000128865979381
LS `` 0.000128865979381
LS VBN 0.000128865979381
LS POS 0.000128865979381
LS '' 0.000128865979381
LS VBP 0.000128865979381
LS WDT 0.000128865979381
LS JJ 0.000128865979381
LS WP 0.000128865979381
LS VBZ 0.000128865979381
LS DT 0.000128865979381
LS RP 0.000128865979381
LS $ 0.000128865979381
LS NN 0.000128865979381
LS FW 0.000128865979381
LS , 0.000128865979381
LS . 0.000644329896907
LS TO 0.000128865979381
LS PRP 0.000128865979381
LS RB 0.000128865979381
LS -LRB- 0.000128865979381
LS : 0.000257731958763
LS NNS 0.000128865979381
LS NNP 0.000128865979381
LS VB 0.000128865979381
LS WRB 0.000128865979381
LS CC 0.000128865979381
LS LS 0.000128865979381
LS PDT 0.000128865979381
LS RBS 0.000128865979381
LS RBR 0.000128865979381
LS CD 0.000128865979381
LS -NONE- 0.000128865979381
LS T 0.000128865979381
LS IN 0.000128865979381
LS WP$ 0.000128865979381
LS MD 0.000128865979381
LS NNPS 0.000128865979381
LS -RRB- 0.000386597938144
LS JJS 0.000128865979381
LS S 0.000128865979381
LS SYM 0.000128865979381
LS UH 0.000128865979381
LS JJR 0.000128865979381
LS EX 0.000128865979381
PDT PRP$ 0.000128915817971
PDT VBG 0.000128915817971
PDT VBD 0.000128915817971
PDT `` 0.000128915817971
PDT VBN 0.000128915817971
PDT POS 0.000128915817971
PDT '' 0.000128915817971
PDT VBP 0.000128915817971
PDT WDT 0.000128915817971
PDT JJ 0.000128915817971
PDT WP 0.000128915817971
PDT VBZ 0.000128915817971
PDT DT 0.000644579089854
PDT RP 0.000128915817971
PDT $ 0.000128915817971
PDT NN 0.000128915817971
PDT FW 0.000128915817971
PDT , 0.000128915817971
PDT . 0.000128915817971
PDT TO 0.000128915817971
PDT PRP 0.000128915817971
PDT RB 0.000128915817971
PDT -LRB- 0.000128915817971
PDT : 0.000128915817971
PDT NNS 0.000128915817971
PDT NNP 0.000128915817971
PDT VB 0.000128915817971
PDT WRB 0.000128915817971
PDT CC 0.000128915817971
PDT LS 0.000128915817971
PDT PDT 0.000128915817971
PDT RBS 0.000128915817971
PDT RBR 0.000128915817971
PDT CD 0.000128915817971
PDT -NONE- 0.000128915817971
PDT T 0.000128915817971
PDT IN 0.000128915817971
PDT WP$ 0.000128915817971
PDT MD 0.000128915817971
PDT NNPS 0.000128915817971
PDT -RRB- 0.000128915817971
PDT JJS 0.000128915817971
PDT S 0.000128915817971
PDT SYM 0.000128915817971
PDT UH 0.000128915817971
PDT JJR 0.000128915817971
PDT EX 0.000128915817971
RBS PRP$ 0.000128766417718
RBS VBG 0.000128766417718
RBS VBD 0.000128766417718
RBS `` 0.000128766417718
RBS VBN 0.000128766417718
RBS POS 0.000128766417718
RBS '' 0.000128766417718
RBS VBP 0.000128766417718
RBS WDT 0.000128766417718
RBS JJ 0.00115889775946
RBS WP 0.000128766417718
RBS VBZ 0.000128766417718
RBS DT 0.000128766417718
RBS RP 0.000128766417718
RBS $ 0.000128766417718
RBS NN 0.000128766417718
RBS FW 0.000128766417718
RBS , 0.000128766417718
RBS . 0.000128766417718
RBS TO 0.000128766417718
RBS PRP 0.000128766417718
RBS RB 0.000643832088591
RBS -LRB- 0.000128766417718
RBS : 0.000128766417718
RBS NNS 0.000128766417718
RBS NNP 0.000128766417718
RBS VB 0.000128766417718
RBS WRB 0.000128766417718
RBS CC 0.000128766417718
RBS LS 0.000128766417718
RBS PDT 0.000128766417718
RBS RBS 0.000128766417718
RBS RBR 0.000128766417718
RBS CD 0.000128766417718
RBS -NONE- 0.000128766417718
RBS T 0.000128766417718
RBS IN 0.000257532835437
RBS WP$ 0.000128766417718
RBS MD 0.000128766417718
RBS NNPS 0.000128766417718
RBS -RRB- 0.000128766417718
RBS JJS 0.000128766417718
RBS S 0.000128766417718
RBS SYM 0.000128766417718
RBS UH 0.000128766417718
RBS JJR 0.000128766417718
RBS EX 0.000128766417718
RBR PRP$ 0.000127909951394
RBR VBG 0.000127909951394
RBR VBD 0.000127909951394
RBR `` 0.000127909951394
RBR VBN 0.000511639805577
RBR POS 0.000127909951394
RBR '' 0.000127909951394
RBR VBP 0.000127909951394
RBR WDT 0.000127909951394
RBR JJ 0.00281401893067
RBR WP 0.000127909951394
RBR VBZ 0.000127909951394
RBR DT 0.000255819902788
RBR RP 0.000127909951394
RBR $ 0.000127909951394
RBR NN 0.000127909951394
RBR FW 0.000127909951394
RBR , 0.000255819902788
RBR . 0.000639549756971
RBR TO 0.000127909951394
RBR PRP 0.000127909951394
RBR RB 0.00140700946534
RBR -LRB- 0.000127909951394
RBR : 0.000127909951394
RBR NNS 0.000127909951394
RBR NNP 0.000127909951394
RBR VB 0.000255819902788
RBR WRB 0.000127909951394
RBR CC 0.000127909951394
RBR LS 0.000127909951394
RBR PDT 0.000127909951394
RBR RBS 0.000127909951394
RBR RBR 0.000127909951394
RBR CD 0.000127909951394
RBR -NONE- 0.000255819902788
RBR T 0.000127909951394
RBR IN 0.00306983883346
RBR WP$ 0.000127909951394
RBR MD 0.000127909951394
RBR NNPS 0.000127909951394
RBR -RRB- 0.000127909951394
RBR JJS 0.000127909951394
RBR S 0.000127909951394
RBR SYM 0.000127909951394
RBR UH 0.000127909951394
RBR JJR 0.000127909951394
RBR EX 0.000127909951394
CD PRP$ 0.000111086425239
CD VBG 0.000444345700955
CD VBD 0.000777604976672
CD `` 0.000111086425239
CD VBN 0.000444345700955
CD POS 0.000111086425239
CD '' 0.000222172850478
CD VBP 0.000222172850478
CD WDT 0.000333259275717
CD JJ 0.00588758053766
CD WP 0.000111086425239
CD VBZ 0.000444345700955
CD DT 0.000333259275717
CD RP 0.000111086425239
CD $ 0.000111086425239
CD NN 0.0238835814263
CD FW 0.000111086425239
CD , 0.00855365474339
CD . 0.00788713619196
CD TO 0.00322150633193
CD PRP 0.000111086425239
CD RB 0.000555432126194
CD -LRB- 0.000111086425239
CD : 0.000888691401911
CD NNS 0.0243279271273
CD NNP 0.00311041990669
CD VB 0.000111086425239
CD WRB 0.000111086425239
CD CC 0.00255498778049
CD LS 0.000111086425239
CD PDT 0.000111086425239
CD RBS 0.000111086425239
CD RBR 0.000111086425239
CD CD 0.0213285936459
CD -NONE- 0.0288824705621
CD T 0.000111086425239
CD IN 0.00666518551433
CD WP$ 0.000111086425239
CD MD 0.000111086425239
CD NNPS 0.000111086425239
CD -RRB- 0.000111086425239
CD JJS 0.000222172850478
CD S 0.000111086425239
CD SYM 0.000111086425239
CD UH 0.000111086425239
CD JJR 0.000111086425239
CD EX 0.000111086425239
-NONE- PRP$ 0.00159459712973
-NONE- VBG 0.0212925616734
-NONE- VBD 0.00825438514211
-NONE- `` 0.000844198480443
-NONE- VBN 0.00290779476597
-NONE- POS 9.37998311603e-05
-NONE- '' 9.37998311603e-05
-NONE- VBP 0.0073163868305
-NONE- WDT 9.37998311603e-05
-NONE- JJ 0.00431479223337
-NONE- WP 9.37998311603e-05
-NONE- VBZ 0.0112559797392
-NONE- DT 0.0154769721415
-NONE- RP 0.000750398649282
-NONE- $ 0.000187599662321
-NONE- NN 0.00403339273989
-NONE- FW 9.37998311603e-05
-NONE- , 0.0142575743364
-NONE- . 0.0239189569459
-NONE- TO 0.0481193133852
-NONE- PRP 0.0174467685958
-NONE- RB 0.00600318919426
-NONE- -LRB- 0.000187599662321
-NONE- : 0.00150079729856
-NONE- NNS 0.00178219679205
-NONE- NNP 0.0127567770378
-NONE- VB 0.00262639527249
-NONE- WRB 0.000281399493481
-NONE- CC 0.00234499577901
-NONE- LS 9.37998311603e-05
-NONE- PDT 9.37998311603e-05
-NONE- RBS 9.37998311603e-05
-NONE- RBR 0.000562798986962
-NONE- CD 0.000375199324641
-NONE- -NONE- 0.0206359628553
-NONE- T 9.37998311603e-05
-NONE- IN 0.039771128412
-NONE- WP$ 9.37998311603e-05
-NONE- MD 0.00328299409061
-NONE- NNPS 9.37998311603e-05
-NONE- -RRB- 0.000844198480443
-NONE- JJS 9.37998311603e-05
-NONE- S 9.37998311603e-05
-NONE- SYM 9.37998311603e-05
-NONE- UH 9.37998311603e-05
-NONE- JJR 0.000375199324641
-NONE- EX 0.000468999155802
T PRP$ 0.000105252078729
T VBG 0.000105252078729
T VBD 0.000105252078729
T `` 0.000105252078729
T VBN 0.000105252078729
T POS 0.000105252078729
T '' 0.000105252078729
T VBP 0.000105252078729
T WDT 0.000105252078729
T JJ 0.000105252078729
T WP 0.000105252078729
T VBZ 0.000105252078729
T DT 0.000105252078729
T RP 0.000105252078729
T $ 0.000105252078729
T NN 0.000105252078729
T FW 0.000105252078729
T , 0.000105252078729
T . 0.000105252078729
T TO 0.000105252078729
T PRP 0.000105252078729
T RB 0.000105252078729
T -LRB- 0.000105252078729
T : 0.000105252078729
T NNS 0.000105252078729
T NNP 0.000105252078729
T VB 0.000105252078729
T WRB 0.000105252078729
T CC 0.000105252078729
T LS 0.000105252078729
T PDT 0.000105252078729
T RBS 0.000105252078729
T RBR 0.000105252078729
T CD 0.000105252078729
T -NONE- 0.000105252078729
T T 0.000105252078729
T IN 0.000105252078729
T WP$ 0.000105252078729
T MD 0.000105252078729
T NNPS 0.000105252078729
T -RRB- 0.000105252078729
T JJS 0.000105252078729
T S 0.184085885696
T SYM 0.000105252078729
T UH 0.000105252078729
T JJR 0.000105252078729
T EX 0.000105252078729
IN PRP$ 0.012441295213
IN VBG 0.00123589025295
IN VBD 0.000164785367059
IN `` 0.00280135124001
IN VBN 0.000741534151767
IN POS 8.23926835297e-05
IN '' 8.23926835297e-05
IN VBP 8.23926835297e-05
IN WDT 0.00156546098706
IN JJ 0.0362527807531
IN WP 0.000659141468238
IN VBZ 0.000164785367059
IN DT 0.113866688638
IN RP 8.23926835297e-05
IN $ 0.0083216610365
IN NN 0.0384773832084
IN FW 8.23926835297e-05
IN , 0.000247178050589
IN . 0.000329570734119
IN TO 0.000329570734119
IN PRP 0.0113701903271
IN RB 0.00477877564472
IN -LRB- 8.23926835297e-05
IN : 8.23926835297e-05
IN NNS 0.025047375793
IN NNP 0.0593227321414
IN VB 8.23926835297e-05
IN WRB 0.000411963417649
IN CC 8.23926835297e-05
IN LS 8.23926835297e-05
IN PDT 0.000329570734119
IN RBS 8.23926835297e-05
IN RBR 0.000329570734119
IN CD 0.0225755952871
IN -NONE- 0.011040619593
IN T 0.000164785367059
IN IN 0.00560270248002
IN WP$ 8.23926835297e-05
IN MD 8.23926835297e-05
IN NNPS 0.000741534151767
IN -RRB- 8.23926835297e-05
IN JJS 0.00189503172118
IN S 8.23926835297e-05
IN SYM 8.23926835297e-05
IN UH 8.23926835297e-05
IN JJR 0.00205981708824
IN EX 0.000411963417649
WP$ PRP$ 0.000128932439402
WP$ VBG 0.000128932439402
WP$ VBD 0.000128932439402
WP$ `` 0.000128932439402
WP$ VBN 0.000128932439402
WP$ POS 0.000128932439402
WP$ '' 0.000128932439402
WP$ VBP 0.000128932439402
WP$ WDT 0.000128932439402
WP$ JJ 0.000128932439402
WP$ WP 0.000128932439402
WP$ VBZ 0.000128932439402
WP$ DT 0.000128932439402
WP$ RP 0.000128932439402
WP$ $ 0.000128932439402
WP$ NN 0.000257864878804
WP$ FW 0.000128932439402
WP$ , 0.000128932439402
WP$ . 0.000128932439402
WP$ TO 0.000128932439402
WP$ PRP 0.000128932439402
WP$ RB 0.000128932439402
WP$ -LRB- 0.000128932439402
WP$ : 0.000128932439402
WP$ NNS 0.000386797318205
WP$ NNP 0.000128932439402
WP$ VB 0.000128932439402
WP$ WRB 0.000128932439402
WP$ CC 0.000128932439402
WP$ LS 0.000128932439402
WP$ PDT 0.000128932439402
WP$ RBS 0.000128932439402
WP$ RBR 0.000128932439402
WP$ CD 0.000128932439402
WP$ -NONE- 0.000128932439402
WP$ T 0.000128932439402
WP$ IN 0.000128932439402
WP$ WP$ 0.000128932439402
WP$ MD 0.000128932439402
WP$ NNPS 0.000128932439402
WP$ -RRB- 0.000128932439402
WP$ JJS 0.000128932439402
WP$ S 0.000128932439402
WP$ SYM 0.000128932439402
WP$ UH 0.000128932439402
WP$ JJR 0.000128932439402
WP$ EX 0.000128932439402
MD PRP$ 0.000123107226394
MD VBG 0.000123107226394
MD VBD 0.000123107226394
MD `` 0.000246214452788
MD VBN 0.000123107226394
MD POS 0.000123107226394
MD '' 0.000123107226394
MD VBP 0.000123107226394
MD WDT 0.000123107226394
MD JJ 0.000123107226394
MD WP 0.000123107226394
MD VBZ 0.000123107226394
MD DT 0.000123107226394
MD RP 0.000123107226394
MD $ 0.000123107226394
MD NN 0.000123107226394
MD FW 0.000123107226394
MD , 0.000123107226394
MD . 0.000123107226394
MD TO 0.000123107226394
MD PRP 0.000123107226394
MD RB 0.00664779022529
MD -LRB- 0.000123107226394
MD : 0.000123107226394
MD NNS 0.000123107226394
MD NNP 0.000123107226394
MD VB 0.0389018835406
MD WRB 0.000123107226394
MD CC 0.000123107226394
MD LS 0.000123107226394
MD PDT 0.000123107226394
MD RBS 0.000123107226394
MD RBR 0.000123107226394
MD CD 0.000123107226394
MD -NONE- 0.000246214452788
MD T 0.000123107226394
MD IN 0.000123107226394
MD WP$ 0.000123107226394
MD MD 0.000123107226394
MD NNPS 0.000123107226394
MD -RRB- 0.000123107226394
MD JJS 0.000123107226394
MD S 0.000123107226394
MD SYM 0.000123107226394
MD UH 0.000123107226394
MD JJR 0.000123107226394
MD EX 0.000123107226394
NNPS PRP$ 0.000127909951394
NNPS VBG 0.000127909951394
NNPS VBD 0.000511639805577
NNPS `` 0.000127909951394
NNPS VBN 0.000127909951394
NNPS POS 0.00102327961115
NNPS '' 0.000127909951394
NNPS VBP 0.000767459708365
NNPS WDT 0.000127909951394
NNPS JJ 0.000127909951394
NNPS WP 0.000127909951394
NNPS VBZ 0.000383729854183
NNPS DT 0.000127909951394
NNPS RP 0.000127909951394
NNPS $ 0.000127909951394
NNPS NN 0.000255819902788
NNPS FW 0.000127909951394
NNPS , 0.000767459708365
NNPS . 0.00089536965976
NNPS TO 0.000127909951394
NNPS PRP 0.000127909951394
NNPS RB 0.000127909951394
NNPS -LRB- 0.000127909951394
NNPS : 0.000511639805577
NNPS NNS 0.000127909951394
NNPS NNP 0.00179073931952
NNPS VB 0.000127909951394
NNPS WRB 0.000127909951394
NNPS CC 0.00102327961115
NNPS LS 0.000127909951394
NNPS PDT 0.000127909951394
NNPS RBS 0.000127909951394
NNPS RBR 0.000127909951394
NNPS CD 0.000127909951394
NNPS -NONE- 0.000127909951394
NNPS T 0.000127909951394
NNPS IN 0.00153491941673
NNPS WP$ 0.000127909951394
NNPS MD 0.000383729854183
NNPS NNPS 0.000127909951394
NNPS -RRB- 0.000127909951394
NNPS JJS 0.000127909951394
NNPS S 0.000127909951394
NNPS SYM 0.000127909951394
NNPS UH 0.000127909951394
NNPS JJR 0.000127909951394
NNPS EX 0.000127909951394
-RRB- PRP$ 0.000128419160139
-RRB- VBG 0.000128419160139
-RRB- VBD 0.000256838320277
-RRB- `` 0.000128419160139
-RRB- VBN 0.000128419160139
-RRB- POS 0.000128419160139
-RRB- '' 0.000128419160139
-RRB- VBP 0.000128419160139
-RRB- WDT 0.000128419160139
-RRB- JJ 0.000128419160139
-RRB- WP 0.000128419160139
-RRB- VBZ 0.000256838320277
-RRB- DT 0.000128419160139
-RRB- RP 0.000128419160139
-RRB- $ 0.000128419160139
-RRB- NN 0.000256838320277
-RRB- FW 0.000128419160139
-RRB- , 0.00179786824194
-RRB- . 0.000898934120971
-RRB- TO 0.000128419160139
-RRB- PRP 0.000128419160139
-RRB- RB 0.000385257480416
-RRB- -LRB- 0.000128419160139
-RRB- : 0.000385257480416
-RRB- NNS 0.000128419160139
-RRB- NNP 0.000128419160139
-RRB- VB 0.000128419160139
-RRB- WRB 0.000128419160139
-RRB- CC 0.000256838320277
-RRB- LS 0.000128419160139
-RRB- PDT 0.000128419160139
-RRB- RBS 0.000128419160139
-RRB- RBR 0.000128419160139
-RRB- CD 0.000128419160139
-RRB- -NONE- 0.000256838320277
-RRB- T 0.000513676640555
-RRB- IN 0.000513676640555
-RRB- WP$ 0.000128419160139
-RRB- MD 0.000128419160139
-RRB- NNPS 0.000128419160139
-RRB- -RRB- 0.000128419160139
-RRB- JJS 0.000128419160139
-RRB- S 0.000128419160139
-RRB- SYM 0.000128419160139
-RRB- UH 0.000128419160139
-RRB- JJR 0.000128419160139
-RRB- EX 0.000128419160139
JJS PRP$ 0.000127860887355
JJS VBG 0.000255721774709
JJS VBD 0.000127860887355
JJS `` 0.000127860887355
JJS VBN 0.000127860887355
JJS POS 0.000127860887355
JJS '' 0.000127860887355
JJS VBP 0.000127860887355
JJS WDT 0.000127860887355
JJS JJ 0.00166219153561
JJS WP 0.000127860887355
JJS VBZ 0.000127860887355
JJS DT 0.000255721774709
JJS RP 0.000127860887355
JJS $ 0.000127860887355
JJS NN 0.00242935685974
JJS FW 0.000127860887355
JJS , 0.000127860887355
JJS . 0.000383582662064
JJS TO 0.000127860887355
JJS PRP 0.000127860887355
JJS RB 0.000511443549418
JJS -LRB- 0.000127860887355
JJS : 0.000127860887355
JJS NNS 0.00179005242296
JJS NNP 0.000127860887355
JJS VB 0.000127860887355
JJS WRB 0.000127860887355
JJS CC 0.000127860887355
JJS LS 0.000127860887355
JJS PDT 0.000127860887355
JJS RBS 0.000127860887355
JJS RBR 0.000127860887355
JJS CD 0.000511443549418
JJS -NONE- 0.000255721774709
JJS T 0.000127860887355
JJS IN 0.00191791331032
JJS WP$ 0.000127860887355
JJS MD 0.000127860887355
JJS NNPS 0.000127860887355
JJS -RRB- 0.000127860887355
JJS JJS 0.000127860887355
JJS S 0.000127860887355
JJS SYM 0.000127860887355
JJS UH 0.000127860887355
JJS JJR 0.000127860887355
JJS EX 0.000127860887355
S PRP$ 0.00105552037154
S VBG 0.00073886426008
S VBD 0.000105552037154
S `` 0.0175216381676
S VBN 0.000316656111463
S POS 0.000105552037154
S '' 0.000105552037154
S VBP 0.000105552037154
S WDT 0.000105552037154
S JJ 0.00612201815495
S WP 0.00073886426008
S VBZ 0.000633312222926
S DT 0.0431707831961
S RP 0.000105552037154
S $ 0.000105552037154
S NN 0.00517204982056
S FW 0.000105552037154
S , 0.000105552037154
S . 0.000105552037154
S TO 0.000211104074309
S PRP 0.0128773485328
S RB 0.00844416297235
S -LRB- 0.000422208148617
S : 0.000527760185772
S NNS 0.00812750686088
S NNP 0.0348321722609
S VB 0.000105552037154
S WRB 0.00126662444585
S CC 0.00949968334389
S LS 0.00073886426008
S PDT 0.000105552037154
S RBS 0.000105552037154
S RBR 0.000211104074309
S CD 0.00168883259447
S -NONE- 0.00337766518894
S T 0.000105552037154
S IN 0.0249102807684
S WP$ 0.000105552037154
S MD 0.000105552037154
S NNPS 0.000211104074309
S -RRB- 0.000105552037154
S JJS 0.000105552037154
S S 0.000105552037154
S SYM 0.000105552037154
S UH 0.000105552037154
S JJR 0.000844416297235
S EX 0.00073886426008
SYM PRP$ 0.000128982329421
SYM VBG 0.000128982329421
SYM VBD 0.000128982329421
SYM `` 0.000128982329421
SYM VBN 0.000128982329421
SYM POS 0.000128982329421
SYM '' 0.000128982329421
SYM VBP 0.000128982329421
SYM WDT 0.000128982329421
SYM JJ 0.000128982329421
SYM WP 0.000128982329421
SYM VBZ 0.000128982329421
SYM DT 0.000128982329421
SYM RP 0.000128982329421
SYM $ 0.000128982329421
SYM NN 0.000128982329421
SYM FW 0.000128982329421
SYM , 0.000128982329421
SYM . 0.000128982329421
SYM TO 0.000128982329421
SYM PRP 0.000128982329421
SYM RB 0.000128982329421
SYM -LRB- 0.000128982329421
SYM : 0.000128982329421
SYM NNS 0.000128982329421
SYM NNP 0.000128982329421
SYM VB 0.000128982329421
SYM WRB 0.000128982329421
SYM CC 0.000128982329421
SYM LS 0.000128982329421
SYM PDT 0.000128982329421
SYM RBS 0.000128982329421
SYM RBR 0.000128982329421
SYM CD 0.000128982329421
SYM -NONE- 0.000128982329421
SYM T 0.000128982329421
SYM IN 0.000128982329421
SYM WP$ 0.000128982329421
SYM MD 0.000128982329421
SYM NNPS 0.000128982329421
SYM -RRB- 0.000128982329421
SYM JJS 0.000128982329421
SYM S 0.000128982329421
SYM SYM 0.000128982329421
SYM UH 0.000128982329421
SYM JJR 0.000128982329421
SYM EX 0.000128982329421
UH PRP$ 0.000128982329421
UH VBG 0.000128982329421
UH VBD 0.000128982329421
UH `` 0.000128982329421
UH VBN 0.000128982329421
UH POS 0.000128982329421
UH '' 0.000128982329421
UH VBP 0.000128982329421
UH WDT 0.000128982329421
UH JJ 0.000128982329421
UH WP 0.000128982329421
UH VBZ 0.000128982329421
UH DT 0.000128982329421
UH RP 0.000128982329421
UH $ 0.000128982329421
UH NN 0.000128982329421
UH FW 0.000128982329421
UH , 0.000128982329421
UH . 0.000128982329421
UH TO 0.000128982329421
UH PRP 0.000128982329421
UH RB 0.000128982329421
UH -LRB- 0.000128982329421
UH : 0.000128982329421
UH NNS 0.000128982329421
UH NNP 0.000128982329421
UH VB 0.000128982329421
UH WRB 0.000128982329421
UH CC 0.000128982329421
UH LS 0.000128982329421
UH PDT 0.000128982329421
UH RBS 0.000128982329421
UH RBR 0.000128982329421
UH CD 0.000128982329421
UH -NONE- 0.000128982329421
UH T 0.000128982329421
UH IN 0.000128982329421
UH WP$ 0.000128982329421
UH MD 0.000128982329421
UH NNPS 0.000128982329421
UH -RRB- 0.000128982329421
UH JJS 0.000128982329421
UH S 0.000128982329421
UH SYM 0.000128982329421
UH UH 0.000128982329421
UH JJR 0.000128982329421
UH EX 0.000128982329421
JJR PRP$ 0.000126887450831
JJR VBG 0.000126887450831
JJR VBD 0.000126887450831
JJR `` 0.000126887450831
JJR VBN 0.000126887450831
JJR POS 0.000126887450831
JJR '' 0.000126887450831
JJR VBP 0.000126887450831
JJR WDT 0.000126887450831
JJR JJ 0.00139576195914
JJR WP 0.000126887450831
JJR VBZ 0.000126887450831
JJR DT 0.000634437254156
JJR RP 0.000126887450831
JJR $ 0.000126887450831
JJR NN 0.00418728587743
JJR FW 0.000126887450831
JJR , 0.000380662352493
JJR . 0.000761324704987
JJR TO 0.000380662352493
JJR PRP 0.000126887450831
JJR RB 0.000126887450831
JJR -LRB- 0.000126887450831
JJR : 0.000126887450831
JJR NNS 0.00380662352493
JJR NNP 0.000380662352493
JJR VB 0.000126887450831
JJR WRB 0.000126887450831
JJR CC 0.000380662352493
JJR LS 0.000126887450831
JJR PDT 0.000126887450831
JJR RBS 0.000126887450831
JJR RBR 0.000126887450831
JJR CD 0.000126887450831
JJR -NONE- 0.000126887450831
JJR T 0.000126887450831
JJR IN 0.00520238548408
JJR WP$ 0.000126887450831
JJR MD 0.000126887450831
JJR NNPS 0.000126887450831
JJR -RRB- 0.000126887450831
JJR JJS 0.000126887450831
JJR S 0.000126887450831
JJR SYM 0.000126887450831
JJR UH 0.000126887450831
JJR JJR 0.000126887450831
JJR EX 0.000126887450831
EX PRP$ 0.000128336755647
EX VBG 0.000128336755647
EX VBD 0.000513347022587
EX `` 0.000128336755647
EX VBN 0.000128336755647
EX POS 0.000128336755647
EX '' 0.000128336755647
EX VBP 0.00128336755647
EX WDT 0.000128336755647
EX JJ 0.000128336755647
EX WP 0.000128336755647
EX VBZ 0.00295174537988
EX DT 0.000128336755647
EX RP 0.000128336755647
EX $ 0.000128336755647
EX NN 0.000128336755647
EX FW 0.000128336755647
EX , 0.000128336755647
EX . 0.000128336755647
EX TO 0.000128336755647
EX PRP 0.000128336755647
EX RB 0.000256673511294
EX -LRB- 0.000128336755647
EX : 0.000128336755647
EX NNS 0.000128336755647
EX NNP 0.000128336755647
EX VB 0.000128336755647
EX WRB 0.000128336755647
EX CC 0.000128336755647
EX LS 0.000128336755647
EX PDT 0.000128336755647
EX RBS 0.000128336755647
EX RBR 0.000128336755647
EX CD 0.000128336755647
EX -NONE- 0.000128336755647
EX T 0.000128336755647
EX IN 0.000128336755647
EX WP$ 0.000128336755647
EX MD 0.000641683778234
EX NNPS 0.000128336755647
EX -RRB- 0.000128336755647
EX JJS 0.000128336755647
EX S 0.000128336755647
EX SYM 0.000128336755647
EX UH 0.000128336755647
EX JJR 0.000128336755647
EX EX 0.000128336755647
In [ ]:
def viterbi(obs, states, start_p, trans_p, emit_p):
V = [{}]
path = {}
# Initialize base cases (t == 0)
for y in states:
V[0][y] = start_p[y] * emit_p[y].prob(obs[0])
path[y] = [y]
# Run Viterbi for t > 0
for t in range(1, len(obs)):
V.append({})
newpath = {}
for y in states:
(prob, state) = max((V[t-1][y0] * trans_p[y0].prob(y) * emit_p[y].prob(obs[t]), y0) for y0 in states)
V[t][y] = prob
newpath[y] = path[state] + [y]
# Don't need to remember the old paths
path = newpath
n = 0 # if only one element is observed max is sought in the initialization values
if len(obs) != 1:
n = t
(prob, state) = max((V[n][y], y) for y in states)
return (prob, path[state])
C_table = {}
for tag in dict_tags.keys():
C_table[tag] = set1_cpd_tags['<s>'].prob(tag)
C_table['<s>'] = 0.0016956311247603244
C_table['</s>'] = 0
test_obs = ['Pierre', 'Viken', ',' , '61' , "years", "old", "will", "join", "the", "board", "as", "a", "nonexecutive", "director", "Nov.", "29","."]
print viterbi(test_obs, full_tags, C_table, full_cpd_tags, full_cpd_word_tag )
In [ ]:
Content source: fpsluozi/CSE5525HW2
Similar notebooks: