In [1]:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import manifold
In [2]:
%matplotlib inline
In [3]:
import cPickle
In [4]:
classifier = cPickle.load(open("model/classifier.pickle"))
rawtext = cPickle.load(open("model/textdata/rawtext.pickle"))
BoW = cPickle.load(open("model/BoW.pickle"))
BoW_transformer = cPickle.load(open("model/BoW_transformer.pickle"))
In [5]:
labeled_texts = [[party, text] for (party, texts) in rawtext.items() for text in texts]
df = pd.DataFrame(labeled_texts, columns=["party", "text"])
df
Out[5]:
party
text
0
linke
\r\n danke. herr präsident! meine damen und...
1
linke
\r\n ich bin sofort fertig. dabei hatte her...
2
linke
\r\n ja, herr präsident, ich nehme die wahl g...
3
linke
\r\n herr präsident! meine wortmeldung ist na...
4
linke
\r\n herr präsident! liebe kolleginnen und ko...
5
linke
\r\n herr kollege silberhorn, sie nutzen ja, ...
6
linke
\r\n frau präsidentin! auch von uns alle gute...
7
linke
\r\n herr kollege oppermann, sie haben eben g...
8
linke
\r\n liebe kollegin haßelmann, die linke wäre...
9
linke
\r\n frau präsidentin, ich hatte bereits zu b...
10
linke
\r\n danke. ich möchte gerne etwas zu den a...
11
linke
\r\n herr präsident! meine damen und herren! ...
12
linke
\r\n herr präsident! meine damen und herren! ...
13
linke
\r\n sehr geehrter herr präsident! sehr geehr...
14
linke
\r\n es gibt momente, frau haßelmann, in dene...
15
linke
\r\n sehr geehrter herr präsident! meine dame...
16
linke
\r\n vielen dank, frau präsidentin und herr k...
17
linke
\r\n selbst in der bild heißt es unter der üb...
18
linke
\r\n frau präsidentin! liebe kolleginnen und ...
19
linke
\r\n ich komme zum schluss. die linke sagt:...
20
linke
\r\n das ist sehr nett, vielen dank. kolleg...
21
linke
\r\n vielen dank. wenn das so ist, wie sie ...
22
linke
\r\n vielen dank, herr präsident. es ist fü...
23
linke
\r\n herr staatssekretär, welche auswirkungen...
24
linke
\r\n danke schön. ich habe eine nachfrage, ...
25
linke
\r\n herr staatssekretär, wir sind tatsächlic...
26
linke
\r\n danke.\r\n vizepräsident peter hintze:\...
27
linke
\r\n wir wissen aus medienberichten sehr gut,...
28
linke
\r\n nein.\r\n vizepräsident peter hintze:\r...
29
linke
\r\n danke. sehr geehrter herr burgbacher, ...
...
...
...
10219
cdu
\r\n eine frage? ja, gerne.\r\n vizeprã¤side...
10220
cdu
\r\n ich darf feststellen, herr kollege osten...
10221
cdu
\r\n frau prã¤sidentin! verehrte kolleginnen ...
10222
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
10223
cdu
\r\n lieber herr kollege korte, ich hatte mir...
10224
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
10225
cdu
\r\n nein, ich bin gleich fertig.\r\n(jan kor...
10226
cdu
\r\n frau prã¤sidentin! meine damen und herre...
10227
cdu
\r\n frau prã¤sidentin! meine damen und herre...
10228
cdu
\r\n ja. â bitte, frau rã¼ffer.\r\n corinn...
10229
cdu
\r\n ich meine tatsã¤chlich, dass wir, wenn e...
10230
cdu
vor 15 jahren versetzten bilder von an bse er...
10231
cdu
das vierte gesetz zur ãnderung des rindfleis...
10232
cdu
erstens. wenn man die zahlreichen europã¤isch...
10233
cdu
die europã¤ische kapitalmarktunion ist das pr...
10234
cdu
bei diesem antrag der verehrten kollegen der ...
10235
cdu
der botschafter von honduras hat es erst kã¼r...
10236
cdu
\r\n sehr geehrte frau prã¤sidentin! liebe ko...
10237
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
10238
cdu
\r\n frau prã¤sidentin, mein letzter satz.\r\...
10239
cdu
\r\n sehr geehrte prã¤sidentin! liebe kollegi...
10240
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
10241
cdu
\r\n danke, ich mache es sehr schnell. â im...
10242
cdu
\r\n frau prã¤sidentin! meine sehr geehrten d...
10243
cdu
\r\n sehr geehrte frau prã¤sidentin! liebe ko...
10244
cdu
\r\n frau prã¤sidentin! meine sehr verehrten ...
10245
cdu
\r\n verehrte frau prã¤sidentin! meine sehr v...
10246
cdu
\r\n frau prã¤sidentin! meine damen und herre...
10247
cdu
\r\n verehrte frau prã¤sidentin! meine sehr v...
10248
cdu
\r\n sehr geehrte frau prã¤sidentin! meine se...
10249 rows × 2 columns
In [6]:
import sklearn
# find out how sklearn arranges feature vectors
c = sklearn.feature_extraction.text.CountVectorizer()
c.fit(['foo', 'bar']).transform(['foo', 'foo bar bar']).toarray()
Out[6]:
array([[0, 1],
[2, 1]])
In [7]:
c.get_feature_names()
Out[7]:
[u'bar', u'foo']
In [8]:
df['tfidf'] = [v for (party, matrix) in BoW.items() for v in matrix.toarray()]
df
Out[8]:
party
text
tfidf
0
linke
\r\n danke. herr präsident! meine damen und...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1
linke
\r\n ich bin sofort fertig. dabei hatte her...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2
linke
\r\n ja, herr präsident, ich nehme die wahl g...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3
linke
\r\n herr präsident! meine wortmeldung ist na...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4
linke
\r\n herr präsident! liebe kolleginnen und ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5
linke
\r\n herr kollege silberhorn, sie nutzen ja, ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6
linke
\r\n frau präsidentin! auch von uns alle gute...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7
linke
\r\n herr kollege oppermann, sie haben eben g...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8
linke
\r\n liebe kollegin haßelmann, die linke wäre...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
9
linke
\r\n frau präsidentin, ich hatte bereits zu b...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10
linke
\r\n danke. ich möchte gerne etwas zu den a...
[0.0, 0.00910379012735, 0.0, 0.0, 0.0, 0.0, 0....
11
linke
\r\n herr präsident! meine damen und herren! ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
12
linke
\r\n herr präsident! meine damen und herren! ...
[0.0, 0.0186665698203, 0.0, 0.0, 0.0, 0.0, 0.0...
13
linke
\r\n sehr geehrter herr präsident! sehr geehr...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
14
linke
\r\n es gibt momente, frau haßelmann, in dene...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
15
linke
\r\n sehr geehrter herr präsident! meine dame...
[0.0, 0.0103990294758, 0.0, 0.0, 0.0, 0.0, 0.0...
16
linke
\r\n vielen dank, frau präsidentin und herr k...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
17
linke
\r\n selbst in der bild heißt es unter der üb...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
18
linke
\r\n frau präsidentin! liebe kolleginnen und ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
19
linke
\r\n ich komme zum schluss. die linke sagt:...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
20
linke
\r\n das ist sehr nett, vielen dank. kolleg...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
21
linke
\r\n vielen dank. wenn das so ist, wie sie ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
22
linke
\r\n vielen dank, herr präsident. es ist fü...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
23
linke
\r\n herr staatssekretär, welche auswirkungen...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
24
linke
\r\n danke schön. ich habe eine nachfrage, ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
25
linke
\r\n herr staatssekretär, wir sind tatsächlic...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
26
linke
\r\n danke.\r\n vizepräsident peter hintze:\...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
27
linke
\r\n wir wissen aus medienberichten sehr gut,...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
28
linke
\r\n nein.\r\n vizepräsident peter hintze:\r...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
29
linke
\r\n danke. sehr geehrter herr burgbacher, ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
...
...
...
...
10219
cdu
\r\n eine frage? ja, gerne.\r\n vizeprã¤side...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10220
cdu
\r\n ich darf feststellen, herr kollege osten...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10221
cdu
\r\n frau prã¤sidentin! verehrte kolleginnen ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10222
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10223
cdu
\r\n lieber herr kollege korte, ich hatte mir...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10224
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10225
cdu
\r\n nein, ich bin gleich fertig.\r\n(jan kor...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10226
cdu
\r\n frau prã¤sidentin! meine damen und herre...
[0.0, 0.0163195763685, 0.0, 0.0, 0.0, 0.0, 0.0...
10227
cdu
\r\n frau prã¤sidentin! meine damen und herre...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10228
cdu
\r\n ja. â bitte, frau rã¼ffer.\r\n corinn...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10229
cdu
\r\n ich meine tatsã¤chlich, dass wir, wenn e...
[0.0, 0.00887377194769, 0.0, 0.0, 0.0, 0.0, 0....
10230
cdu
vor 15 jahren versetzten bilder von an bse er...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10231
cdu
das vierte gesetz zur ãnderung des rindfleis...
[0.0, 0.0379768364216, 0.0, 0.0, 0.0, 0.0, 0.0...
10232
cdu
erstens. wenn man die zahlreichen europã¤isch...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10233
cdu
die europã¤ische kapitalmarktunion ist das pr...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10234
cdu
bei diesem antrag der verehrten kollegen der ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10235
cdu
der botschafter von honduras hat es erst kã¼r...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10236
cdu
\r\n sehr geehrte frau prã¤sidentin! liebe ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10237
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10238
cdu
\r\n frau prã¤sidentin, mein letzter satz.\r\...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10239
cdu
\r\n sehr geehrte prã¤sidentin! liebe kollegi...
[0.0, 0.0379258893317, 0.0, 0.0, 0.0, 0.0, 0.0...
10240
cdu
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0135174510855, 0.0, 0.0, 0.0, 0.0, 0.0...
10241
cdu
\r\n danke, ich mache es sehr schnell. â im...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10242
cdu
\r\n frau prã¤sidentin! meine sehr geehrten d...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10243
cdu
\r\n sehr geehrte frau prã¤sidentin! liebe ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10244
cdu
\r\n frau prã¤sidentin! meine sehr verehrten ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10245
cdu
\r\n verehrte frau prã¤sidentin! meine sehr v...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10246
cdu
\r\n frau prã¤sidentin! meine damen und herre...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10247
cdu
\r\n verehrte frau prã¤sidentin! meine sehr v...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10248
cdu
\r\n sehr geehrte frau prã¤sidentin! meine se...
[0.0, 0.0261560037812, 0.0, 0.0, 0.0, 0.0, 0.0...
10249 rows × 3 columns
In [9]:
rows = np.random.choice(df.index.values, 200)
df_sample = df.ix[rows].copy()
df_sample
Out[9]:
party
text
tfidf
3105
gruene
jahrzehnte haben wir die verkehrsinfrastruktu...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6415
spd
\r\n sehr geehrter herr prã¤sident! liebe kol...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6471
spd
\r\n sehr geehrte frau prã¤sidentin! liebe ko...
[0.0, 0.0701537809208, 0.0, 0.0, 0.0, 0.0, 0.0...
2943
gruene
\r\n frau präsidentin! liebe kolleginnen und ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6852
spd
\r\n aber drauãen bei den bã¼rgerinnen und b...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5686
spd
\r\n das machen wir gerne bei der frau kolleg...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7707
cdu
\r\n frau präsidentin! meine sehr verehrten d...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7278
cdu
\r\n sehr geehrte frau präsidentin! meine seh...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6745
spd
\r\nsehr geehrter herr prã¤sident! meine damen...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4261
gruene
\r\n vielen dank, herr prã¤sident. â herr a...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5525
spd
\r\n sehr geehrter herr präsident! liebe koll...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5472
spd
\r\n frau vogler, ich werde mich sofort dazu ...
[0.0, 0.0360875082692, 0.0, 0.0, 0.0, 0.0, 0.0...
710
linke
\r\nherzlichen dank, frau präsidentin. frau ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4068
gruene
\r\n herr prã¤sident! meine damen und herren!...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7819
cdu
\r\n ja, bitte schön.\r\n vizepräsident joha...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
9297
cdu
\r\n herr prã¤sident! liebe kolleginnen und k...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8168
cdu
\r\n sehr geehrter herr präsident! meine dame...
[0.0, 0.0165728132845, 0.0, 0.0, 0.0, 0.0, 0.0...
2970
gruene
\r\n lothar, ich muss jetzt das rednerpult au...
[0.0, 0.0172061532564, 0.0, 0.0, 0.0, 0.0, 0.0...
4449
gruene
\r\nvielen dank, herr kollege, dass sie die fr...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2789
gruene
\r\nes gehört mut dazu, sich dem populismus mi...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4758
spd
\r\n lieber kollege kurth, natürlich handelt ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8123
cdu
\r\n sehr geehrter herr präsident! meine dame...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1589
linke
\r\n wir haben eine neue eu-verkehrskommissar...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1747
linke
\r\n danke, frau prã¤sidentin. â herr lã¤mm...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3458
gruene
\r\n sehr geehrte frau präsidentin! sehr geeh...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3248
gruene
\r\n was die zielvorstellungen angeht, sind w...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3950
gruene
\r\n ja, weil ich erneut, wie bedauerlicherwe...
[0.0, 0.0709699605658, 0.0, 0.0, 0.0, 0.0, 0.0...
1925
linke
\r\n frau prã¤sidentin! meine sehr verehrten ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5475
spd
\r\n vor kurzem diskutierte eine bekannte ze...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5600
spd
\r\n frau präsidentin! liebe kolleginnen und ...
[0.0, 0.0160062429994, 0.0, 0.0, 0.0, 0.0, 0.0...
...
...
...
...
3905
gruene
\r\n vielen dank, dass sie die zwischenfrage ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8579
cdu
\r\n vielen dank. frau präsidentin! meine s...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6601
spd
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0144850395157, 0.0, 0.0, 0.0, 0.0, 0.0...
4158
gruene
\r\nsehr geehrte frau prã¤sidentin! meine sehr...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1067
linke
\r\n sehr geehrter herr prã¤sident! werte kol...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4556
gruene
\r\n da mã¶gen sie recht haben, herr prã¤side...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3888
gruene
\r\n herr staatssekretã¤r, kã¶nnen sie bestã¤...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
983
linke
\r\n ich wundere mich nur, sigmar gabriel; de...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6636
spd
\r\n sehr geehrter herr prã¤sident! kolleginn...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3323
gruene
\r\n herr brauksiepe, man braucht schon nac...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8438
cdu
\r\n herr präsident! meine damen und herren! ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2040
linke
\r\n frau prã¤sidentin! meine damen und herre...
[0.0, 0.00759224231933, 0.0, 0.0, 0.0283817623...
2834
gruene
\r\nvielen dank. frau staatssekretärin, wie ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2893
gruene
\r\nherr kollege, sie haben gerade gesagt, wir...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4991
spd
im jahr 2007 haben sich afrikanische und euro...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2716
gruene
\r\n ich komme zum schuss.\r\n(ingrid arndt-b...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
51
linke
\r\n das finde ich sehr nett von ihnen. gerne...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5738
spd
\r\n herr präsident! meine damen und herren! ...
[0.0, 0.0170137754896, 0.0, 0.0, 0.0, 0.0, 0.0...
3267
gruene
\r\n nach angaben des statistischen bundesamt...
[0.0, 0.0108998390095, 0.0, 0.0, 0.0, 0.0, 0.0...
860
linke
\r\n herr präsident! liebe kolleginnen und ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2416
gruene
\r\n selbstverständlich.\r\n clemens binninger
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1565
linke
\r\n ja, von wem auch immer. â bitte schã¶n...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3761
gruene
\r\nnatã¼rlich habe ich eine zweite nachfrage....
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4917
spd
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8832
cdu
\r\nsehr geehrter herr prã¤sident! sehr geehrt...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1102
linke
\r\n herr präsident! liebe kolleginnen und ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
9511
cdu
\r\n liebe kolleginnen und kollegen! das them...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3584
gruene
\r\nkollege brackmann, sie sind ja im haushalt...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6159
spd
\r\n sehr geehrter herr prã¤sident! liebe kol...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5196
spd
\r\n herr präsident! meine sehr verehrten dam...
[0.0, 0.00649693777028, 0.0, 0.0, 0.0, 0.0, 0....
200 rows × 3 columns
In [10]:
df_sample.groupby('party').count()['text'].plot(kind='bar')
Out[10]:
<matplotlib.axes._subplots.AxesSubplot at 0x116ffb290>
In [11]:
clf = manifold.MDS(n_components=2, n_init=1, max_iter=100)
X_mds = clf.fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_mds)
df_sample['mds_x'] = x
df_sample['mds_y'] = y
In [12]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
_fig = group.plot(kind='scatter', x='mds_x', y='mds_y', label=party, color=colors[party], ax=fig)
fig = _fig
In [13]:
tsne = manifold.TSNE(n_components=2, init='pca', random_state=0)
X_tsne = clf.fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_tsne)
df_sample['tsne_x'] = x
df_sample['tsne_y'] = y
In [14]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
_fig = group.plot(kind='scatter', x='tsne_x', y='tsne_y', label=party, color=colors[party], ax=fig)
fig = _fig
In [15]:
X_pca = sklearn.decomposition.TruncatedSVD(n_components=2).fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_pca)
df_sample['pca_x'] = x
df_sample['pca_y'] = y
In [16]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
_fig = group.plot(kind='scatter', x='pca_x', y='pca_y', label=party, color=colors[party], ax=fig)
fig = _fig
In [59]:
clf = classifier['classifier']
labels = classifier['labels']
df_sample['probas'] = map(list, clf.predict_proba(df_sample['tfidf'].tolist()))
In [67]:
def predicted_label(probas):
return labels[probas.index(max(probas))]
df_sample['predicted_party'] = df_sample['probas'].map(predicted_label)
In [71]:
clf = manifold.MDS(n_components=2, n_init=1, max_iter=100)
X_mds = clf.fit_transform(df_sample['probas'].tolist())
x, y = np.transpose(X_mds)
df_sample['probas_mds_x'] = x
df_sample['probas_mds_y'] = y
In [73]:
df_sample
Out[73]:
party
text
tfidf
mds_x
mds_y
tsne_x
tsne_y
pca_x
pca_y
probas
probas_mds_x
probas_mds_y
predicted_party
3105
gruene
jahrzehnte haben wir die verkehrsinfrastruktu...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.468529
-0.842612
0.397117
0.927208
0.349205
-0.008612
[0.0462275445717, 0.839816309232, 0.0233555789...
0.050387
-0.639848
gruene
6415
spd
\r\n sehr geehrter herr prã¤sident! liebe kol...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.589077
-0.269113
-0.232690
0.627545
0.527804
-0.005100
[0.039619684709, 0.0123917168816, 0.6575859225...
-0.039489
0.520388
spd
6471
spd
\r\n sehr geehrte frau prã¤sidentin! liebe ko...
[0.0, 0.0701537809208, 0.0, 0.0, 0.0, 0.0, 0.0...
-0.009976
-0.221321
0.013467
0.283198
0.693355
-0.052319
[0.0271668450658, 0.00236885547539, 0.79267415...
0.036273
0.664979
spd
2943
gruene
\r\n frau präsidentin! liebe kolleginnen und ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.749642
0.168758
-0.162238
0.777753
0.487333
0.008156
[0.00302601926715, 0.977694956686, 0.008500139...
0.075822
-0.803659
gruene
6852
spd
\r\n aber drauãen bei den bã¼rgerinnen und b...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.291768
0.812791
-0.791540
0.081708
0.456261
-0.006655
[0.0184782441291, 0.0594718391032, 0.794676730...
0.075545
0.647236
spd
5686
spd
\r\n das machen wir gerne bei der frau kolleg...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-1.126251
-0.157745
-0.806310
-0.806919
0.137643
0.220041
[0.00465401585807, 0.039291436309, 0.348900630...
-0.325263
0.287638
cdu
7707
cdu
\r\n frau präsidentin! meine sehr verehrten d...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.352647
-0.443740
-0.567349
-0.052930
0.560164
-0.001297
[0.00277964446963, 0.0188611622795, 0.07066557...
-0.679890
0.209449
cdu
7278
cdu
\r\n sehr geehrte frau präsidentin! meine seh...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.562720
-0.598396
0.766517
-0.216294
0.461378
-0.001338
[0.149685286305, 0.0398464744387, 0.0568199324...
-0.491513
0.136865
cdu
6745
spd
\r\nsehr geehrter herr prã¤sident! meine damen...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.014202
0.876598
0.618576
-0.581874
0.438060
-0.029627
[0.0180836409123, 0.122478789398, 0.7091504494...
0.063561
0.522463
spd
4261
gruene
\r\n vielen dank, herr prã¤sident. â herr a...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.886641
0.338966
0.679583
-0.653436
0.377008
0.056215
[0.0191887625007, 0.843575723185, 0.0895079523...
0.046047
-0.649502
gruene
5525
spd
\r\n sehr geehrter herr präsident! liebe koll...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.484179
1.015868
-0.239068
1.105424
0.171031
0.101221
[0.00570849942347, 0.117775311393, 0.666262945...
0.018348
0.475759
spd
5472
spd
\r\n frau vogler, ich werde mich sofort dazu ...
[0.0, 0.0360875082692, 0.0, 0.0, 0.0, 0.0, 0.0...
-0.474501
0.673940
0.822351
-0.051299
0.476004
-0.034048
[0.0445842917265, 0.0101857666795, 0.815028534...
0.077645
0.683180
spd
710
linke
\r\nherzlichen dank, frau präsidentin. frau ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.977115
-0.310883
-0.904615
-0.444217
0.303769
0.109841
[0.505743867209, 0.465542935279, 0.01726804878...
0.420991
-0.238455
linke
4068
gruene
\r\n herr prã¤sident! meine damen und herren!...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.101017
-0.551751
0.258077
0.612373
0.550633
-0.028763
[0.0895776535176, 0.879309579467, 0.0226472343...
0.130551
-0.689085
gruene
7819
cdu
\r\n ja, bitte schön.\r\n vizepräsident joha...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.536392
-1.050688
1.133363
-0.315291
0.070648
0.118839
[0.163205400456, 0.0143659363187, 0.0734152681...
-0.480763
0.159613
cdu
9297
cdu
\r\n herr prã¤sident! liebe kolleginnen und k...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.104248
0.032680
0.183357
0.215888
0.710606
-0.051007
[0.00184665782154, 0.00958449215895, 0.2294015...
-0.498783
0.274393
cdu
8168
cdu
\r\n sehr geehrter herr präsident! meine dame...
[0.0, 0.0165728132845, 0.0, 0.0, 0.0, 0.0, 0.0...
0.194670
0.564477
0.079724
-0.411466
0.558051
-0.029917
[0.0332520589483, 0.0182187413005, 0.070164375...
-0.647204
0.199930
cdu
2970
gruene
\r\n lothar, ich muss jetzt das rednerpult au...
[0.0, 0.0172061532564, 0.0, 0.0, 0.0, 0.0, 0.0...
0.808297
-0.186977
0.887379
-0.162717
0.431725
0.000742
[0.0046855724485, 0.793589036699, 0.0868158677...
0.000635
-0.587820
gruene
4449
gruene
\r\nvielen dank, herr kollege, dass sie die fr...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.289448
1.007529
1.057146
0.075289
0.276470
-0.027559
[0.14733976735, 0.763703936659, 0.031383045789...
0.136921
-0.553724
gruene
2789
gruene
\r\nes gehört mut dazu, sich dem populismus mi...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.630258
-0.882221
-0.198649
-1.042934
0.242743
0.030418
[0.00530215544258, 0.77783860511, 0.1158674170...
0.004387
-0.569812
gruene
4758
spd
\r\n lieber kollege kurth, natürlich handelt ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.444532
0.564396
-0.635947
-0.142514
0.523713
-0.027256
[0.000856462359728, 0.0213635466202, 0.8723167...
0.085980
0.744891
spd
8123
cdu
\r\n sehr geehrter herr präsident! meine dame...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.020770
0.581387
-0.011105
-0.473083
0.562572
-0.005189
[0.0238097479719, 0.00249702026847, 0.04061712...
-0.710797
0.212355
cdu
1589
linke
\r\n wir haben eine neue eu-verkehrskommissar...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.946975
-0.628574
0.536097
-0.986334
0.144448
0.008756
[0.787766827292, 0.178452649274, 0.02355089519...
0.685582
0.013317
linke
1747
linke
\r\n danke, frau prã¤sidentin. â herr lã¤mm...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.019620
-0.913990
-0.421695
-0.754534
0.395950
0.021505
[0.798839422709, 0.134778624168, 0.00625055118...
0.684301
0.054873
linke
3458
gruene
\r\n sehr geehrte frau präsidentin! sehr geeh...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.261788
0.738356
0.107973
-0.716147
0.490363
-0.012078
[0.013956151425, 0.924825206302, 0.05002586355...
0.075283
-0.744327
gruene
3248
gruene
\r\n was die zielvorstellungen angeht, sind w...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.102905
1.138287
1.027521
-0.478443
0.143048
0.186357
[0.0762729457228, 0.814490684058, 0.0327788442...
0.079621
-0.611069
gruene
3950
gruene
\r\n ja, weil ich erneut, wie bedauerlicherwe...
[0.0, 0.0709699605658, 0.0, 0.0, 0.0, 0.0, 0.0...
1.027120
0.180958
-0.813772
0.608139
0.313666
0.065620
[0.0508342550553, 0.930615009699, 0.0138976524...
0.108953
-0.748752
gruene
1925
linke
\r\n frau prã¤sidentin! meine sehr verehrten ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.159531
0.793254
0.354214
0.765608
0.481280
-0.002765
[0.85987824479, 0.0196582795763, 0.02444677728...
0.738729
0.166078
linke
5475
spd
\r\n vor kurzem diskutierte eine bekannte ze...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.502829
-0.778686
-0.575374
0.739828
0.391334
-0.027449
[0.128349710623, 0.0312443158719, 0.6560673577...
0.071055
0.489868
spd
5600
spd
\r\n frau präsidentin! liebe kolleginnen und ...
[0.0, 0.0160062429994, 0.0, 0.0, 0.0, 0.0, 0.0...
-0.034154
0.770622
0.678068
0.442880
0.496964
-0.049918
[0.0168290751963, 0.0247464101062, 0.816423153...
0.060199
0.683990
spd
...
...
...
...
...
...
...
...
...
...
...
...
...
...
3905
gruene
\r\n vielen dank, dass sie die zwischenfrage ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.884675
-0.375055
0.063980
-0.940037
0.342111
-0.010034
[0.0317007703141, 0.897081693639, 0.0315444014...
0.072274
-0.710163
gruene
8579
cdu
\r\n vielen dank. frau präsidentin! meine s...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.906017
0.106666
-0.829329
0.346804
0.383469
0.815466
[0.0793680839567, 0.080956060772, 0.2485771054...
-0.307422
0.183206
cdu
6601
spd
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0144850395157, 0.0, 0.0, 0.0, 0.0, 0.0...
-0.463971
-0.094434
0.406130
0.360733
0.594176
-0.069807
[0.0101436063314, 0.0436062902141, 0.801352081...
0.059384
0.661643
spd
4158
gruene
\r\nsehr geehrte frau prã¤sidentin! meine sehr...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.726604
0.211045
-0.700157
0.216173
0.496854
0.019878
[0.0129531289034, 0.951110431008, 0.0012410459...
0.066446
-0.772767
gruene
1067
linke
\r\n sehr geehrter herr prã¤sident! werte kol...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.222218
-0.014242
0.203622
0.147391
0.686415
-0.068128
[0.713461315783, 0.0123612422724, 0.1638277981...
0.562299
0.199604
linke
4556
gruene
\r\n da mã¶gen sie recht haben, herr prã¤side...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.916823
0.716055
0.763914
-0.854565
0.101557
0.150716
[0.0459045087564, 0.614731215117, 0.0785989072...
-0.060693
-0.373398
gruene
3888
gruene
\r\n herr staatssekretã¤r, kã¶nnen sie bestã¤...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.676449
-0.834940
0.556972
0.951099
0.228661
0.104538
[0.179544298415, 0.80814666498, 0.003647188274...
0.193897
-0.606802
gruene
983
linke
\r\n ich wundere mich nur, sigmar gabriel; de...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.737873
0.780150
-0.062750
-1.048391
0.232112
0.178898
[0.906383071477, 0.0573039163535, 0.0257862687...
0.809239
0.123080
linke
6636
spd
\r\n sehr geehrter herr prã¤sident! kolleginn...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.687326
-0.002444
0.375120
0.650260
0.520505
-0.041893
[0.032163738157, 0.0170518863169, 0.7946027536...
0.054878
0.660392
spd
3323
gruene
\r\n herr brauksiepe, man braucht schon nac...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.605834
-0.560380
0.856155
0.241294
0.442431
0.017059
[0.1699908365, 0.798410464877, 0.0274217581831...
0.184697
-0.595681
gruene
8438
cdu
\r\n herr präsident! meine damen und herren! ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.023711
-0.054356
-0.084476
-0.008027
0.730468
-0.022058
[0.00588232342142, 0.00403022298728, 0.1638491...
-0.579315
0.252629
cdu
2040
linke
\r\n frau prã¤sidentin! meine damen und herre...
[0.0, 0.00759224231933, 0.0, 0.0, 0.0283817623...
0.905596
-0.048160
0.785505
0.562510
0.390207
-0.043741
[0.773409427775, 0.0246332631523, 0.0255983305...
0.621346
0.164375
linke
2834
gruene
\r\nvielen dank. frau staatssekretärin, wie ...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.463537
0.966871
-1.079914
0.146867
0.228394
0.010580
[0.0760502523356, 0.895836095578, 0.0201343411...
0.122196
-0.708493
gruene
2893
gruene
\r\nherr kollege, sie haben gerade gesagt, wir...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1.065303
-0.477578
0.655608
-0.945290
0.098492
0.153939
[0.0920951399057, 0.752036354483, 0.0108293069...
0.042830
-0.536708
gruene
4991
spd
im jahr 2007 haben sich afrikanische und euro...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.343014
-0.563583
-0.335215
-0.510012
0.525354
-0.061202
[0.0876430177707, 0.00518624263783, 0.69105011...
0.029725
0.547854
spd
2716
gruene
\r\n ich komme zum schuss.\r\n(ingrid arndt-b...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.866904
0.457523
-0.927783
0.259107
0.331799
0.070943
[0.0038792759666, 0.587218368554, 0.3920643000...
0.066954
-0.303032
gruene
51
linke
\r\n das finde ich sehr nett von ihnen. gerne...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.809606
0.832355
-0.067928
1.160574
0.115375
0.059082
[0.483741669558, 0.0876530718333, 0.3175092729...
0.318415
0.178468
linke
5738
spd
\r\n herr präsident! meine damen und herren! ...
[0.0, 0.0170137754896, 0.0, 0.0, 0.0, 0.0, 0.0...
-0.264414
0.122095
-0.199102
0.336329
0.657885
-0.021822
[0.00986345531181, 0.00349978020727, 0.8535432...
0.060975
0.731644
spd
3267
gruene
\r\n nach angaben des statistischen bundesamt...
[0.0, 0.0108998390095, 0.0, 0.0, 0.0, 0.0, 0.0...
-0.460688
-0.553680
0.512585
0.588688
0.502868
0.109118
[0.0217388222869, 0.111996068343, 0.7305351138...
0.074122
0.552443
spd
860
linke
\r\n herr präsident! liebe kolleginnen und ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.437686
-0.364284
-0.037082
-0.563937
0.557122
-0.017846
[0.927593669967, 0.0182706433067, 0.0262629026...
0.827065
0.159057
linke
2416
gruene
\r\n selbstverständlich.\r\n clemens binninger
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.567367
1.070854
-0.439854
-1.126981
0.003894
0.024166
[0.0734448176654, 0.782881781353, 0.0035237996...
0.034870
-0.572169
gruene
1565
linke
\r\n ja, von wem auch immer. â bitte schã¶n...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.824546
-0.848089
-0.043651
-1.178640
0.054725
0.210343
[0.388063579337, 0.358265077373, 0.01802094776...
0.191137
-0.106953
linke
3761
gruene
\r\nnatã¼rlich habe ich eine zweite nachfrage....
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.832367
-0.627092
0.084849
1.063009
0.275219
0.021732
[0.0927759604926, 0.860731484592, 0.0011648120...
0.115886
-0.665818
gruene
4917
spd
\r\n frau prã¤sidentin! liebe kolleginnen und...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.318362
-0.632014
0.137253
-0.608967
0.506554
-0.035955
[0.102970025148, 0.0553431428369, 0.6970302577...
0.090877
0.527637
spd
8832
cdu
\r\nsehr geehrter herr prã¤sident! sehr geehrt...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.659355
-0.399558
-0.693630
-0.247332
0.483298
-0.009692
[0.0990182954952, 0.020296821084, 0.0724962518...
-0.561177
0.174743
cdu
1102
linke
\r\n herr präsident! liebe kolleginnen und ko...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.272673
0.556413
-0.496504
-0.249428
0.547844
0.009628
[0.9337644874, 0.0224475374492, 0.017786271571...
0.834805
0.154484
linke
9511
cdu
\r\n liebe kolleginnen und kollegen! das them...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
0.962924
0.376230
0.243894
1.024911
0.292570
0.066889
[0.018843846334, 0.0595371156573, 0.0910545612...
-0.593794
0.171960
cdu
3584
gruene
\r\nkollege brackmann, sie sind ja im haushalt...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.324933
-0.983053
-0.231836
-0.965707
0.298101
-0.014001
[0.225352209705, 0.685458844577, 0.04757109773...
0.195604
-0.463675
gruene
6159
spd
\r\n sehr geehrter herr prã¤sident! liebe kol...
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
-0.544138
0.261301
-0.553661
0.104131
0.550298
-0.065170
[0.038690787752, 0.00391555940364, 0.795225702...
0.051361
0.665283
spd
5196
spd
\r\n herr präsident! meine sehr verehrten dam...
[0.0, 0.00649693777028, 0.0, 0.0, 0.0, 0.0, 0....
0.005465
0.057230
0.015445
-0.001428
0.815830
-0.038618
[0.00474234728766, 0.00175284266981, 0.6966195...
-0.058074
0.574108
spd
200 rows × 13 columns
In [72]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange') # change to predicted class?
for party, group in df_sample.groupby('party'):
_fig = group.plot(kind='scatter', x='probas_mds_x', y='probas_mds_y', label=party, color=colors[party], ax=fig)
fig = _fig
In [64]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange') # change to predicted class?
for party, group in df_sample.groupby('predicted_party'):
_fig = group.plot(kind='scatter', x='probas_mds_x', y='probas_mds_y', label=party, color=colors[party], ax=fig)
fig = _fig
Content source: kirel/political-affiliation-prediction
Similar notebooks: