In [1]:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import manifold

In [2]:
%matplotlib inline

In [3]:
import cPickle

Load data


In [4]:
classifier = cPickle.load(open("model/classifier.pickle"))
rawtext = cPickle.load(open("model/textdata/rawtext.pickle"))
BoW = cPickle.load(open("model/BoW.pickle"))
BoW_transformer = cPickle.load(open("model/BoW_transformer.pickle"))

In [5]:
labeled_texts = [[party, text] for (party, texts) in rawtext.items() for text in texts]
df = pd.DataFrame(labeled_texts, columns=["party", "text"])
df


Out[5]:
party text
0 linke \r\n danke. – herr präsident! meine damen und...
1 linke \r\n ich bin sofort fertig. – dabei hatte her...
2 linke \r\n ja, herr präsident, ich nehme die wahl g...
3 linke \r\n herr präsident! meine wortmeldung ist na...
4 linke \r\n herr präsident! liebe kolleginnen und ko...
5 linke \r\n herr kollege silberhorn, sie nutzen ja, ...
6 linke \r\n frau präsidentin! auch von uns alle gute...
7 linke \r\n herr kollege oppermann, sie haben eben g...
8 linke \r\n liebe kollegin haßelmann, die linke wäre...
9 linke \r\n frau präsidentin, ich hatte bereits zu b...
10 linke \r\n danke. – ich möchte gerne etwas zu den a...
11 linke \r\n herr präsident! meine damen und herren! ...
12 linke \r\n herr präsident! meine damen und herren! ...
13 linke \r\n sehr geehrter herr präsident! sehr geehr...
14 linke \r\n es gibt momente, frau haßelmann, in dene...
15 linke \r\n sehr geehrter herr präsident! meine dame...
16 linke \r\n vielen dank, frau präsidentin und herr k...
17 linke \r\n selbst in der bild heißt es unter der üb...
18 linke \r\n frau präsidentin! liebe kolleginnen und ...
19 linke \r\n ich komme zum schluss. – die linke sagt:...
20 linke \r\n das ist sehr nett, vielen dank. – kolleg...
21 linke \r\n vielen dank. – wenn das so ist, wie sie ...
22 linke \r\n vielen dank, herr präsident. – es ist fü...
23 linke \r\n herr staatssekretär, welche auswirkungen...
24 linke \r\n danke schön. – ich habe eine nachfrage, ...
25 linke \r\n herr staatssekretär, wir sind tatsächlic...
26 linke \r\n danke.\r\n vizepräsident peter hintze:\...
27 linke \r\n wir wissen aus medienberichten sehr gut,...
28 linke \r\n nein.\r\n vizepräsident peter hintze:\r...
29 linke \r\n danke. – sehr geehrter herr burgbacher, ...
... ... ...
10219 cdu \r\n eine frage? ja, gerne.\r\n vizeprã¤side...
10220 cdu \r\n ich darf feststellen, herr kollege osten...
10221 cdu \r\n frau prã¤sidentin! verehrte kolleginnen ...
10222 cdu \r\n frau prã¤sidentin! liebe kolleginnen und...
10223 cdu \r\n lieber herr kollege korte, ich hatte mir...
10224 cdu \r\n frau prã¤sidentin! liebe kolleginnen und...
10225 cdu \r\n nein, ich bin gleich fertig.\r\n(jan kor...
10226 cdu \r\n frau prã¤sidentin! meine damen und herre...
10227 cdu \r\n frau prã¤sidentin! meine damen und herre...
10228 cdu \r\n ja. – bitte, frau rã¼ffer.\r\n corinn...
10229 cdu \r\n ich meine tatsã¤chlich, dass wir, wenn e...
10230 cdu vor 15 jahren versetzten bilder von an bse er...
10231 cdu das vierte gesetz zur ã„nderung des rindfleis...
10232 cdu erstens. wenn man die zahlreichen europã¤isch...
10233 cdu die europã¤ische kapitalmarktunion ist das pr...
10234 cdu bei diesem antrag der verehrten kollegen der ...
10235 cdu der botschafter von honduras hat es erst kã¼r...
10236 cdu \r\n sehr geehrte frau prã¤sidentin! liebe ko...
10237 cdu \r\n frau prã¤sidentin! liebe kolleginnen und...
10238 cdu \r\n frau prã¤sidentin, mein letzter satz.\r\...
10239 cdu \r\n sehr geehrte prã¤sidentin! liebe kollegi...
10240 cdu \r\n frau prã¤sidentin! liebe kolleginnen und...
10241 cdu \r\n danke, ich mache es sehr schnell. – im...
10242 cdu \r\n frau prã¤sidentin! meine sehr geehrten d...
10243 cdu \r\n sehr geehrte frau prã¤sidentin! liebe ko...
10244 cdu \r\n frau prã¤sidentin! meine sehr verehrten ...
10245 cdu \r\n verehrte frau prã¤sidentin! meine sehr v...
10246 cdu \r\n frau prã¤sidentin! meine damen und herre...
10247 cdu \r\n verehrte frau prã¤sidentin! meine sehr v...
10248 cdu \r\n sehr geehrte frau prã¤sidentin! meine se...

10249 rows × 2 columns


In [6]:
import sklearn
# find out how sklearn arranges feature vectors
c = sklearn.feature_extraction.text.CountVectorizer()
c.fit(['foo', 'bar']).transform(['foo', 'foo bar bar']).toarray()


Out[6]:
array([[0, 1],
       [2, 1]])

In [7]:
c.get_feature_names()


Out[7]:
[u'bar', u'foo']

In [8]:
df['tfidf'] = [v for (party, matrix) in BoW.items() for v in matrix.toarray()]
df


Out[8]:
party text tfidf
0 linke \r\n danke. – herr präsident! meine damen und... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1 linke \r\n ich bin sofort fertig. – dabei hatte her... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2 linke \r\n ja, herr präsident, ich nehme die wahl g... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3 linke \r\n herr präsident! meine wortmeldung ist na... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4 linke \r\n herr präsident! liebe kolleginnen und ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5 linke \r\n herr kollege silberhorn, sie nutzen ja, ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6 linke \r\n frau präsidentin! auch von uns alle gute... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7 linke \r\n herr kollege oppermann, sie haben eben g... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8 linke \r\n liebe kollegin haßelmann, die linke wäre... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
9 linke \r\n frau präsidentin, ich hatte bereits zu b... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10 linke \r\n danke. – ich möchte gerne etwas zu den a... [0.0, 0.00910379012735, 0.0, 0.0, 0.0, 0.0, 0....
11 linke \r\n herr präsident! meine damen und herren! ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
12 linke \r\n herr präsident! meine damen und herren! ... [0.0, 0.0186665698203, 0.0, 0.0, 0.0, 0.0, 0.0...
13 linke \r\n sehr geehrter herr präsident! sehr geehr... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
14 linke \r\n es gibt momente, frau haßelmann, in dene... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
15 linke \r\n sehr geehrter herr präsident! meine dame... [0.0, 0.0103990294758, 0.0, 0.0, 0.0, 0.0, 0.0...
16 linke \r\n vielen dank, frau präsidentin und herr k... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
17 linke \r\n selbst in der bild heißt es unter der üb... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
18 linke \r\n frau präsidentin! liebe kolleginnen und ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
19 linke \r\n ich komme zum schluss. – die linke sagt:... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
20 linke \r\n das ist sehr nett, vielen dank. – kolleg... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
21 linke \r\n vielen dank. – wenn das so ist, wie sie ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
22 linke \r\n vielen dank, herr präsident. – es ist fü... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
23 linke \r\n herr staatssekretär, welche auswirkungen... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
24 linke \r\n danke schön. – ich habe eine nachfrage, ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
25 linke \r\n herr staatssekretär, wir sind tatsächlic... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
26 linke \r\n danke.\r\n vizepräsident peter hintze:\... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
27 linke \r\n wir wissen aus medienberichten sehr gut,... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
28 linke \r\n nein.\r\n vizepräsident peter hintze:\r... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
29 linke \r\n danke. – sehr geehrter herr burgbacher, ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
... ... ... ...
10219 cdu \r\n eine frage? ja, gerne.\r\n vizeprã¤side... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10220 cdu \r\n ich darf feststellen, herr kollege osten... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10221 cdu \r\n frau prã¤sidentin! verehrte kolleginnen ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10222 cdu \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10223 cdu \r\n lieber herr kollege korte, ich hatte mir... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10224 cdu \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10225 cdu \r\n nein, ich bin gleich fertig.\r\n(jan kor... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10226 cdu \r\n frau prã¤sidentin! meine damen und herre... [0.0, 0.0163195763685, 0.0, 0.0, 0.0, 0.0, 0.0...
10227 cdu \r\n frau prã¤sidentin! meine damen und herre... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10228 cdu \r\n ja. – bitte, frau rã¼ffer.\r\n corinn... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10229 cdu \r\n ich meine tatsã¤chlich, dass wir, wenn e... [0.0, 0.00887377194769, 0.0, 0.0, 0.0, 0.0, 0....
10230 cdu vor 15 jahren versetzten bilder von an bse er... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10231 cdu das vierte gesetz zur ã„nderung des rindfleis... [0.0, 0.0379768364216, 0.0, 0.0, 0.0, 0.0, 0.0...
10232 cdu erstens. wenn man die zahlreichen europã¤isch... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10233 cdu die europã¤ische kapitalmarktunion ist das pr... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10234 cdu bei diesem antrag der verehrten kollegen der ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10235 cdu der botschafter von honduras hat es erst kã¼r... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10236 cdu \r\n sehr geehrte frau prã¤sidentin! liebe ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10237 cdu \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10238 cdu \r\n frau prã¤sidentin, mein letzter satz.\r\... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10239 cdu \r\n sehr geehrte prã¤sidentin! liebe kollegi... [0.0, 0.0379258893317, 0.0, 0.0, 0.0, 0.0, 0.0...
10240 cdu \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0135174510855, 0.0, 0.0, 0.0, 0.0, 0.0...
10241 cdu \r\n danke, ich mache es sehr schnell. – im... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10242 cdu \r\n frau prã¤sidentin! meine sehr geehrten d... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10243 cdu \r\n sehr geehrte frau prã¤sidentin! liebe ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10244 cdu \r\n frau prã¤sidentin! meine sehr verehrten ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10245 cdu \r\n verehrte frau prã¤sidentin! meine sehr v... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10246 cdu \r\n frau prã¤sidentin! meine damen und herre... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10247 cdu \r\n verehrte frau prã¤sidentin! meine sehr v... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
10248 cdu \r\n sehr geehrte frau prã¤sidentin! meine se... [0.0, 0.0261560037812, 0.0, 0.0, 0.0, 0.0, 0.0...

10249 rows × 3 columns

Sample (for quicker computations)


In [9]:
rows = np.random.choice(df.index.values, 200)
df_sample = df.ix[rows].copy()
df_sample


Out[9]:
party text tfidf
3105 gruene jahrzehnte haben wir die verkehrsinfrastruktu... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6415 spd \r\n sehr geehrter herr prã¤sident! liebe kol... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6471 spd \r\n sehr geehrte frau prã¤sidentin! liebe ko... [0.0, 0.0701537809208, 0.0, 0.0, 0.0, 0.0, 0.0...
2943 gruene \r\n frau präsidentin! liebe kolleginnen und ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6852 spd \r\n aber drauãŸen bei den bã¼rgerinnen und b... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5686 spd \r\n das machen wir gerne bei der frau kolleg... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7707 cdu \r\n frau präsidentin! meine sehr verehrten d... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7278 cdu \r\n sehr geehrte frau präsidentin! meine seh... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6745 spd \r\nsehr geehrter herr prã¤sident! meine damen... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4261 gruene \r\n vielen dank, herr prã¤sident. – herr a... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5525 spd \r\n sehr geehrter herr präsident! liebe koll... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5472 spd \r\n frau vogler, ich werde mich sofort dazu ... [0.0, 0.0360875082692, 0.0, 0.0, 0.0, 0.0, 0.0...
710 linke \r\nherzlichen dank, frau präsidentin. – frau ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4068 gruene \r\n herr prã¤sident! meine damen und herren!... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
7819 cdu \r\n ja, bitte schön.\r\n vizepräsident joha... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
9297 cdu \r\n herr prã¤sident! liebe kolleginnen und k... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8168 cdu \r\n sehr geehrter herr präsident! meine dame... [0.0, 0.0165728132845, 0.0, 0.0, 0.0, 0.0, 0.0...
2970 gruene \r\n lothar, ich muss jetzt das rednerpult au... [0.0, 0.0172061532564, 0.0, 0.0, 0.0, 0.0, 0.0...
4449 gruene \r\nvielen dank, herr kollege, dass sie die fr... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2789 gruene \r\nes gehört mut dazu, sich dem populismus mi... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4758 spd \r\n lieber kollege kurth, natürlich handelt ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8123 cdu \r\n sehr geehrter herr präsident! meine dame... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1589 linke \r\n wir haben eine neue eu-verkehrskommissar... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1747 linke \r\n danke, frau prã¤sidentin. – herr lã¤mm... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3458 gruene \r\n sehr geehrte frau präsidentin! sehr geeh... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3248 gruene \r\n was die zielvorstellungen angeht, sind w... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3950 gruene \r\n ja, weil ich erneut, wie bedauerlicherwe... [0.0, 0.0709699605658, 0.0, 0.0, 0.0, 0.0, 0.0...
1925 linke \r\n frau prã¤sidentin! meine sehr verehrten ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5475 spd \r\n vor kurzem diskutierte eine bekannte ze... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5600 spd \r\n frau präsidentin! liebe kolleginnen und ... [0.0, 0.0160062429994, 0.0, 0.0, 0.0, 0.0, 0.0...
... ... ... ...
3905 gruene \r\n vielen dank, dass sie die zwischenfrage ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8579 cdu \r\n vielen dank. – frau präsidentin! meine s... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6601 spd \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0144850395157, 0.0, 0.0, 0.0, 0.0, 0.0...
4158 gruene \r\nsehr geehrte frau prã¤sidentin! meine sehr... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1067 linke \r\n sehr geehrter herr prã¤sident! werte kol... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4556 gruene \r\n da mã¶gen sie recht haben, herr prã¤side... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3888 gruene \r\n herr staatssekretã¤r, kã¶nnen sie bestã¤... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
983 linke \r\n ich wundere mich nur, sigmar gabriel; de... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6636 spd \r\n sehr geehrter herr prã¤sident! kolleginn... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3323 gruene \r\n herr brauksiepe, man braucht schon – nac... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8438 cdu \r\n herr präsident! meine damen und herren! ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2040 linke \r\n frau prã¤sidentin! meine damen und herre... [0.0, 0.00759224231933, 0.0, 0.0, 0.0283817623...
2834 gruene \r\nvielen dank. – frau staatssekretärin, wie ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2893 gruene \r\nherr kollege, sie haben gerade gesagt, wir... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4991 spd im jahr 2007 haben sich afrikanische und euro... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2716 gruene \r\n ich komme zum schuss.\r\n(ingrid arndt-b... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
51 linke \r\n das finde ich sehr nett von ihnen. gerne... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5738 spd \r\n herr präsident! meine damen und herren! ... [0.0, 0.0170137754896, 0.0, 0.0, 0.0, 0.0, 0.0...
3267 gruene \r\n nach angaben des statistischen bundesamt... [0.0, 0.0108998390095, 0.0, 0.0, 0.0, 0.0, 0.0...
860 linke \r\n herr präsident! liebe kolleginnen und ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
2416 gruene \r\n selbstverständlich.\r\n clemens binninger [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1565 linke \r\n ja, von wem auch immer. – bitte schã¶n... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3761 gruene \r\nnatã¼rlich habe ich eine zweite nachfrage.... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
4917 spd \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
8832 cdu \r\nsehr geehrter herr prã¤sident! sehr geehrt... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
1102 linke \r\n herr präsident! liebe kolleginnen und ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
9511 cdu \r\n liebe kolleginnen und kollegen! das them... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
3584 gruene \r\nkollege brackmann, sie sind ja im haushalt... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
6159 spd \r\n sehr geehrter herr prã¤sident! liebe kol... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
5196 spd \r\n herr präsident! meine sehr verehrten dam... [0.0, 0.00649693777028, 0.0, 0.0, 0.0, 0.0, 0....

200 rows × 3 columns


In [10]:
df_sample.groupby('party').count()['text'].plot(kind='bar')


Out[10]:
<matplotlib.axes._subplots.AxesSubplot at 0x116ffb290>

MDS


In [11]:
clf = manifold.MDS(n_components=2, n_init=1, max_iter=100)
X_mds = clf.fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_mds)
df_sample['mds_x'] = x
df_sample['mds_y'] = y

In [12]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='mds_x', y='mds_y', label=party, color=colors[party], ax=fig)
    fig = _fig


t-SNE


In [13]:
tsne = manifold.TSNE(n_components=2, init='pca', random_state=0)
X_tsne = clf.fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_tsne)
df_sample['tsne_x'] = x
df_sample['tsne_y'] = y

In [14]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='tsne_x', y='tsne_y', label=party, color=colors[party], ax=fig)
    fig = _fig


PCA


In [15]:
X_pca = sklearn.decomposition.TruncatedSVD(n_components=2).fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_pca)
df_sample['pca_x'] = x
df_sample['pca_y'] = y

In [16]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='pca_x', y='pca_y', label=party, color=colors[party], ax=fig)
    fig = _fig


With predictions...


In [59]:
clf = classifier['classifier']
labels = classifier['labels']
df_sample['probas'] = map(list, clf.predict_proba(df_sample['tfidf'].tolist()))

In [67]:
def predicted_label(probas):
    return labels[probas.index(max(probas))]
    
df_sample['predicted_party'] = df_sample['probas'].map(predicted_label)

In [71]:
clf = manifold.MDS(n_components=2, n_init=1, max_iter=100)
X_mds = clf.fit_transform(df_sample['probas'].tolist())
x, y = np.transpose(X_mds)
df_sample['probas_mds_x'] = x
df_sample['probas_mds_y'] = y

In [73]:
df_sample


Out[73]:
party text tfidf mds_x mds_y tsne_x tsne_y pca_x pca_y probas probas_mds_x probas_mds_y predicted_party
3105 gruene jahrzehnte haben wir die verkehrsinfrastruktu... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.468529 -0.842612 0.397117 0.927208 0.349205 -0.008612 [0.0462275445717, 0.839816309232, 0.0233555789... 0.050387 -0.639848 gruene
6415 spd \r\n sehr geehrter herr prã¤sident! liebe kol... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.589077 -0.269113 -0.232690 0.627545 0.527804 -0.005100 [0.039619684709, 0.0123917168816, 0.6575859225... -0.039489 0.520388 spd
6471 spd \r\n sehr geehrte frau prã¤sidentin! liebe ko... [0.0, 0.0701537809208, 0.0, 0.0, 0.0, 0.0, 0.0... -0.009976 -0.221321 0.013467 0.283198 0.693355 -0.052319 [0.0271668450658, 0.00236885547539, 0.79267415... 0.036273 0.664979 spd
2943 gruene \r\n frau präsidentin! liebe kolleginnen und ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.749642 0.168758 -0.162238 0.777753 0.487333 0.008156 [0.00302601926715, 0.977694956686, 0.008500139... 0.075822 -0.803659 gruene
6852 spd \r\n aber drauãŸen bei den bã¼rgerinnen und b... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.291768 0.812791 -0.791540 0.081708 0.456261 -0.006655 [0.0184782441291, 0.0594718391032, 0.794676730... 0.075545 0.647236 spd
5686 spd \r\n das machen wir gerne bei der frau kolleg... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -1.126251 -0.157745 -0.806310 -0.806919 0.137643 0.220041 [0.00465401585807, 0.039291436309, 0.348900630... -0.325263 0.287638 cdu
7707 cdu \r\n frau präsidentin! meine sehr verehrten d... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.352647 -0.443740 -0.567349 -0.052930 0.560164 -0.001297 [0.00277964446963, 0.0188611622795, 0.07066557... -0.679890 0.209449 cdu
7278 cdu \r\n sehr geehrte frau präsidentin! meine seh... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.562720 -0.598396 0.766517 -0.216294 0.461378 -0.001338 [0.149685286305, 0.0398464744387, 0.0568199324... -0.491513 0.136865 cdu
6745 spd \r\nsehr geehrter herr prã¤sident! meine damen... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.014202 0.876598 0.618576 -0.581874 0.438060 -0.029627 [0.0180836409123, 0.122478789398, 0.7091504494... 0.063561 0.522463 spd
4261 gruene \r\n vielen dank, herr prã¤sident. – herr a... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.886641 0.338966 0.679583 -0.653436 0.377008 0.056215 [0.0191887625007, 0.843575723185, 0.0895079523... 0.046047 -0.649502 gruene
5525 spd \r\n sehr geehrter herr präsident! liebe koll... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.484179 1.015868 -0.239068 1.105424 0.171031 0.101221 [0.00570849942347, 0.117775311393, 0.666262945... 0.018348 0.475759 spd
5472 spd \r\n frau vogler, ich werde mich sofort dazu ... [0.0, 0.0360875082692, 0.0, 0.0, 0.0, 0.0, 0.0... -0.474501 0.673940 0.822351 -0.051299 0.476004 -0.034048 [0.0445842917265, 0.0101857666795, 0.815028534... 0.077645 0.683180 spd
710 linke \r\nherzlichen dank, frau präsidentin. – frau ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.977115 -0.310883 -0.904615 -0.444217 0.303769 0.109841 [0.505743867209, 0.465542935279, 0.01726804878... 0.420991 -0.238455 linke
4068 gruene \r\n herr prã¤sident! meine damen und herren!... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.101017 -0.551751 0.258077 0.612373 0.550633 -0.028763 [0.0895776535176, 0.879309579467, 0.0226472343... 0.130551 -0.689085 gruene
7819 cdu \r\n ja, bitte schön.\r\n vizepräsident joha... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.536392 -1.050688 1.133363 -0.315291 0.070648 0.118839 [0.163205400456, 0.0143659363187, 0.0734152681... -0.480763 0.159613 cdu
9297 cdu \r\n herr prã¤sident! liebe kolleginnen und k... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.104248 0.032680 0.183357 0.215888 0.710606 -0.051007 [0.00184665782154, 0.00958449215895, 0.2294015... -0.498783 0.274393 cdu
8168 cdu \r\n sehr geehrter herr präsident! meine dame... [0.0, 0.0165728132845, 0.0, 0.0, 0.0, 0.0, 0.0... 0.194670 0.564477 0.079724 -0.411466 0.558051 -0.029917 [0.0332520589483, 0.0182187413005, 0.070164375... -0.647204 0.199930 cdu
2970 gruene \r\n lothar, ich muss jetzt das rednerpult au... [0.0, 0.0172061532564, 0.0, 0.0, 0.0, 0.0, 0.0... 0.808297 -0.186977 0.887379 -0.162717 0.431725 0.000742 [0.0046855724485, 0.793589036699, 0.0868158677... 0.000635 -0.587820 gruene
4449 gruene \r\nvielen dank, herr kollege, dass sie die fr... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.289448 1.007529 1.057146 0.075289 0.276470 -0.027559 [0.14733976735, 0.763703936659, 0.031383045789... 0.136921 -0.553724 gruene
2789 gruene \r\nes gehört mut dazu, sich dem populismus mi... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.630258 -0.882221 -0.198649 -1.042934 0.242743 0.030418 [0.00530215544258, 0.77783860511, 0.1158674170... 0.004387 -0.569812 gruene
4758 spd \r\n lieber kollege kurth, natürlich handelt ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.444532 0.564396 -0.635947 -0.142514 0.523713 -0.027256 [0.000856462359728, 0.0213635466202, 0.8723167... 0.085980 0.744891 spd
8123 cdu \r\n sehr geehrter herr präsident! meine dame... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.020770 0.581387 -0.011105 -0.473083 0.562572 -0.005189 [0.0238097479719, 0.00249702026847, 0.04061712... -0.710797 0.212355 cdu
1589 linke \r\n wir haben eine neue eu-verkehrskommissar... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.946975 -0.628574 0.536097 -0.986334 0.144448 0.008756 [0.787766827292, 0.178452649274, 0.02355089519... 0.685582 0.013317 linke
1747 linke \r\n danke, frau prã¤sidentin. – herr lã¤mm... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.019620 -0.913990 -0.421695 -0.754534 0.395950 0.021505 [0.798839422709, 0.134778624168, 0.00625055118... 0.684301 0.054873 linke
3458 gruene \r\n sehr geehrte frau präsidentin! sehr geeh... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.261788 0.738356 0.107973 -0.716147 0.490363 -0.012078 [0.013956151425, 0.924825206302, 0.05002586355... 0.075283 -0.744327 gruene
3248 gruene \r\n was die zielvorstellungen angeht, sind w... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.102905 1.138287 1.027521 -0.478443 0.143048 0.186357 [0.0762729457228, 0.814490684058, 0.0327788442... 0.079621 -0.611069 gruene
3950 gruene \r\n ja, weil ich erneut, wie bedauerlicherwe... [0.0, 0.0709699605658, 0.0, 0.0, 0.0, 0.0, 0.0... 1.027120 0.180958 -0.813772 0.608139 0.313666 0.065620 [0.0508342550553, 0.930615009699, 0.0138976524... 0.108953 -0.748752 gruene
1925 linke \r\n frau prã¤sidentin! meine sehr verehrten ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.159531 0.793254 0.354214 0.765608 0.481280 -0.002765 [0.85987824479, 0.0196582795763, 0.02444677728... 0.738729 0.166078 linke
5475 spd \r\n vor kurzem diskutierte eine bekannte ze... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.502829 -0.778686 -0.575374 0.739828 0.391334 -0.027449 [0.128349710623, 0.0312443158719, 0.6560673577... 0.071055 0.489868 spd
5600 spd \r\n frau präsidentin! liebe kolleginnen und ... [0.0, 0.0160062429994, 0.0, 0.0, 0.0, 0.0, 0.0... -0.034154 0.770622 0.678068 0.442880 0.496964 -0.049918 [0.0168290751963, 0.0247464101062, 0.816423153... 0.060199 0.683990 spd
... ... ... ... ... ... ... ... ... ... ... ... ... ...
3905 gruene \r\n vielen dank, dass sie die zwischenfrage ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.884675 -0.375055 0.063980 -0.940037 0.342111 -0.010034 [0.0317007703141, 0.897081693639, 0.0315444014... 0.072274 -0.710163 gruene
8579 cdu \r\n vielen dank. – frau präsidentin! meine s... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.906017 0.106666 -0.829329 0.346804 0.383469 0.815466 [0.0793680839567, 0.080956060772, 0.2485771054... -0.307422 0.183206 cdu
6601 spd \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0144850395157, 0.0, 0.0, 0.0, 0.0, 0.0... -0.463971 -0.094434 0.406130 0.360733 0.594176 -0.069807 [0.0101436063314, 0.0436062902141, 0.801352081... 0.059384 0.661643 spd
4158 gruene \r\nsehr geehrte frau prã¤sidentin! meine sehr... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.726604 0.211045 -0.700157 0.216173 0.496854 0.019878 [0.0129531289034, 0.951110431008, 0.0012410459... 0.066446 -0.772767 gruene
1067 linke \r\n sehr geehrter herr prã¤sident! werte kol... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.222218 -0.014242 0.203622 0.147391 0.686415 -0.068128 [0.713461315783, 0.0123612422724, 0.1638277981... 0.562299 0.199604 linke
4556 gruene \r\n da mã¶gen sie recht haben, herr prã¤side... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.916823 0.716055 0.763914 -0.854565 0.101557 0.150716 [0.0459045087564, 0.614731215117, 0.0785989072... -0.060693 -0.373398 gruene
3888 gruene \r\n herr staatssekretã¤r, kã¶nnen sie bestã¤... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.676449 -0.834940 0.556972 0.951099 0.228661 0.104538 [0.179544298415, 0.80814666498, 0.003647188274... 0.193897 -0.606802 gruene
983 linke \r\n ich wundere mich nur, sigmar gabriel; de... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.737873 0.780150 -0.062750 -1.048391 0.232112 0.178898 [0.906383071477, 0.0573039163535, 0.0257862687... 0.809239 0.123080 linke
6636 spd \r\n sehr geehrter herr prã¤sident! kolleginn... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.687326 -0.002444 0.375120 0.650260 0.520505 -0.041893 [0.032163738157, 0.0170518863169, 0.7946027536... 0.054878 0.660392 spd
3323 gruene \r\n herr brauksiepe, man braucht schon – nac... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.605834 -0.560380 0.856155 0.241294 0.442431 0.017059 [0.1699908365, 0.798410464877, 0.0274217581831... 0.184697 -0.595681 gruene
8438 cdu \r\n herr präsident! meine damen und herren! ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.023711 -0.054356 -0.084476 -0.008027 0.730468 -0.022058 [0.00588232342142, 0.00403022298728, 0.1638491... -0.579315 0.252629 cdu
2040 linke \r\n frau prã¤sidentin! meine damen und herre... [0.0, 0.00759224231933, 0.0, 0.0, 0.0283817623... 0.905596 -0.048160 0.785505 0.562510 0.390207 -0.043741 [0.773409427775, 0.0246332631523, 0.0255983305... 0.621346 0.164375 linke
2834 gruene \r\nvielen dank. – frau staatssekretärin, wie ... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.463537 0.966871 -1.079914 0.146867 0.228394 0.010580 [0.0760502523356, 0.895836095578, 0.0201343411... 0.122196 -0.708493 gruene
2893 gruene \r\nherr kollege, sie haben gerade gesagt, wir... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 1.065303 -0.477578 0.655608 -0.945290 0.098492 0.153939 [0.0920951399057, 0.752036354483, 0.0108293069... 0.042830 -0.536708 gruene
4991 spd im jahr 2007 haben sich afrikanische und euro... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.343014 -0.563583 -0.335215 -0.510012 0.525354 -0.061202 [0.0876430177707, 0.00518624263783, 0.69105011... 0.029725 0.547854 spd
2716 gruene \r\n ich komme zum schuss.\r\n(ingrid arndt-b... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.866904 0.457523 -0.927783 0.259107 0.331799 0.070943 [0.0038792759666, 0.587218368554, 0.3920643000... 0.066954 -0.303032 gruene
51 linke \r\n das finde ich sehr nett von ihnen. gerne... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.809606 0.832355 -0.067928 1.160574 0.115375 0.059082 [0.483741669558, 0.0876530718333, 0.3175092729... 0.318415 0.178468 linke
5738 spd \r\n herr präsident! meine damen und herren! ... [0.0, 0.0170137754896, 0.0, 0.0, 0.0, 0.0, 0.0... -0.264414 0.122095 -0.199102 0.336329 0.657885 -0.021822 [0.00986345531181, 0.00349978020727, 0.8535432... 0.060975 0.731644 spd
3267 gruene \r\n nach angaben des statistischen bundesamt... [0.0, 0.0108998390095, 0.0, 0.0, 0.0, 0.0, 0.0... -0.460688 -0.553680 0.512585 0.588688 0.502868 0.109118 [0.0217388222869, 0.111996068343, 0.7305351138... 0.074122 0.552443 spd
860 linke \r\n herr präsident! liebe kolleginnen und ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.437686 -0.364284 -0.037082 -0.563937 0.557122 -0.017846 [0.927593669967, 0.0182706433067, 0.0262629026... 0.827065 0.159057 linke
2416 gruene \r\n selbstverständlich.\r\n clemens binninger [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.567367 1.070854 -0.439854 -1.126981 0.003894 0.024166 [0.0734448176654, 0.782881781353, 0.0035237996... 0.034870 -0.572169 gruene
1565 linke \r\n ja, von wem auch immer. – bitte schã¶n... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.824546 -0.848089 -0.043651 -1.178640 0.054725 0.210343 [0.388063579337, 0.358265077373, 0.01802094776... 0.191137 -0.106953 linke
3761 gruene \r\nnatã¼rlich habe ich eine zweite nachfrage.... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.832367 -0.627092 0.084849 1.063009 0.275219 0.021732 [0.0927759604926, 0.860731484592, 0.0011648120... 0.115886 -0.665818 gruene
4917 spd \r\n frau prã¤sidentin! liebe kolleginnen und... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.318362 -0.632014 0.137253 -0.608967 0.506554 -0.035955 [0.102970025148, 0.0553431428369, 0.6970302577... 0.090877 0.527637 spd
8832 cdu \r\nsehr geehrter herr prã¤sident! sehr geehrt... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.659355 -0.399558 -0.693630 -0.247332 0.483298 -0.009692 [0.0990182954952, 0.020296821084, 0.0724962518... -0.561177 0.174743 cdu
1102 linke \r\n herr präsident! liebe kolleginnen und ko... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.272673 0.556413 -0.496504 -0.249428 0.547844 0.009628 [0.9337644874, 0.0224475374492, 0.017786271571... 0.834805 0.154484 linke
9511 cdu \r\n liebe kolleginnen und kollegen! das them... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... 0.962924 0.376230 0.243894 1.024911 0.292570 0.066889 [0.018843846334, 0.0595371156573, 0.0910545612... -0.593794 0.171960 cdu
3584 gruene \r\nkollege brackmann, sie sind ja im haushalt... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.324933 -0.983053 -0.231836 -0.965707 0.298101 -0.014001 [0.225352209705, 0.685458844577, 0.04757109773... 0.195604 -0.463675 gruene
6159 spd \r\n sehr geehrter herr prã¤sident! liebe kol... [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ... -0.544138 0.261301 -0.553661 0.104131 0.550298 -0.065170 [0.038690787752, 0.00391555940364, 0.795225702... 0.051361 0.665283 spd
5196 spd \r\n herr präsident! meine sehr verehrten dam... [0.0, 0.00649693777028, 0.0, 0.0, 0.0, 0.0, 0.... 0.005465 0.057230 0.015445 -0.001428 0.815830 -0.038618 [0.00474234728766, 0.00175284266981, 0.6966195... -0.058074 0.574108 spd

200 rows × 13 columns


In [72]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange') # change to predicted class?
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='probas_mds_x', y='probas_mds_y', label=party, color=colors[party], ax=fig)
    fig = _fig



In [64]:
fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange') # change to predicted class?
for party, group in df_sample.groupby('predicted_party'):
    _fig = group.plot(kind='scatter', x='probas_mds_x', y='probas_mds_y', label=party, color=colors[party], ax=fig)
    fig = _fig