notebook.community

Edit and run 





In [1]:



    


import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import manifold



    











In [2]:



    


%matplotlib inline



    











In [3]:



    


import cPickle

Load data





In [4]:



    


classifier = cPickle.load(open("model/classifier.pickle"))
rawtext = cPickle.load(open("model/textdata/rawtext.pickle"))
BoW = cPickle.load(open("model/BoW.pickle"))
BoW_transformer = cPickle.load(open("model/BoW_transformer.pickle"))



    











In [5]:



    


labeled_texts = [[party, text] for (party, texts) in rawtext.items() for text in texts]
df = pd.DataFrame(labeled_texts, columns=["party", "text"])
df



    


















    
Out[5]:










  
    

      
      party
      text
    

  
  
    

      0
      linke
      \r\n  danke. – herr präsident! meine damen und...
    

    

      1
      linke
      \r\n  ich bin sofort fertig. – dabei hatte her...
    

    

      2
      linke
      \r\n  ja, herr präsident, ich nehme die wahl g...
    

    

      3
      linke
      \r\n  herr präsident! meine wortmeldung ist na...
    

    

      4
      linke
      \r\n  herr präsident! liebe kolleginnen und ko...
    

    

      5
      linke
      \r\n  herr kollege silberhorn, sie nutzen ja, ...
    

    

      6
      linke
      \r\n  frau präsidentin! auch von uns alle gute...
    

    

      7
      linke
      \r\n  herr kollege oppermann, sie haben eben g...
    

    

      8
      linke
      \r\n  liebe kollegin haßelmann, die linke wäre...
    

    

      9
      linke
      \r\n  frau präsidentin, ich hatte bereits zu b...
    

    

      10
      linke
      \r\n  danke. – ich möchte gerne etwas zu den a...
    

    

      11
      linke
      \r\n  herr präsident! meine damen und herren! ...
    

    

      12
      linke
      \r\n  herr präsident! meine damen und herren! ...
    

    

      13
      linke
      \r\n  sehr geehrter herr präsident! sehr geehr...
    

    

      14
      linke
      \r\n  es gibt momente, frau haßelmann, in dene...
    

    

      15
      linke
      \r\n  sehr geehrter herr präsident! meine dame...
    

    

      16
      linke
      \r\n  vielen dank, frau präsidentin und herr k...
    

    

      17
      linke
      \r\n  selbst in der bild heißt es unter der üb...
    

    

      18
      linke
      \r\n  frau präsidentin! liebe kolleginnen und ...
    

    

      19
      linke
      \r\n  ich komme zum schluss. – die linke sagt:...
    

    

      20
      linke
      \r\n  das ist sehr nett, vielen dank. – kolleg...
    

    

      21
      linke
      \r\n  vielen dank. – wenn das so ist, wie sie ...
    

    

      22
      linke
      \r\n  vielen dank, herr präsident. – es ist fü...
    

    

      23
      linke
      \r\n  herr staatssekretär, welche auswirkungen...
    

    

      24
      linke
      \r\n  danke schön. – ich habe eine nachfrage, ...
    

    

      25
      linke
      \r\n  herr staatssekretär, wir sind tatsächlic...
    

    

      26
      linke
      \r\n  danke.\r\n  vizepräsident peter hintze:\...
    

    

      27
      linke
      \r\n  wir wissen aus medienberichten sehr gut,...
    

    

      28
      linke
      \r\n  nein.\r\n  vizepräsident peter hintze:\r...
    

    

      29
      linke
      \r\n  danke. – sehr geehrter herr burgbacher, ...
    

    

      ...
      ...
      ...
    

    

      10219
      cdu
      \r\n  eine frage? ja, gerne.\r\n  vizeprã¤side...
    

    

      10220
      cdu
      \r\n  ich darf feststellen, herr kollege osten...
    

    

      10221
      cdu
      \r\n  frau prã¤sidentin! verehrte kolleginnen ...
    

    

      10222
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
    

    

      10223
      cdu
      \r\n  lieber herr kollege korte, ich hatte mir...
    

    

      10224
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
    

    

      10225
      cdu
      \r\n  nein, ich bin gleich fertig.\r\n(jan kor...
    

    

      10226
      cdu
      \r\n  frau prã¤sidentin! meine damen und herre...
    

    

      10227
      cdu
      \r\n  frau prã¤sidentin! meine damen und herre...
    

    

      10228
      cdu
      \r\n  ja. – bitte, frau rã¼ffer.\r\n  corinn...
    

    

      10229
      cdu
      \r\n  ich meine tatsã¤chlich, dass wir, wenn e...
    

    

      10230
      cdu
      vor 15 jahren versetzten bilder von an bse er...
    

    

      10231
      cdu
      das vierte gesetz zur ã„nderung des rindfleis...
    

    

      10232
      cdu
      erstens. wenn man die zahlreichen europã¤isch...
    

    

      10233
      cdu
      die europã¤ische kapitalmarktunion ist das pr...
    

    

      10234
      cdu
      bei diesem antrag der verehrten kollegen der ...
    

    

      10235
      cdu
      der botschafter von honduras hat es erst kã¼r...
    

    

      10236
      cdu
      \r\n  sehr geehrte frau prã¤sidentin! liebe ko...
    

    

      10237
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
    

    

      10238
      cdu
      \r\n  frau prã¤sidentin, mein letzter satz.\r\...
    

    

      10239
      cdu
      \r\n  sehr geehrte prã¤sidentin! liebe kollegi...
    

    

      10240
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
    

    

      10241
      cdu
      \r\n  danke, ich mache es sehr schnell. – im...
    

    

      10242
      cdu
      \r\n  frau prã¤sidentin! meine sehr geehrten d...
    

    

      10243
      cdu
      \r\n  sehr geehrte frau prã¤sidentin! liebe ko...
    

    

      10244
      cdu
      \r\n  frau prã¤sidentin! meine sehr verehrten ...
    

    

      10245
      cdu
      \r\n  verehrte frau prã¤sidentin! meine sehr v...
    

    

      10246
      cdu
      \r\n  frau prã¤sidentin! meine damen und herre...
    

    

      10247
      cdu
      \r\n  verehrte frau prã¤sidentin! meine sehr v...
    

    

      10248
      cdu
      \r\n  sehr geehrte frau prã¤sidentin! meine se...
    

  



10249 rows × 2 columns



















In [6]:



    


import sklearn
# find out how sklearn arranges feature vectors
c = sklearn.feature_extraction.text.CountVectorizer()
c.fit(['foo', 'bar']).transform(['foo', 'foo bar bar']).toarray()



    


















    
Out[6]:








array([[0, 1],
       [2, 1]])

















In [7]:



    


c.get_feature_names()



    


















    
Out[7]:








[u'bar', u'foo']

















In [8]:



    


df['tfidf'] = [v for (party, matrix) in BoW.items() for v in matrix.toarray()]
df



    


















    
Out[8]:










  
    

      
      party
      text
      tfidf
    

  
  
    

      0
      linke
      \r\n  danke. – herr präsident! meine damen und...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      1
      linke
      \r\n  ich bin sofort fertig. – dabei hatte her...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      2
      linke
      \r\n  ja, herr präsident, ich nehme die wahl g...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3
      linke
      \r\n  herr präsident! meine wortmeldung ist na...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4
      linke
      \r\n  herr präsident! liebe kolleginnen und ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5
      linke
      \r\n  herr kollege silberhorn, sie nutzen ja, ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6
      linke
      \r\n  frau präsidentin! auch von uns alle gute...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      7
      linke
      \r\n  herr kollege oppermann, sie haben eben g...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      8
      linke
      \r\n  liebe kollegin haßelmann, die linke wäre...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      9
      linke
      \r\n  frau präsidentin, ich hatte bereits zu b...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10
      linke
      \r\n  danke. – ich möchte gerne etwas zu den a...
      [0.0, 0.00910379012735, 0.0, 0.0, 0.0, 0.0, 0....
    

    

      11
      linke
      \r\n  herr präsident! meine damen und herren! ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      12
      linke
      \r\n  herr präsident! meine damen und herren! ...
      [0.0, 0.0186665698203, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      13
      linke
      \r\n  sehr geehrter herr präsident! sehr geehr...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      14
      linke
      \r\n  es gibt momente, frau haßelmann, in dene...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      15
      linke
      \r\n  sehr geehrter herr präsident! meine dame...
      [0.0, 0.0103990294758, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      16
      linke
      \r\n  vielen dank, frau präsidentin und herr k...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      17
      linke
      \r\n  selbst in der bild heißt es unter der üb...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      18
      linke
      \r\n  frau präsidentin! liebe kolleginnen und ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      19
      linke
      \r\n  ich komme zum schluss. – die linke sagt:...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      20
      linke
      \r\n  das ist sehr nett, vielen dank. – kolleg...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      21
      linke
      \r\n  vielen dank. – wenn das so ist, wie sie ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      22
      linke
      \r\n  vielen dank, herr präsident. – es ist fü...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      23
      linke
      \r\n  herr staatssekretär, welche auswirkungen...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      24
      linke
      \r\n  danke schön. – ich habe eine nachfrage, ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      25
      linke
      \r\n  herr staatssekretär, wir sind tatsächlic...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      26
      linke
      \r\n  danke.\r\n  vizepräsident peter hintze:\...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      27
      linke
      \r\n  wir wissen aus medienberichten sehr gut,...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      28
      linke
      \r\n  nein.\r\n  vizepräsident peter hintze:\r...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      29
      linke
      \r\n  danke. – sehr geehrter herr burgbacher, ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      ...
      ...
      ...
      ...
    

    

      10219
      cdu
      \r\n  eine frage? ja, gerne.\r\n  vizeprã¤side...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10220
      cdu
      \r\n  ich darf feststellen, herr kollege osten...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10221
      cdu
      \r\n  frau prã¤sidentin! verehrte kolleginnen ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10222
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10223
      cdu
      \r\n  lieber herr kollege korte, ich hatte mir...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10224
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10225
      cdu
      \r\n  nein, ich bin gleich fertig.\r\n(jan kor...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10226
      cdu
      \r\n  frau prã¤sidentin! meine damen und herre...
      [0.0, 0.0163195763685, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      10227
      cdu
      \r\n  frau prã¤sidentin! meine damen und herre...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10228
      cdu
      \r\n  ja. – bitte, frau rã¼ffer.\r\n  corinn...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10229
      cdu
      \r\n  ich meine tatsã¤chlich, dass wir, wenn e...
      [0.0, 0.00887377194769, 0.0, 0.0, 0.0, 0.0, 0....
    

    

      10230
      cdu
      vor 15 jahren versetzten bilder von an bse er...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10231
      cdu
      das vierte gesetz zur ã„nderung des rindfleis...
      [0.0, 0.0379768364216, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      10232
      cdu
      erstens. wenn man die zahlreichen europã¤isch...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10233
      cdu
      die europã¤ische kapitalmarktunion ist das pr...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10234
      cdu
      bei diesem antrag der verehrten kollegen der ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10235
      cdu
      der botschafter von honduras hat es erst kã¼r...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10236
      cdu
      \r\n  sehr geehrte frau prã¤sidentin! liebe ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10237
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10238
      cdu
      \r\n  frau prã¤sidentin, mein letzter satz.\r\...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10239
      cdu
      \r\n  sehr geehrte prã¤sidentin! liebe kollegi...
      [0.0, 0.0379258893317, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      10240
      cdu
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0135174510855, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      10241
      cdu
      \r\n  danke, ich mache es sehr schnell. – im...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10242
      cdu
      \r\n  frau prã¤sidentin! meine sehr geehrten d...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10243
      cdu
      \r\n  sehr geehrte frau prã¤sidentin! liebe ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10244
      cdu
      \r\n  frau prã¤sidentin! meine sehr verehrten ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10245
      cdu
      \r\n  verehrte frau prã¤sidentin! meine sehr v...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10246
      cdu
      \r\n  frau prã¤sidentin! meine damen und herre...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10247
      cdu
      \r\n  verehrte frau prã¤sidentin! meine sehr v...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      10248
      cdu
      \r\n  sehr geehrte frau prã¤sidentin! meine se...
      [0.0, 0.0261560037812, 0.0, 0.0, 0.0, 0.0, 0.0...
    

  



10249 rows × 3 columns

Sample (for quicker computations)





In [9]:



    


rows = np.random.choice(df.index.values, 200)
df_sample = df.ix[rows].copy()
df_sample



    


















    
Out[9]:










  
    

      
      party
      text
      tfidf
    

  
  
    

      3105
      gruene
      jahrzehnte haben wir die verkehrsinfrastruktu...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6415
      spd
      \r\n  sehr geehrter herr prã¤sident! liebe kol...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6471
      spd
      \r\n  sehr geehrte frau prã¤sidentin! liebe ko...
      [0.0, 0.0701537809208, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      2943
      gruene
      \r\n  frau präsidentin! liebe kolleginnen und ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6852
      spd
      \r\n  aber drauãŸen bei den bã¼rgerinnen und b...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5686
      spd
      \r\n  das machen wir gerne bei der frau kolleg...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      7707
      cdu
      \r\n  frau präsidentin! meine sehr verehrten d...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      7278
      cdu
      \r\n  sehr geehrte frau präsidentin! meine seh...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6745
      spd
      \r\nsehr geehrter herr prã¤sident! meine damen...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4261
      gruene
      \r\n  vielen dank, herr prã¤sident. – herr a...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5525
      spd
      \r\n  sehr geehrter herr präsident! liebe koll...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5472
      spd
      \r\n  frau vogler, ich werde mich sofort dazu ...
      [0.0, 0.0360875082692, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      710
      linke
      \r\nherzlichen dank, frau präsidentin. – frau ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4068
      gruene
      \r\n  herr prã¤sident! meine damen und herren!...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      7819
      cdu
      \r\n  ja, bitte schön.\r\n  vizepräsident joha...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      9297
      cdu
      \r\n  herr prã¤sident! liebe kolleginnen und k...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      8168
      cdu
      \r\n  sehr geehrter herr präsident! meine dame...
      [0.0, 0.0165728132845, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      2970
      gruene
      \r\n  lothar, ich muss jetzt das rednerpult au...
      [0.0, 0.0172061532564, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      4449
      gruene
      \r\nvielen dank, herr kollege, dass sie die fr...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      2789
      gruene
      \r\nes gehört mut dazu, sich dem populismus mi...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4758
      spd
      \r\n  lieber kollege kurth, natürlich handelt ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      8123
      cdu
      \r\n  sehr geehrter herr präsident! meine dame...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      1589
      linke
      \r\n  wir haben eine neue eu-verkehrskommissar...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      1747
      linke
      \r\n  danke, frau prã¤sidentin. – herr lã¤mm...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3458
      gruene
      \r\n  sehr geehrte frau präsidentin! sehr geeh...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3248
      gruene
      \r\n  was die zielvorstellungen angeht, sind w...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3950
      gruene
      \r\n  ja, weil ich erneut, wie bedauerlicherwe...
      [0.0, 0.0709699605658, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      1925
      linke
      \r\n  frau prã¤sidentin! meine sehr verehrten ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5475
      spd
      \r\n  vor kurzem diskutierte eine bekannte ze...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5600
      spd
      \r\n  frau präsidentin! liebe kolleginnen und ...
      [0.0, 0.0160062429994, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      ...
      ...
      ...
      ...
    

    

      3905
      gruene
      \r\n  vielen dank, dass sie die zwischenfrage ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      8579
      cdu
      \r\n  vielen dank. – frau präsidentin! meine s...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6601
      spd
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0144850395157, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      4158
      gruene
      \r\nsehr geehrte frau prã¤sidentin! meine sehr...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      1067
      linke
      \r\n  sehr geehrter herr prã¤sident! werte kol...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4556
      gruene
      \r\n  da mã¶gen sie recht haben, herr prã¤side...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3888
      gruene
      \r\n  herr staatssekretã¤r, kã¶nnen sie bestã¤...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      983
      linke
      \r\n  ich wundere mich nur, sigmar gabriel; de...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6636
      spd
      \r\n  sehr geehrter herr prã¤sident! kolleginn...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3323
      gruene
      \r\n  herr brauksiepe, man braucht schon – nac...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      8438
      cdu
      \r\n  herr präsident! meine damen und herren! ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      2040
      linke
      \r\n  frau prã¤sidentin! meine damen und herre...
      [0.0, 0.00759224231933, 0.0, 0.0, 0.0283817623...
    

    

      2834
      gruene
      \r\nvielen dank. – frau staatssekretärin, wie ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      2893
      gruene
      \r\nherr kollege, sie haben gerade gesagt, wir...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4991
      spd
      im jahr 2007 haben sich afrikanische und euro...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      2716
      gruene
      \r\n  ich komme zum schuss.\r\n(ingrid arndt-b...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      51
      linke
      \r\n  das finde ich sehr nett von ihnen. gerne...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5738
      spd
      \r\n  herr präsident! meine damen und herren! ...
      [0.0, 0.0170137754896, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      3267
      gruene
      \r\n  nach angaben des statistischen bundesamt...
      [0.0, 0.0108998390095, 0.0, 0.0, 0.0, 0.0, 0.0...
    

    

      860
      linke
      \r\n  herr präsident! liebe kolleginnen und ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      2416
      gruene
      \r\n  selbstverständlich.\r\n  clemens binninger
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      1565
      linke
      \r\n  ja, von wem auch immer. – bitte schã¶n...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3761
      gruene
      \r\nnatã¼rlich habe ich eine zweite nachfrage....
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      4917
      spd
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      8832
      cdu
      \r\nsehr geehrter herr prã¤sident! sehr geehrt...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      1102
      linke
      \r\n  herr präsident! liebe kolleginnen und ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      9511
      cdu
      \r\n  liebe kolleginnen und kollegen! das them...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      3584
      gruene
      \r\nkollege brackmann, sie sind ja im haushalt...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      6159
      spd
      \r\n  sehr geehrter herr prã¤sident! liebe kol...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
    

    

      5196
      spd
      \r\n  herr präsident! meine sehr verehrten dam...
      [0.0, 0.00649693777028, 0.0, 0.0, 0.0, 0.0, 0....
    

  



200 rows × 3 columns



















In [10]:



    


df_sample.groupby('party').count()['text'].plot(kind='bar')



    


















    
Out[10]:








<matplotlib.axes._subplots.AxesSubplot at 0x116ffb290>

MDS





In [11]:



    


clf = manifold.MDS(n_components=2, n_init=1, max_iter=100)
X_mds = clf.fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_mds)
df_sample['mds_x'] = x
df_sample['mds_y'] = y



    











In [12]:



    


fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='mds_x', y='mds_y', label=party, color=colors[party], ax=fig)
    fig = _fig

t-SNE





In [13]:



    


tsne = manifold.TSNE(n_components=2, init='pca', random_state=0)
X_tsne = clf.fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_tsne)
df_sample['tsne_x'] = x
df_sample['tsne_y'] = y



    











In [14]:



    


fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='tsne_x', y='tsne_y', label=party, color=colors[party], ax=fig)
    fig = _fig

PCA





In [15]:



    


X_pca = sklearn.decomposition.TruncatedSVD(n_components=2).fit_transform(df_sample['tfidf'].tolist())
x, y = np.transpose(X_pca)
df_sample['pca_x'] = x
df_sample['pca_y'] = y



    











In [16]:



    


fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange')
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='pca_x', y='pca_y', label=party, color=colors[party], ax=fig)
    fig = _fig

With predictions...





In [59]:



    


clf = classifier['classifier']
labels = classifier['labels']
df_sample['probas'] = map(list, clf.predict_proba(df_sample['tfidf'].tolist()))



    











In [67]:



    


def predicted_label(probas):
    return labels[probas.index(max(probas))]
    
df_sample['predicted_party'] = df_sample['probas'].map(predicted_label)



    











In [71]:



    


clf = manifold.MDS(n_components=2, n_init=1, max_iter=100)
X_mds = clf.fit_transform(df_sample['probas'].tolist())
x, y = np.transpose(X_mds)
df_sample['probas_mds_x'] = x
df_sample['probas_mds_y'] = y



    











In [73]:



    


df_sample



    


















    
Out[73]:










  
    

      
      party
      text
      tfidf
      mds_x
      mds_y
      tsne_x
      tsne_y
      pca_x
      pca_y
      probas
      probas_mds_x
      probas_mds_y
      predicted_party
    

  
  
    

      3105
      gruene
      jahrzehnte haben wir die verkehrsinfrastruktu...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.468529
      -0.842612
      0.397117
      0.927208
      0.349205
      -0.008612
      [0.0462275445717, 0.839816309232, 0.0233555789...
      0.050387
      -0.639848
      gruene
    

    

      6415
      spd
      \r\n  sehr geehrter herr prã¤sident! liebe kol...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.589077
      -0.269113
      -0.232690
      0.627545
      0.527804
      -0.005100
      [0.039619684709, 0.0123917168816, 0.6575859225...
      -0.039489
      0.520388
      spd
    

    

      6471
      spd
      \r\n  sehr geehrte frau prã¤sidentin! liebe ko...
      [0.0, 0.0701537809208, 0.0, 0.0, 0.0, 0.0, 0.0...
      -0.009976
      -0.221321
      0.013467
      0.283198
      0.693355
      -0.052319
      [0.0271668450658, 0.00236885547539, 0.79267415...
      0.036273
      0.664979
      spd
    

    

      2943
      gruene
      \r\n  frau präsidentin! liebe kolleginnen und ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.749642
      0.168758
      -0.162238
      0.777753
      0.487333
      0.008156
      [0.00302601926715, 0.977694956686, 0.008500139...
      0.075822
      -0.803659
      gruene
    

    

      6852
      spd
      \r\n  aber drauãŸen bei den bã¼rgerinnen und b...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.291768
      0.812791
      -0.791540
      0.081708
      0.456261
      -0.006655
      [0.0184782441291, 0.0594718391032, 0.794676730...
      0.075545
      0.647236
      spd
    

    

      5686
      spd
      \r\n  das machen wir gerne bei der frau kolleg...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -1.126251
      -0.157745
      -0.806310
      -0.806919
      0.137643
      0.220041
      [0.00465401585807, 0.039291436309, 0.348900630...
      -0.325263
      0.287638
      cdu
    

    

      7707
      cdu
      \r\n  frau präsidentin! meine sehr verehrten d...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.352647
      -0.443740
      -0.567349
      -0.052930
      0.560164
      -0.001297
      [0.00277964446963, 0.0188611622795, 0.07066557...
      -0.679890
      0.209449
      cdu
    

    

      7278
      cdu
      \r\n  sehr geehrte frau präsidentin! meine seh...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.562720
      -0.598396
      0.766517
      -0.216294
      0.461378
      -0.001338
      [0.149685286305, 0.0398464744387, 0.0568199324...
      -0.491513
      0.136865
      cdu
    

    

      6745
      spd
      \r\nsehr geehrter herr prã¤sident! meine damen...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.014202
      0.876598
      0.618576
      -0.581874
      0.438060
      -0.029627
      [0.0180836409123, 0.122478789398, 0.7091504494...
      0.063561
      0.522463
      spd
    

    

      4261
      gruene
      \r\n  vielen dank, herr prã¤sident. – herr a...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.886641
      0.338966
      0.679583
      -0.653436
      0.377008
      0.056215
      [0.0191887625007, 0.843575723185, 0.0895079523...
      0.046047
      -0.649502
      gruene
    

    

      5525
      spd
      \r\n  sehr geehrter herr präsident! liebe koll...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.484179
      1.015868
      -0.239068
      1.105424
      0.171031
      0.101221
      [0.00570849942347, 0.117775311393, 0.666262945...
      0.018348
      0.475759
      spd
    

    

      5472
      spd
      \r\n  frau vogler, ich werde mich sofort dazu ...
      [0.0, 0.0360875082692, 0.0, 0.0, 0.0, 0.0, 0.0...
      -0.474501
      0.673940
      0.822351
      -0.051299
      0.476004
      -0.034048
      [0.0445842917265, 0.0101857666795, 0.815028534...
      0.077645
      0.683180
      spd
    

    

      710
      linke
      \r\nherzlichen dank, frau präsidentin. – frau ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.977115
      -0.310883
      -0.904615
      -0.444217
      0.303769
      0.109841
      [0.505743867209, 0.465542935279, 0.01726804878...
      0.420991
      -0.238455
      linke
    

    

      4068
      gruene
      \r\n  herr prã¤sident! meine damen und herren!...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.101017
      -0.551751
      0.258077
      0.612373
      0.550633
      -0.028763
      [0.0895776535176, 0.879309579467, 0.0226472343...
      0.130551
      -0.689085
      gruene
    

    

      7819
      cdu
      \r\n  ja, bitte schön.\r\n  vizepräsident joha...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.536392
      -1.050688
      1.133363
      -0.315291
      0.070648
      0.118839
      [0.163205400456, 0.0143659363187, 0.0734152681...
      -0.480763
      0.159613
      cdu
    

    

      9297
      cdu
      \r\n  herr prã¤sident! liebe kolleginnen und k...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.104248
      0.032680
      0.183357
      0.215888
      0.710606
      -0.051007
      [0.00184665782154, 0.00958449215895, 0.2294015...
      -0.498783
      0.274393
      cdu
    

    

      8168
      cdu
      \r\n  sehr geehrter herr präsident! meine dame...
      [0.0, 0.0165728132845, 0.0, 0.0, 0.0, 0.0, 0.0...
      0.194670
      0.564477
      0.079724
      -0.411466
      0.558051
      -0.029917
      [0.0332520589483, 0.0182187413005, 0.070164375...
      -0.647204
      0.199930
      cdu
    

    

      2970
      gruene
      \r\n  lothar, ich muss jetzt das rednerpult au...
      [0.0, 0.0172061532564, 0.0, 0.0, 0.0, 0.0, 0.0...
      0.808297
      -0.186977
      0.887379
      -0.162717
      0.431725
      0.000742
      [0.0046855724485, 0.793589036699, 0.0868158677...
      0.000635
      -0.587820
      gruene
    

    

      4449
      gruene
      \r\nvielen dank, herr kollege, dass sie die fr...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.289448
      1.007529
      1.057146
      0.075289
      0.276470
      -0.027559
      [0.14733976735, 0.763703936659, 0.031383045789...
      0.136921
      -0.553724
      gruene
    

    

      2789
      gruene
      \r\nes gehört mut dazu, sich dem populismus mi...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.630258
      -0.882221
      -0.198649
      -1.042934
      0.242743
      0.030418
      [0.00530215544258, 0.77783860511, 0.1158674170...
      0.004387
      -0.569812
      gruene
    

    

      4758
      spd
      \r\n  lieber kollege kurth, natürlich handelt ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.444532
      0.564396
      -0.635947
      -0.142514
      0.523713
      -0.027256
      [0.000856462359728, 0.0213635466202, 0.8723167...
      0.085980
      0.744891
      spd
    

    

      8123
      cdu
      \r\n  sehr geehrter herr präsident! meine dame...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.020770
      0.581387
      -0.011105
      -0.473083
      0.562572
      -0.005189
      [0.0238097479719, 0.00249702026847, 0.04061712...
      -0.710797
      0.212355
      cdu
    

    

      1589
      linke
      \r\n  wir haben eine neue eu-verkehrskommissar...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.946975
      -0.628574
      0.536097
      -0.986334
      0.144448
      0.008756
      [0.787766827292, 0.178452649274, 0.02355089519...
      0.685582
      0.013317
      linke
    

    

      1747
      linke
      \r\n  danke, frau prã¤sidentin. – herr lã¤mm...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.019620
      -0.913990
      -0.421695
      -0.754534
      0.395950
      0.021505
      [0.798839422709, 0.134778624168, 0.00625055118...
      0.684301
      0.054873
      linke
    

    

      3458
      gruene
      \r\n  sehr geehrte frau präsidentin! sehr geeh...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.261788
      0.738356
      0.107973
      -0.716147
      0.490363
      -0.012078
      [0.013956151425, 0.924825206302, 0.05002586355...
      0.075283
      -0.744327
      gruene
    

    

      3248
      gruene
      \r\n  was die zielvorstellungen angeht, sind w...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.102905
      1.138287
      1.027521
      -0.478443
      0.143048
      0.186357
      [0.0762729457228, 0.814490684058, 0.0327788442...
      0.079621
      -0.611069
      gruene
    

    

      3950
      gruene
      \r\n  ja, weil ich erneut, wie bedauerlicherwe...
      [0.0, 0.0709699605658, 0.0, 0.0, 0.0, 0.0, 0.0...
      1.027120
      0.180958
      -0.813772
      0.608139
      0.313666
      0.065620
      [0.0508342550553, 0.930615009699, 0.0138976524...
      0.108953
      -0.748752
      gruene
    

    

      1925
      linke
      \r\n  frau prã¤sidentin! meine sehr verehrten ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.159531
      0.793254
      0.354214
      0.765608
      0.481280
      -0.002765
      [0.85987824479, 0.0196582795763, 0.02444677728...
      0.738729
      0.166078
      linke
    

    

      5475
      spd
      \r\n  vor kurzem diskutierte eine bekannte ze...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.502829
      -0.778686
      -0.575374
      0.739828
      0.391334
      -0.027449
      [0.128349710623, 0.0312443158719, 0.6560673577...
      0.071055
      0.489868
      spd
    

    

      5600
      spd
      \r\n  frau präsidentin! liebe kolleginnen und ...
      [0.0, 0.0160062429994, 0.0, 0.0, 0.0, 0.0, 0.0...
      -0.034154
      0.770622
      0.678068
      0.442880
      0.496964
      -0.049918
      [0.0168290751963, 0.0247464101062, 0.816423153...
      0.060199
      0.683990
      spd
    

    

      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
    

    

      3905
      gruene
      \r\n  vielen dank, dass sie die zwischenfrage ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.884675
      -0.375055
      0.063980
      -0.940037
      0.342111
      -0.010034
      [0.0317007703141, 0.897081693639, 0.0315444014...
      0.072274
      -0.710163
      gruene
    

    

      8579
      cdu
      \r\n  vielen dank. – frau präsidentin! meine s...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.906017
      0.106666
      -0.829329
      0.346804
      0.383469
      0.815466
      [0.0793680839567, 0.080956060772, 0.2485771054...
      -0.307422
      0.183206
      cdu
    

    

      6601
      spd
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0144850395157, 0.0, 0.0, 0.0, 0.0, 0.0...
      -0.463971
      -0.094434
      0.406130
      0.360733
      0.594176
      -0.069807
      [0.0101436063314, 0.0436062902141, 0.801352081...
      0.059384
      0.661643
      spd
    

    

      4158
      gruene
      \r\nsehr geehrte frau prã¤sidentin! meine sehr...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.726604
      0.211045
      -0.700157
      0.216173
      0.496854
      0.019878
      [0.0129531289034, 0.951110431008, 0.0012410459...
      0.066446
      -0.772767
      gruene
    

    

      1067
      linke
      \r\n  sehr geehrter herr prã¤sident! werte kol...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.222218
      -0.014242
      0.203622
      0.147391
      0.686415
      -0.068128
      [0.713461315783, 0.0123612422724, 0.1638277981...
      0.562299
      0.199604
      linke
    

    

      4556
      gruene
      \r\n  da mã¶gen sie recht haben, herr prã¤side...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.916823
      0.716055
      0.763914
      -0.854565
      0.101557
      0.150716
      [0.0459045087564, 0.614731215117, 0.0785989072...
      -0.060693
      -0.373398
      gruene
    

    

      3888
      gruene
      \r\n  herr staatssekretã¤r, kã¶nnen sie bestã¤...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.676449
      -0.834940
      0.556972
      0.951099
      0.228661
      0.104538
      [0.179544298415, 0.80814666498, 0.003647188274...
      0.193897
      -0.606802
      gruene
    

    

      983
      linke
      \r\n  ich wundere mich nur, sigmar gabriel; de...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.737873
      0.780150
      -0.062750
      -1.048391
      0.232112
      0.178898
      [0.906383071477, 0.0573039163535, 0.0257862687...
      0.809239
      0.123080
      linke
    

    

      6636
      spd
      \r\n  sehr geehrter herr prã¤sident! kolleginn...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.687326
      -0.002444
      0.375120
      0.650260
      0.520505
      -0.041893
      [0.032163738157, 0.0170518863169, 0.7946027536...
      0.054878
      0.660392
      spd
    

    

      3323
      gruene
      \r\n  herr brauksiepe, man braucht schon – nac...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.605834
      -0.560380
      0.856155
      0.241294
      0.442431
      0.017059
      [0.1699908365, 0.798410464877, 0.0274217581831...
      0.184697
      -0.595681
      gruene
    

    

      8438
      cdu
      \r\n  herr präsident! meine damen und herren! ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.023711
      -0.054356
      -0.084476
      -0.008027
      0.730468
      -0.022058
      [0.00588232342142, 0.00403022298728, 0.1638491...
      -0.579315
      0.252629
      cdu
    

    

      2040
      linke
      \r\n  frau prã¤sidentin! meine damen und herre...
      [0.0, 0.00759224231933, 0.0, 0.0, 0.0283817623...
      0.905596
      -0.048160
      0.785505
      0.562510
      0.390207
      -0.043741
      [0.773409427775, 0.0246332631523, 0.0255983305...
      0.621346
      0.164375
      linke
    

    

      2834
      gruene
      \r\nvielen dank. – frau staatssekretärin, wie ...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.463537
      0.966871
      -1.079914
      0.146867
      0.228394
      0.010580
      [0.0760502523356, 0.895836095578, 0.0201343411...
      0.122196
      -0.708493
      gruene
    

    

      2893
      gruene
      \r\nherr kollege, sie haben gerade gesagt, wir...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      1.065303
      -0.477578
      0.655608
      -0.945290
      0.098492
      0.153939
      [0.0920951399057, 0.752036354483, 0.0108293069...
      0.042830
      -0.536708
      gruene
    

    

      4991
      spd
      im jahr 2007 haben sich afrikanische und euro...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.343014
      -0.563583
      -0.335215
      -0.510012
      0.525354
      -0.061202
      [0.0876430177707, 0.00518624263783, 0.69105011...
      0.029725
      0.547854
      spd
    

    

      2716
      gruene
      \r\n  ich komme zum schuss.\r\n(ingrid arndt-b...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.866904
      0.457523
      -0.927783
      0.259107
      0.331799
      0.070943
      [0.0038792759666, 0.587218368554, 0.3920643000...
      0.066954
      -0.303032
      gruene
    

    

      51
      linke
      \r\n  das finde ich sehr nett von ihnen. gerne...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.809606
      0.832355
      -0.067928
      1.160574
      0.115375
      0.059082
      [0.483741669558, 0.0876530718333, 0.3175092729...
      0.318415
      0.178468
      linke
    

    

      5738
      spd
      \r\n  herr präsident! meine damen und herren! ...
      [0.0, 0.0170137754896, 0.0, 0.0, 0.0, 0.0, 0.0...
      -0.264414
      0.122095
      -0.199102
      0.336329
      0.657885
      -0.021822
      [0.00986345531181, 0.00349978020727, 0.8535432...
      0.060975
      0.731644
      spd
    

    

      3267
      gruene
      \r\n  nach angaben des statistischen bundesamt...
      [0.0, 0.0108998390095, 0.0, 0.0, 0.0, 0.0, 0.0...
      -0.460688
      -0.553680
      0.512585
      0.588688
      0.502868
      0.109118
      [0.0217388222869, 0.111996068343, 0.7305351138...
      0.074122
      0.552443
      spd
    

    

      860
      linke
      \r\n  herr präsident! liebe kolleginnen und ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.437686
      -0.364284
      -0.037082
      -0.563937
      0.557122
      -0.017846
      [0.927593669967, 0.0182706433067, 0.0262629026...
      0.827065
      0.159057
      linke
    

    

      2416
      gruene
      \r\n  selbstverständlich.\r\n  clemens binninger
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.567367
      1.070854
      -0.439854
      -1.126981
      0.003894
      0.024166
      [0.0734448176654, 0.782881781353, 0.0035237996...
      0.034870
      -0.572169
      gruene
    

    

      1565
      linke
      \r\n  ja, von wem auch immer. – bitte schã¶n...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.824546
      -0.848089
      -0.043651
      -1.178640
      0.054725
      0.210343
      [0.388063579337, 0.358265077373, 0.01802094776...
      0.191137
      -0.106953
      linke
    

    

      3761
      gruene
      \r\nnatã¼rlich habe ich eine zweite nachfrage....
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.832367
      -0.627092
      0.084849
      1.063009
      0.275219
      0.021732
      [0.0927759604926, 0.860731484592, 0.0011648120...
      0.115886
      -0.665818
      gruene
    

    

      4917
      spd
      \r\n  frau prã¤sidentin! liebe kolleginnen und...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.318362
      -0.632014
      0.137253
      -0.608967
      0.506554
      -0.035955
      [0.102970025148, 0.0553431428369, 0.6970302577...
      0.090877
      0.527637
      spd
    

    

      8832
      cdu
      \r\nsehr geehrter herr prã¤sident! sehr geehrt...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.659355
      -0.399558
      -0.693630
      -0.247332
      0.483298
      -0.009692
      [0.0990182954952, 0.020296821084, 0.0724962518...
      -0.561177
      0.174743
      cdu
    

    

      1102
      linke
      \r\n  herr präsident! liebe kolleginnen und ko...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.272673
      0.556413
      -0.496504
      -0.249428
      0.547844
      0.009628
      [0.9337644874, 0.0224475374492, 0.017786271571...
      0.834805
      0.154484
      linke
    

    

      9511
      cdu
      \r\n  liebe kolleginnen und kollegen! das them...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      0.962924
      0.376230
      0.243894
      1.024911
      0.292570
      0.066889
      [0.018843846334, 0.0595371156573, 0.0910545612...
      -0.593794
      0.171960
      cdu
    

    

      3584
      gruene
      \r\nkollege brackmann, sie sind ja im haushalt...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.324933
      -0.983053
      -0.231836
      -0.965707
      0.298101
      -0.014001
      [0.225352209705, 0.685458844577, 0.04757109773...
      0.195604
      -0.463675
      gruene
    

    

      6159
      spd
      \r\n  sehr geehrter herr prã¤sident! liebe kol...
      [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...
      -0.544138
      0.261301
      -0.553661
      0.104131
      0.550298
      -0.065170
      [0.038690787752, 0.00391555940364, 0.795225702...
      0.051361
      0.665283
      spd
    

    

      5196
      spd
      \r\n  herr präsident! meine sehr verehrten dam...
      [0.0, 0.00649693777028, 0.0, 0.0, 0.0, 0.0, 0....
      0.005465
      0.057230
      0.015445
      -0.001428
      0.815830
      -0.038618
      [0.00474234728766, 0.00175284266981, 0.6966195...
      -0.058074
      0.574108
      spd
    

  



200 rows × 13 columns



















In [72]:



    


fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange') # change to predicted class?
for party, group in df_sample.groupby('party'):
    _fig = group.plot(kind='scatter', x='probas_mds_x', y='probas_mds_y', label=party, color=colors[party], ax=fig)
    fig = _fig



    


















    
























In [64]:



    


fig = None
colors = dict(spd='red', cdu='black', gruene='green', linke='orange') # change to predicted class?
for party, group in df_sample.groupby('predicted_party'):
    _fig = group.plot(kind='scatter', x='probas_mds_x', y='probas_mds_y', label=party, color=colors[party], ax=fig)
    fig = _fig

Content source: kirel/political-affiliation-prediction

Similar notebooks:

notebook.community | gallery | about