Man kann die Gedanken einer anderen Person lesen, indem man sie in eine große magnetische Röhre legt. Dabei kommen Bilder heraus, die zunächste alle irgendwie gleich aussehen. Wie man aus diesen Bildern bunte Karten mit Hirnaktivität macht, und die Karten dann benutzen kann um Gedanken zu lesen, wird in den nachfolgenden Kapiteln beschrieben.

1. Vom Gedanken zur Karte

Zum einen können wir versuchen, Bilder davon zu erstellen, wie das Gehirn aussieht, wenn eine Person an etwas Bestimmtes denkt. Dazu müssen wir herausfinden, wie wir aus den nichtssagenden Bildern die die Röhre produziert, Bilder machen können die Aktivierungen an bestimmten Stellen im Gehirn zeigen. Es hilft sicherlich, etwas darüber zu wissen, wie bestimmte Gedanken wohl im Gehirn repräsentiert sein könnten, also welche Muster von Aktivierung plausibel sind und nach welchen Mustern wir gucken sollten, wenn wir den einen oder den anderen Gedanken identifizieren wollen. Zum Beispiel gibt es eine ganze Reihe von recht großen Regionen die aktiv sind, wenn wir sprechen, lesen oder an Wörter denken. Da Sprache eine ziemlich umfangreiche, wichtige und eher grobe Kategorie dessen ist, was wir so mit unserem Gehirn machen können, ist es ganz sinnvoll, dass wir nach großen Klecksen von Aktivierung gucken sollten. Das heißt, in dem Fall sollten wir einen Schritt zurück treten und das Gehirn eher wie eine Landkarte betrachten und die Lappen des Gehirns als Kontinente, mit einzelnen Hirnregionen als Länder.-

2. Von der Karte zum Gedanken

Land- oder Seekarten haben einen Zweck. Sie können einem helfen zu navigieren. Welchen Zweck könnten Hirnkarten haben? Vielleicht können wir Hirnkarten benutzen, um aus ihnen abzulesen was eine Person gedacht hat, als die Bilder von ihrem Gehirn aufgenommen wurden.

Der unoriginellste Einwand gegen unsere Unternehmung ist, dass man einfacher "Gedanken lesen" kann wenn man die Leute fragt was sie denken. Sigmund Freud wäre eventuell anderer Meinung. Wir denken oft ohne dass man uns direkt fragen kann, zum Beispiel wenn wir träumen. Wenn die Technologie, unser Verständnis vom Gehirn und unsere Fähigkeiten Daten auszuwerten irgendwann so weit sind dass wir Morgens nach dem Aufwachen Videos unserer Träume gucken können, dann wäre das schon etwas anderes, als wenn uns jemand fragt, was wir geträumt haben. Kommunikation mit Menschen die im Wachkoma sind oder im Locked-In Syndrom, d.h. keine Kontrolle über ihren Körper haben, deren Verstand aber wach ist, ist etwas was wir mit fMRT machen können und hat ohne Zweifel praktische Relevanz.

3. Rezepte zum Gedankenlesen

Nachfolgend lernen wir ein paar extrem primitive Ansätze mit denen wir Hirnkarten erstellen und Gedanken lesen können. Viele dieser Ansätze sind bewusst suboptimal, mathematisch unelegant und umständlich. Sie haben aber den Vorteil, dass man sie ohne Vorkenntnisse verstehen kann und dass sie tatsächlich sehr gut funktionieren.

Die Ansätze betonen immer Transparenz und Visualsierbarkeit. In der Regel versuchen wir nicht, die Daten auszuwerten, sondern zu transformieren. Eine Transformation könnte sein, Datenpunkt X und Datenpunkt Y voneinander zu subtrahieren. Die Differenz zwischen zwei Datenpunkten ist unglaublich hilfreich, weil sie ein Ähnlichkeitsmaß darstellt (kleine Differenz = ähnlich; große (absolute) Differenz = unähnlich). Wenn wir solche Transformationen als Hirnbilder visualisieren (z.B. wo tut sich mehr wenn jemand an ein Gesicht denkt, als wenn jemand an ein Wort denkt), können wir oft mit eigenen Augen sehen, welche Regionen für welchen Prozess wichtig sind.

Die Ansätze die wir verwenden wollen sind eher wie Rezepte zu verstehen und wir bewerten sie vor allem danach, wie gut sie funktionieren und nicht danach, ob sie theoretisch sauber sind. Wenn das hier ein Kochkurs wäre, würden wir also wenig über die Eigenschaften von Mehl, Butter oder Hefe lernen, sondern einfach den Kuchen backen.

4. Überblick über unsere Ziele

Die wichtigsten Fragen denen wir bei unserem Vorgehen begegnen werden sind die folgenden:

  • Wie können wir Hirnkarten erstellen (Enkodieren von kognitiven Prozessen in Hirnaktivität)?
  • Wie können wir Hirnkarten lesen (Dekodieren von Hirnaktivität in kognitive Prozesse)?
  • Was lernen wir aus der visuellen Inspektion von Daten?
  • Wie können wir ausdrücken, wie ähnlich oder unähnlich sich zwei Hirnkarten sind?
  • Wie können wir Hirnkarten in bestimmte Gruppen (z.B. die Gruppe "Denken an Wörter) einteilen (Klassifikation)?
  • Welche Eigenschaften der Bilder sind besonders wichtig, welche sind uninteressant (Feature Selection)?
  • Wie können wir unsere Fähigkeit Gedanken zu lesen verbessern (Training, Kreuzvalidierung)?
  • Wie können wir unsere Fähigkeit Gedanken zu lesen unter Beweis stellen (Testing, Validierung)?

5. Unsere Daten

Unser Datensatz besteht aus 5 Bedingungen (denken an: Wörter,Gesichter,Orte,Bewegungen,Nichts) mit jeweils 15 Wiederholungen. Jede Wiederholung ist 30 Sekunden lang. 2/3 der Daten verwenden wir zum Training, 1/3 verwenden wir nur einmal ganz am Ende zu Testing. Hier eine Tabelle mit dem Ablauf der ersten 2/3 der Studie:


In [2]:
import pandas as pd

In [3]:
df = pd.concat([pd.read_csv('../data/run1.csv'),pd.read_csv('../data/run2.csv')])
df.index = range(1,len(df.index)+1)
df


Out[3]:
bedingung inhalt
1 ruhe ruhe
2 sprache tiere
3 homewalk jahnplatz
4 gesichter familie
5 motorik badminton
6 sprache werkezeuge
7 gesichter freunde
8 homewalk kesselbrink
9 ruhe ruhe
10 motorik tennis
11 homewalk strassenbahn
12 sprache staedte
13 gesichter filmschauspieler
14 ruhe ruhe
15 motorik schwimmen
16 gesichter sportler
17 homewalk bahnhof
18 sprache laender
19 ruhe ruhe
20 motorik fussball
21 sprache berufe
22 homewalk schule
23 ruhe ruhe
24 gesichter serienschauspieler
25 motorik hochsprung
26 homewalk kriche
27 ruhe ruhe
28 sprache obst
29 gesichter politiker
30 motorik klettern
31 ruhe ruhe
32 homewalk keller
33 gesichter dozenten
34 sprache kleidung
35 motorik huerdenlauf
36 gesichter lehrer
37 ruhe ruhe
38 homewalk spaziergang
39 sprache gemuese
40 motorik schiessen
41 homewalk kiel
42 gesichter familie
43 ruhe ruhe
44 sprache moebel
45 motorik seilspringen
46 ruhe ruhe
47 gesichter freunde
48 sprache farben
49 homewalk universitaet
50 motorik jonglieren

Hirnkarten der typischen Aktivität für jede unserer Bedingungen finden sich auf Neurovault.

Literatur zum Einstieg

Abraham, A., Pedregosa, F., Eickenberg, M., Gervais, P., Muller, A., Kossaifi, J., ... & Varoquaux, G. (2014). Machine learning for neuroimaging with scikit-learn. Front. Neuroinform., 10.3389/fninf.2014.00014

Bzdok, D. (2016). Classical statistics and statistical learning in imaging neuroscience. arXiv preprint arXiv:1603.01857.

Cohen, J. D., Daw, N., Engelhardt, B., Hasson, U., Li, K., Niv, Y., ... & Willke, T. L. (2017). Computational approaches to fMRI analysis. Nature Neuroscience, 20(3), 304-313.

Haxby, J. V., Connolly, A. C., & Guntupalli, J. S. (2014). Decoding neural representational spaces using multivariate pattern analysis. Annual review of neuroscience, 37, 435-456.

Resnick, B. (2017). Brain activity is too complicated for humans to decipher. Machines can decode it for us. vox.com Jan 12, 2017, 11:18am EST

Shen, H. (2014). Interactive notebooks: Sharing the code. Nature, 515(7525), 151.