Man kann die Gedanken einer anderen Person lesen, indem man sie in eine große magnetische Röhre legt. Dabei kommen Bilder heraus, die zunächste alle irgendwie gleich aussehen. Wie man aus diesen Bildern bunte Karten mit Hirnaktivität macht, und die Karten dann benutzen kann um Gedanken zu lesen, wird in den nachfolgenden Kapiteln beschrieben.
Zum einen können wir versuchen, Bilder davon zu erstellen, wie das Gehirn aussieht, wenn eine Person an etwas Bestimmtes denkt. Dazu müssen wir herausfinden, wie wir aus den nichtssagenden Bildern die die Röhre produziert, Bilder machen können die Aktivierungen an bestimmten Stellen im Gehirn zeigen. Es hilft sicherlich, etwas darüber zu wissen, wie bestimmte Gedanken wohl im Gehirn repräsentiert sein könnten, also welche Muster von Aktivierung plausibel sind und nach welchen Mustern wir gucken sollten, wenn wir den einen oder den anderen Gedanken identifizieren wollen. Zum Beispiel gibt es eine ganze Reihe von recht großen Regionen die aktiv sind, wenn wir sprechen, lesen oder an Wörter denken. Da Sprache eine ziemlich umfangreiche, wichtige und eher grobe Kategorie dessen ist, was wir so mit unserem Gehirn machen können, ist es ganz sinnvoll, dass wir nach großen Klecksen von Aktivierung gucken sollten. Das heißt, in dem Fall sollten wir einen Schritt zurück treten und das Gehirn eher wie eine Landkarte betrachten und die Lappen des Gehirns als Kontinente, mit einzelnen Hirnregionen als Länder.-
Land- oder Seekarten haben einen Zweck. Sie können einem helfen zu navigieren. Welchen Zweck könnten Hirnkarten haben? Vielleicht können wir Hirnkarten benutzen, um aus ihnen abzulesen was eine Person gedacht hat, als die Bilder von ihrem Gehirn aufgenommen wurden.
Der unoriginellste Einwand gegen unsere Unternehmung ist, dass man einfacher "Gedanken lesen" kann wenn man die Leute fragt was sie denken. Sigmund Freud wäre eventuell anderer Meinung. Wir denken oft ohne dass man uns direkt fragen kann, zum Beispiel wenn wir träumen. Wenn die Technologie, unser Verständnis vom Gehirn und unsere Fähigkeiten Daten auszuwerten irgendwann so weit sind dass wir Morgens nach dem Aufwachen Videos unserer Träume gucken können, dann wäre das schon etwas anderes, als wenn uns jemand fragt, was wir geträumt haben. Kommunikation mit Menschen die im Wachkoma sind oder im Locked-In Syndrom, d.h. keine Kontrolle über ihren Körper haben, deren Verstand aber wach ist, ist etwas was wir mit fMRT machen können und hat ohne Zweifel praktische Relevanz.
Nachfolgend lernen wir ein paar extrem primitive Ansätze mit denen wir Hirnkarten erstellen und Gedanken lesen können. Viele dieser Ansätze sind bewusst suboptimal, mathematisch unelegant und umständlich. Sie haben aber den Vorteil, dass man sie ohne Vorkenntnisse verstehen kann und dass sie tatsächlich sehr gut funktionieren.
Die Ansätze betonen immer Transparenz und Visualsierbarkeit. In der Regel versuchen wir nicht, die Daten auszuwerten, sondern zu transformieren. Eine Transformation könnte sein, Datenpunkt X und Datenpunkt Y voneinander zu subtrahieren. Die Differenz zwischen zwei Datenpunkten ist unglaublich hilfreich, weil sie ein Ähnlichkeitsmaß darstellt (kleine Differenz = ähnlich; große (absolute) Differenz = unähnlich). Wenn wir solche Transformationen als Hirnbilder visualisieren (z.B. wo tut sich mehr wenn jemand an ein Gesicht denkt, als wenn jemand an ein Wort denkt), können wir oft mit eigenen Augen sehen, welche Regionen für welchen Prozess wichtig sind.
Die Ansätze die wir verwenden wollen sind eher wie Rezepte zu verstehen und wir bewerten sie vor allem danach, wie gut sie funktionieren und nicht danach, ob sie theoretisch sauber sind. Wenn das hier ein Kochkurs wäre, würden wir also wenig über die Eigenschaften von Mehl, Butter oder Hefe lernen, sondern einfach den Kuchen backen.
Die wichtigsten Fragen denen wir bei unserem Vorgehen begegnen werden sind die folgenden:
Unser Datensatz besteht aus 5 Bedingungen (denken an: Wörter,Gesichter,Orte,Bewegungen,Nichts) mit jeweils 15 Wiederholungen. Jede Wiederholung ist 30 Sekunden lang. 2/3 der Daten verwenden wir zum Training, 1/3 verwenden wir nur einmal ganz am Ende zu Testing. Hier eine Tabelle mit dem Ablauf der ersten 2/3 der Studie:
In [2]:
import pandas as pd
In [3]:
df = pd.concat([pd.read_csv('../data/run1.csv'),pd.read_csv('../data/run2.csv')])
df.index = range(1,len(df.index)+1)
df
Out[3]:
Hirnkarten der typischen Aktivität für jede unserer Bedingungen finden sich auf Neurovault.
Abraham, A., Pedregosa, F., Eickenberg, M., Gervais, P., Muller, A., Kossaifi, J., ... & Varoquaux, G. (2014). Machine learning for neuroimaging with scikit-learn. Front. Neuroinform., 10.3389/fninf.2014.00014
Bzdok, D. (2016). Classical statistics and statistical learning in imaging neuroscience. arXiv preprint arXiv:1603.01857.
Cohen, J. D., Daw, N., Engelhardt, B., Hasson, U., Li, K., Niv, Y., ... & Willke, T. L. (2017). Computational approaches to fMRI analysis. Nature Neuroscience, 20(3), 304-313.
Haxby, J. V., Connolly, A. C., & Guntupalli, J. S. (2014). Decoding neural representational spaces using multivariate pattern analysis. Annual review of neuroscience, 37, 435-456.
Resnick, B. (2017). Brain activity is too complicated for humans to decipher. Machines can decode it for us. vox.com Jan 12, 2017, 11:18am EST
Shen, H. (2014). Interactive notebooks: Sharing the code. Nature, 515(7525), 151.