Im folgenden will ich die Möglichkeiten, die sich mit der Idee des Redundanzkettensignalflusses eröffnen, genauer durchdenken. Es wird sich zeigen, dass mit dieser Idee die Entwicklung eines selbstständig erkenntnisgewinnenden Kunsthirns für künstliche Wesen machbar wird. Die Botschaft dieser Arbeit lautet: Das fehlende Glied in der Entwicklung künstlichen Erkenntnisgewinns ist mit der Berücksichtigung der Signalfließzeit gefunden. Nun bedarf es nur noch ausreichender finanzieller Mittel, um ein, sich selbst strukturierendes, künstliches Gehirn zu bauen, d.h. eine dementsprechende elektronische Hardware zu entwickeln.

Warum gab es diese Idee einer Berücksichtigung der Signalfließzeit nicht schon früher? Es ist wohl so, dass man in der Naturwissenschaft praktische Studien den theoretischen vorzieht. Da es kein Beobachtungsinstrument gibt, das den Signalfluss innerhalb einer Fläche verbundener Neuronen unabhängig von anderen Signalflüssen beobachten könnte, kann eine praktische Studie Signalfließzeiten in ihren Modellen auch nicht berücksichtigen, und somit tut man so als gäbe es sie nicht. Immerhin werden Fortschritte der Beobachtungsmethoden bald zu einer anderen Haltung führen (Abo-Ticker 2001.07.13, Ehret 1997 Link). Theoretische Vorreiter, wie ich einer bin, werden nötig sein. Zeigt doch der Siegeszug der Physik, dass erst der theoretische Bereich die Ideen und Motive für zielstrebigere praktische Experimente hervorbringt.

Ich gehe davon aus, dass ein erkenntnisgewinnendes System, ähnlich dem Gehirn, machbar ist. Ein solches System, das durch die Umweltreize programmiert wird, muss in einem mobilen Wesen integriert sein, das seine Aufmerksamkeit dorthin lenken kann, wo Erfahrungen zu holen sind.

Um ein solches künstliches Gehirn zu schaffen, genügt es nicht die Natur zu beobachten, man muss sie verstehen. Denn das Menschenhirn ist nicht notwendigerweise ein ideales System. Man wird eventuell auf einem viel geradlinigeren Weg zum Ziel finden können. Die Evolution musste immer am Vorhandenen weiterbauen. So bekam der Delphin nie mehr Lungen, und wir aufrechten Wesen bekamen unser Rückgrad nie mehr ins Körperzentrum zurück, wie der Fisch, auch wenn wir dann weniger Wirbelsäulenprobleme hätten. Auch das Hirschgeweih ist eine Fehlentwicklung für ein im Wald lebendes Tier. Biologen könnten noch unzählige andere Beispiele für Irrwege der Natur nennen (Riedl 1989, S.18, S.242 Link).

Da das Verhalten von Lebewesen vorerst stark genetisch festgelegt war, hat sich der selbstlernende Teil des Gehirns, die Großhirnrinde, über den genetisch festgelegten gestülpt. Ein ideales selbstlernendes System kommt ohne diese Relikte aus. Es ist meiner Ansicht nach möglich ein erkenntnisgewinnendes Volumen zu schaffen, auf das Projektionsfelder für Sinne und Motorik beliebig angeordnet werden können. Deshalb gehe ich auch kaum auf die Anatomie des Gehirns ein, sondern beschäftige mich mit der Struktur, die das Gewebe haben muss bevor Lernen einsetzt, und mit den Regeln, die es in sich birgt, und nach denen es durch Lernprozesse umstrukturiert wird. Es hat sich gezeigt, dass jedes selbstlernende Gehirn, ob künstlich oder natürlich, Regeln für sieben Problemstellungen in sich bergen muss. Bevor ich zu diesen komme, soll aber noch die Aufgabe des Gehirns allgemein definiert werden.

Was ist die allgemeine Aufgabe des Gehirns?

Das Gehirn ist das Organ, das uns sagt, was wir tun sollen, und unsere ausführenden Organe (Muskeln und Drüsen) dann dementsprechend aktiviert. Um herauszufinden, was wir tun sollen, bedarf es einer Prognose der Zukunft. Die Zukunftsprognosen kann man sich wie einen Baum vorstellen. Wir befinden uns am Stamm, und streben aufwärts. Es ist noch offen welchen Ast, und dann welchen Zweig die Ereignisse wählen werden, und doch stehen nicht unendlich viele Möglichkeiten zur Verfügung. Zumindest die nahe Zukunft lässt sich meist auf eine kleine Zahl möglicher Wege (Äste) begrenzen. Je ferner, desto dünner und ungewisser wird unsere Voraussicht (Zweige).

Oft führen Ereignisse auch wieder zurück zu bereits bekannten Situationen. Zum Beispiel die Situation, dass ein Schüler gerne Englisch lernt, führt dazu, dass er seine Vokabel kann, führt dazu, dass er Erfolg in diesem Fach hat, führt dazu, dass er motiviert ist und gerne Englisch lernt. Damit sind wir wieder am Anfang. Das bedeutet unser Baum der Voraussicht gleicht einer Trauerweide. Die Äste führen oft zurück zum Stamm.

Der Stamm in unserem Bild stellt immer die Gegenwart dar, während die Äste die Vorstellung von Zukunft darstellen. Nun gehen wir in der Zeit ein Stück weiter. Eine Voraussage wird Wirklichkeit, sie wird zum Stamm. Der einstige Stamm verschwindet in der Vergangenheit. Stellen wir uns nun unseren Baum als aktiven Bereich in einem großen Netz von Verbindungen vor. Der Stamm kennzeichnet den, durch Wahrnehmung gegenwärtig aktivierten Bereich. Die Äste und Zweige sind der, durch Vorstellung voraktivierte Bereich. Tatsächlich ist im Gehirn eine Voraktivierung wenn wir uns etwas vorstellen nachweisbar, und zwar jeweils im selben Areal, das aktiv wird, wenn wir die vorgestellte Sache real wahrnehmen. Wenn z.B. die Verbindung von der visuellen Wahrnehmung zu dem Areal in dem sie die Gestaltbegriffe speichert, unterbrochen ist, dann können wir die Dinge nicht mehr erkennen, aber es wird von einem Patienten berichtet, bei dem die Verbindungen zur Motorik heil blieben, und der die Dinge durchaus noch zeichnen konnte (Kolb 1996, S.220 Link). Auch die, mit Bewegungsvorstellungen einhergehenden Aktivierungen in der motorischen Hirnrinde bis hin zu leichten Muskelaktivierungen, sind messbar. (Kolb 1996, S.403 Link). Ja es ist sogar so, dass wir länger für die Vorstellung einer längeren Handlung brauchen. So braucht es länger sich vorzustellen man schreibe seinen Namen in großen Lettern an eine Tafel, als man schreibe ihn klein in ein Heft. (Kolb S. 403 Link).

Was ist ein Ereignis oder ein Objekt im Gehirn?

Jeder Knotenpunkt (Astgabel) unseres „Zukunftsbaums“ steht für etwas Wahrnehmbares in der realen Welt (Ereignis oder Objektklasse). Aber müssen wir dann nicht jeden Knotenpunkt beschriften, damit wir wissen für welches Objekt er steht? Die Antwort ist „nein!“. Was sollte eine solche Beschriftung bringen. Für ein Datenverarbeitendes System ist sie nur eine Buchstabenfolge. Diese taugt bestenfalls dazu, die Knoten auseinanderzuhalten. Das ist aber nicht notwendig, denn sie sind einfach durch ihren Ort im Netzwerk auseinandergehalten.

Wie aber kann dann ein solcher Knoten eine Bedeutung haben? Die Antwort ist, dass nicht der Knoten selbst Bedeutung hat, sondern das Netz an Verbindungen, das ihn umgibt. Er hat über andere Knoten hinweg letztlich Kontakt bis hin zu bestimmten Input und Output-Bereichen des Gehirns. Das bedeutet, über ihn werden nicht nur Vorstellungen von weiteren Ereignissen wachgerufen, sondern vor allem auch Vorstellungen von Sinneseindrücken (Input), von Handlungen und Bewegungen (Output), und von Empfindungen. Wobei wir der Einfachheit halber annehmen wollen, dass Empfindungen nichts weiter sind als die Vorstellung von Abweichungen oder Annäherungen der Körpermesswerte an Körpersollwerte (Regelkreisprinzip).

Die Bedeutung liegt also nicht im Knoten selbst. Aber er ist doch immerhin der Platz, an dem all die Verbindungen zusammenlaufen, die einen Begriff ausmachen. Deshalb erinnert dieses Modell etwas an das Modell der „Großmutterzelle“, das in der Gehirnforschung heute nur belächelt wird. Sicherlich ist die Idee einer bedeutsamen Zelle lächerlich, aber neueste Untersuchungen weisen sehr klar darauf hin, dass Neuronen für Begriffskathegorien gibt. So fand Christof Koch sogenannte „face cells“ (Birbaumer 1996, S.405, Bremen 1998, Cross 2000, Recht 2000 Link) und es gibt im Gehirn Neuronen für Eigenschaften wie einen bestimmten Augenabstand (Abo-Ticker 2002.01.22 Link), sowie Neuronen für andere Objektkathegorien oder bestimmte Formen (Goldstein 1997, S.104, WSA 2001.10.04, Doerfler Alex 2001 Link). Weiters zeigen Untersuchungen, dass neue Eindrücke neue Nervenzellen verbrauchen, um gespeichert zu werden (Abo-Ticker 2001.03.20 Link). Aber dazu später mehr.

Zusammenfassung der Grundidee neuronaler Netze

Neuronale Netze sind im Anfangszustand aus lauter gleichen, miteinander verbundenen Bausteinen zusammengesetzt (leeres Gehirn). Das Verhalten jedes solchen Bausteines beruht auf den Erkenntnis- bzw. Lernregeln. Input erhält das System durch die Rezeptoren der Sinnesorgane und über die körperlichen Sollwertabweichungen. Die motorischen Aktivitäten werden über Gelenkssensoren ebenfalls sensorisch erfasst und es werden Verbindungen hergestellt, zwischen vorausgehenden Aktivitäten und eintretenden Folgen. Über solche Verbindungen kann schließlich erlernt werden, Ereignisse vorauszuahnen (Zukunftsbaum) und Handlungen so zu kontrollieren, dass Körpersollwerte wiedererreicht werden, wenn eine Abweichung eingetreten ist, oder befürchtet werden muss. Die Berücksichtigung der Signalfließzeiten spielt in dem hier dargestellten Modell eine wesentliche Rolle, weil gezeigt werden kann, dass sich durch diese Zeiten in einem Neuronennetz räumliche Information automatisch zeitlich codieren kann. Diese neue Idee bringt dem neuronalen Netz einen enormen Kapazitätsgewinn, macht Wiedererkennen von Objekten in natürlichen Bedingungen überhaupt erst vorstellbar, und erklärt die Serialität bewussten Denkens. Deshalb der Name: "Fließnetz".

Die sieben Problemstellungen eines Gehirns

Regel zur Bindungsstärke: Ein Gehirnmodell muss angeben, unter welchen Bedingungen neuronale Verbindungen verstärkt, bzw. geschwächt werden, und wann sie ganz verfallen.

Regel zur Verbindungsfindung: Die bisherigen künstlichen Netze nehmen Verbindungen einfach als gegeben. Kombinatorische Überlegungen haben uns gezeigt, dass nicht alle Verbindungen, die später einmal gebraucht werden, von vorn herein da sein können. Es wären undurchführbar viele. Also brauchen wir ein Modell der Verbindungsfindung!

Regel zur vernetzten Organisation des Wissens: Wissen wird im Gehirn nicht in einer langen Wurst abgespeichert, wie auf einer Festplatte, sondern es ist vernetzt. Wenn wir uns etwas Neues merken, so setzen wir es so weit wie möglich aus bereits bekannten Bausteinen zusammen. Auch das visuelle System ist in hierarchischen Ebenen organisiert. Durch welche Regeln organisiert sich ein Gehirn derartig?

Regel zum Zusammenfluss der Signale: Was geschieht, wenn mehrere Signale eine Zelle beliefern? Werden sie vermengt, nacheinander behandelt, siegt das Stärkere, oder gibt es noch eine andere Lösung? Welche Lösung macht Sinn?

Regel zur zeitlichen Voraussage. Das Gehirn enthält nicht nur statisches Wissen, wie ein Buch, sondern wir vermögen auch, uns auf Tagesabläufe einzustellen und Bewegungen zeitlich exakt zu koordinieren.

Regel für Verhalten das körperlichen Bedürfnissen folgt. Alle Aktivität entspringt letztlich irgendwelchen Bedürfnissen. Können sie alle durch Körpersollwertabweichungen definiert werden, die dem System genetisch mitgegeben sind, wie die Körpertemperatur? Wie kommt es zu sinnvollen Handlungen?

Regeln für geistige Bedürfnisse und kreatives Verhalten. Ohne Lerntrieb würde ein Baby den ganzen Tag stumm gegen die Wand starren. Es kann noch kein körperliches Bedürfnis selbst befriedigen, also braucht es eine andere Anregung. Neben der Aufnahme von Wissen, besitzen Lebewesen auch die Fähigkeit kreativ neues Verhalten hervorzubringen. Auch ein künstliches System braucht diese Funktion.

Dieses Schriftstück ist nach diesen sieben Regeln gegliedert (siehe Inhaltsverzeichnis). Zur besseren Orientierung im Text versuchen sie doch, sich die sieben Regeln einmal ganz einfach durch folgenden kryptischen sinnlosen Satz zu merken:

„Stärke findet Organisation durch
Zusammenfluss von Voraussagen, körperlicher und geistiger Art“

Gemessen an diesen sieben Problemstellungen zeigt sich erst wie wenig neuronale Netze bisher erklären konnten. Meist sind sie spezialisiert auf einen bestimmten Problembereich. Auch die neue Idee einer zeitlichen Koordination von Reizen durch Synchronisationsmuster, bietet nur für einen Punkt eine Lösung, nämlich für Punkt 4. Das heißt, es lässt sich damit vielleicht erklären, welche Signale zusammenfließen, und welche nicht. Synchronisationsmuster erklären aber noch nichts zu den anderen 6 Problemstellungen. Oft wird dann so getan, als gäbe es die jeweils anderen Probleme gar nicht. Ich habe nun etwa 7 Jahre an dem hier vorgestellten Modell gearbeitet, und es hat mich in etwa gleich viel Mühe gekostet, bis ich zu jedem dieser 7 Punkte eine klare Regel angeben konnte, die nicht in Widerspruch zu den anderen Regeln steht. Jedes der Probleme ist gleichermaßen bedeutsam. Bleibt ein Punkt ungelöst, so bringt das gesamte Gehirnmodell keine Leistung mehr, die der Natur nahestünde.

Regeln zur Bindungsstärke:

Die Assoziative Konditionierung

Ziel dieser Arbeit ist es, zu zeigen, dass eine erkenntnisgewinnende Struktur, (ähnlich der Großhirnrinde) konzipiert werden kann, die zur Verarbeitung jeder Art von Information taugt. Das heißt, es gibt Erkenntnisregeln, die für die Verbindung der Reizsignale einzelner Netzhautzellen genauso gültig sind, wie für die Verbindung komplexer Reize, wie sie in Konditionierungsexperimenten verwendet werden. Wenn ich die Regeln aus Konditionierungsexperimenten ableite, so hat das den Vorteil, dass die Ergebnisse für jedermann überprüfbar sind, allerdings den Nachteil, dass ich immer schon die Fähigkeit zu einer komplexen Reizdifferenzierung voraussetze, denn in Konditionierungsexperimenten kommen komplexe Reize zum Einsatz, wie Glocke oder Rotlicht. Es wird stillschweigend davon ausgegangen, dass das Wiedererkennen solcher Reize kein Problem darstellt. So einfach ist das aber gar nicht. Deshalb sollen die Erkenntnisregeln, die ich erst einmal anhand der Konditionierung entwickle, nachher auf das visuelle System angewendet werden, um damit schließlich auch zu erklären, wie sich Einzelrezeptoren, also die Reize der Sinne, so verbinden, dass komplexe Reize erkannt werden können, denn auch erkennen muss gelernt werden (Miller 2000 Link).

Die einfachste Form der Konditionierung ist die assoziative. Assoziative Konditionierung bedeutet Lernen ohne Verhalten, rein aus Beobachtung. Erlernt werden nicht Stimulus-Response-Verbindungen (Reiz-Reaktionsverbindungen), sondern Stimulus-Stimulus-Verknüpfungen. Dies scheint dem Konditionierungsprinzip zu widersprechen, denn wie könnten wir Lernen beobachten, wenn wir kein Verhalten erfassen? Tatsächlich kann durch eine intelligente Versuchsanordnung einwandfrei auf einen Lernprozess rückgeschlossen werden, der stattgefunden haben muss, bevor überhaupt Verhalten ins Spiel kam. Die folgende Versuchsanordnung beweist, dass Pawlows klassische Konditionierung bereits eine assoziative Konditionierung war. (Mehr dazu bei Zimbardo 1995, S.294 Link).

Frage: Wie sieht es in der Black-Box "Gehirn" aus; Welche Art der Verbindung entsteht?

Experiment: Phase 1: Im Käfig eines Hundes erscheint mehrmals am Tag rotes Licht und dazu die Glocke.

Phase 2: Pawlow: Vor dem Futter kommt immer die Glocke.

Phase 3: Kontrolle: Speichelt der Hund auf rotes Licht?

In Phase 1 könnte eine Verbindung Rotlicht-Glocke entstanden sein. Eine direkte Verbindung zu R kann nicht entstanden sein.

Ergebnis: Hund speichelt. Das beweist, dass Signale in Stimuliketten fließen (= Assoziative Konditionierung, Zimbardo 6. S. 294)

In dem im Kasten beschriebenen Versuch kann keine Verbindung zwischen Rotlicht und speicheln entstanden sein, da in der Konditionierungsphase mit dem Rotlicht kein Futter angeboten wurde. Es kann also nur über eine Verbindung von Rotlicht und Glocke dazu kommen, dass der Hund in Phase 3 auf Rotlicht speichelt. Die Stimuliverkettung Rotlicht-Glocke wurde ohne Belohnung rein durch die Beobachtung eines statistisch häufigen Zusammentreffens erworben. Das bedeutet es war noch kein Speicheln, also keine Reaktion im Spiel. Die obere der beiden Grafiken ist also die richtige. Sie zeigt eine Verbindungskette, über die Signale der Realität vorauseilen können. Damit ist bewiesen, dass Signale, über Verbindungsketten fließen. Pawlows Konditionierung dient im realen Leben dazu, eine Voraussicht der Welt zu erwerben. Reaktionen sind dazu nicht notwendig. Erst in Skinners Experimenten zur operanten Konditionierung (Zimbardo 1995, S.305 Link) geht es, wie im Zirkus, um den Erwerb neuen Verhaltens. Pawlow hingegen ist allein mit Statistik zu simulieren. Verhaltensmutation und Selektion finden nicht statt. Bayesianische Netze simulieren also Pawlow.

Die assoziative Konditionierung wurde auch mittels Elektroden in Seeschnecken herbeigeführt und am offenen Neuronennetz beobachtet (Byrne 2002, Graham 2002, Birbaumer 1997, S.585 Link). Inzwischen gibt es zahlreiche Hinweise auf Stimuliverkettungen im Gehirn (Tritschler 2001 Link). Der Glaube an reines Reiz-Reaktions-Lernen gehört der Vergangenheit an. Wenn wir uns die Welt vorstellen, so deshalb, weil wir Abfolgen von aneinandergeketteten Stimuli erlernt haben.

Wir treffen Voraussagen aufgrund eines statistischen Lernmechanismus

Wenn ein Wissenschafter eine Voraussage über die Zukunft machen will, so bedient er sich statistischer Verfahren. Wir kennen keine anderen Verfahren, um Vorauszusagen zu entwickeln. Tatsächlich gibt es inzwischen viele Untersuchungen, die zeigen, dass auch das Gehirn statistisch arbeitet. (Abo-Ticker 2002.01.24, Abo-Ticker 2002.03.25, WSA 2002.11.29 Link)

Eigentlich sollte dies schon lange klar sein. Haben sie sich schon einmal gefragt, warum dieser „Supercomputer“ Gehirn nicht in der Lage ist, sich eine größere Menge an Information sofort zu merken? Die Antwort ist: Wir merken uns deshalb Zusammenhänge meist erst nach einigen Wiederholungen, weil das Gehirn sich auf diese Weise davor schützt, Dinge als zusammengehörig zu vermerken, die nur einmal zufällig aufeinander gefolgt sind. Wenn wir uns nur merken, was wiederholt aufeinandergefolgt ist, so werden wir mit der Zeit die Fähigkeit zur Voraussicht der Welt ausbauen. Merken wir uns alles zu leicht, so wird aus uns ein zerstreuter lebensuntüchtiger Professor dessen Rettung darin besteht, dass es in unserer Kultur Bücher gibt, wo überwiegend sinnvolle Zusammenhänge verzeichnet sind.

Wann wird eine Verbindung mit welcher Stärke erlernt?

Die folgende Grafik zeigt wie oft zwei Ereignisse A (Kreis) und B (Dreieck) über die Zeit hinweg alleine, und wie oft sie zusammen auftreten. Nach Bayes besteht ein Zusammenhang dann, wenn Ereignisse öfter zusammen auftreten als alleine.

Wie stark ist der Zusammenhang in dem dargestellten Beispiel?

Dem Reiz A (Kreis) folgt durchschnittlich jedes dritte mal B (Dreieck). Jedes 10. mal tritt B alleine auf. Die Wahrscheinlichkeit mit der bei vernommenem A gleich ein B wahrzunehmen sein wird, ist also ein Drittel. Diese Wahrscheinlichkeit ist ausschlaggebend dafür, wie stark unsere Voraussageverbindung von A zu B sein darf, wie sehr wir also nach Auftreten von A mit B rechnen und wie stark das Erwartungssignal ist, das im Gehirn dem Modell zufolge durch die Verbindung zu B gelangt.

(Und wie ist das, wenn A genauso häufig alleine auftritt als dass darauf B folgt? Nehmen wir an A trat 100 mal alleine auf, und 100 mal folgte darauf B, A trat also insgesamt 200 mal auf, so ist laut Bayes Gleichstand erreicht: 100:200=0,5. Wir dürfen mit halber Erwartung auf B hoffen, wenn wir A wahrnehmen.)

Nun haben wir aber umgekehrt in der obigen Grafik auch erfasst, dass B unter zehn Auftritten nur neunmal zusammen mit A auftritt. Die Wahrscheinlichkeit dass zwischen A und B ein Zusammenhang besteht, ist demnach neun Zehntel, also 0,9 und nicht 1 (Bauer 1991, S.61 Link). Letztere Wahrscheinlichkeit ist ausschlaggebend dafür, als wie sicher ein Zusammenhang betrachtet werden kann, bzw. ob überhaupt von einem Zusammenhang gesprochen werden darf. Auf das Gehirn umgelegt, ob also eine Verbindung aufrecht erhalten werden soll, oder nicht. So viel zur statistischen Berechnung der bedingten Wahrscheinlichkeit nach Bayes.

Um seine Verbindungen zu kontrollieren, muss unser künstliches Neuron B also über eine innere Zählmaschine verfügen, die erfasst, wie oft:

A insgesamt auftrat

A und B zusammenfielen, und

B insgesamt auftrat.

Um die Stärke der Voraussage zu erfassen, muss im Neuron der zweite Wert durch den ersten dividiert werden. Um zu erfassen ob die Verbindung aufrecht erhalten werden soll, der zweite durch den dritten. Man kann auch sagen der zweite Wert muss durch den dritten geschwächt werden, denn eine Division ist immer eine Schwächung eines Wertes. Zellen dividieren nicht. Sie schwächen und verstärken Verbindungen.

Umgekehrt kann natürlich auch die Wahrscheinlichkeit betrachtet werden mit der A auf B folgt. In unserem Beispiel ist A nie auf B gefolgt, die Wahrscheinlichkeit ist also null. Da A immer ohne ein davorliegendes B, sozusagen spontan auftrat, braucht in diese Richtung auch kein Zusammenhang angenommen werden. Das bedeutet, in dieser Richtung braucht keine Verbindung aufgebaut werden.

Wie und warum neue Erfahrungen stärker gewichtet werden sollten.

Allgemein gilt für die statistische Überprüfung von Verbindungsstärken (die ja Wahrscheinlichkeitsgrade von Zusammenhängen repräsentieren), dass die Zählergebnisse mit zunehmender Erfahrung immer höher werden. Es stellt sich die Frage, wie lang der Zeitraum sein soll, in dem Ergebnisse noch statistisch erfasst werden sollen. Ist er kürzer als eine Nacht, so müssten im Extremfall, mit jedem mal Schlafen gehen, die Verbindungen verfallen. Das kann nicht sein. Nehmen wir aber als Berechnungszeitraum die gesamte Zeit seit die Zelle existiert an, sozusagen von der Geburt weg, dann fragt sich, wie wir die hohe Zahl an Reizen zählen und verarbeiten sollen. Außerdem würden sich Verbindungen, die über Jahrzehnte nur verstärkt wurden, auch über Jahrzehnte nicht mehr löschen lassen. Nun fragt sich aber: Wie kann dann Gehirngewebe später noch für etwas Neues genützt werden. Wie z.B. könnte dann ein Erblindeter Gehirnbereiche nutzen, die einst dem visuellen Bereich zugeordnet waren?

Die Lösung besteht darin, nicht einen bestimmten Zeitraum, sondern eine bestimmte Anzahl an Reizen zu überwachen. Darüber hinaus ist das System einfach voll. Ich will damit sagen, dass wir in einem begrenzten System eine Kapazitätsgrenze festlegen müssen, ab der wir alte Erfahrungen nicht mehr in unsere Wahrscheinlichkeitsrechnung einbeziehen. Ansonsten würden neu hinzukommende Erfahrungen, in Relation zur Summe der bereits gemachten, immer weniger Gewicht bekommen. Das wäre nur dann in Ordnung, wenn die Welt um uns immer gleich bleiben würde. Wenn wir annehmen, dass die Welt sich in einem stetigen Wandel befindet, sollten wir den neuen Erfahrungen mehr Gewicht verleihen. Das können wir, indem wir alte Erfahrungen nach und nach über Bord werfen. Das ist ganz einfach vorzustellen. Die Bayesianische Statistik ist durch Relationen darstellbar. Eine gute visuelle Anschauung gibt uns dazu das Farbenmischen.

Stellen wir uns vor, wir beobachten, dass B fünfmal auf A folgt. Diese Folge stellen wir durch fünf Tropfen schwarze Farbe dar, die wir in einen Topf geben. Nun folgt A einmal alleine und B bleibt aus. Das stellen wir durch einen weißen Farbtropfen dar, den wir im Topf dazurühren. Es folgen weitere Erfahrungen, und weitere Tropfen Schwarz und Weiß werden zugerührt. Die Wahrscheinlichkeit mit der wir annehmen dürfen, dass jedes B durch A angekündigt wird, ist durch den Graugehalt der Gesamtfarbe dargestellt.

Nehmen wir an, nach 100 Tropfen wird der Topf voll. Mit jedem neuen Tropfen, den wir zufügen, schwappt ein alter Tropfen Farbe aus dem Topf. Ich nehme an, dass unser Gehirn genau so arbeitet. Ab dem Moment wo es voll ist, berücksichtigt es neue Information stärker. Es kann sich auf diese Weise immer relativ schnell an neue Verhältnisse anpassen.

Die Anpassung an neue Verhältnisse führt aber dazu, dass alte Erinnerungen umgeformt werden. Was man einst für wahrscheinlich hielt, wird durch neue Erfahrungen plötzlich für unwahrscheinlich gehalten, und umgekehrt. Studien belegen, dass eine solche Umformung stattfindet, denn jedes Mal, wenn das Gehirn Erinnerungen aus dem Langzeitgedächtnis wieder aufgerufen hat, müssen diese erneut durch die Synthese frischer Proteine konsolidiert werden (Abo-Ticker 2000.08.17, Abo-Ticker 2001.07.30 Link).

Wenn wir von einem neuronalen Netz ausgehen, dessen Neuronen Verbindungen darstellen, und somit die für die Wahrscheinlichkeitsrechnungen nötigen Divisionen und Multiplikationen ausführen sollen, so ist es, als ob jede Zelle einen kleinen Taschenrechner darstellt. Dass eine solche Annahme sinnvoll ist, zeigen Studien, die nahelegen, dass Gehirnzellen durchaus in der Lage sind, Signale multiplikativ zu verstärken, oder abzuschwächen (Gabbiani u.a. 2002, Abo-Ticker 2001.04.19, Abo-Ticker 2002.01.24 Link).

Ein Umsetzung einer solchen Idee ist digital natürlich aufwendig und kaum durchführbar. Aber wenn wir von der digitalen Lösung abweichen, und auf analog arbeitende Transistoren zurückgreifen, so erscheint die Sache durchaus durchführbar, denn ein analog arbeitender Transistor, wie er im Verstärker einer Stereoanlage vorkommt, tut nichts anderes als die einkommenden Signalstärken zu multiplizieren (und damit die Lautstärke des Outputsignals zu erhöhen), wobei der Multiplikationsfaktor abhängig ist von der Spannung, mit der er versorgt wird. Was nun, wenn diese Spannung nicht konstant ist, sondern ihrerseits ebenfalls ein Signal wechselnder Stärke? Dann erhalten wir die komplizierten Outputergebnisse, die wir für eine Umsetzung der bayesianischen Formel in einem Netzwerk benötigen! Und es sind nur einfache Bauteile notwendig: analoge Transistoren!

Wo Konditionierungslernen von Bayes abweicht

Aber was heißt überhaupt Reize treten zusammen auf? Wieviel Zeit darf zwischen zwei Reizen vergehen bevor man sagen kann, sie sind alleine aufgetreten? Diese Frage ist statistisch ungültig. Wichtig für die Voraussage von Reizen ist nämlich nicht die Länge der Zeitdistanz, sondern, dass diese Länge jedesmal gleich war. Statistisch betrachtet können wir die Reize in Fig. C der folgenden Grafik noch genauso gut voraussagen wie in Fig. A, denn das Dreieck folgt genauso zuverlässig immer auf den Kreis, aber eben verspätet, also nicht AB, sondern A.......B.

Konditionierungsexperimente zeigen aber, dass der Zusammenhang zwischen A und B nicht mehr erkannt wird, je weiter der Zeitabstand A àB die Auftrittshäufigkeit der Reize überschreitet (siehe Fig.C). Kann diese Begrenzung in unserer Wahrnehmung der Welt einen praktischen Grund haben? Wieso sollten nahe Reize einander eher auslösen als ferne?

Eine Antwort kann über die Häufigkeit von Reizen gefunden werden. Ein Reiz der mehr als doppelt so häufig auftritt wie ein anderer, kann letzteren niemals zuverlässig ankündigen, weil nur Reize die gleich häufig vorkommen auch immer zusammen vorkommen können.

Doppelte Häufigkeit bedeutet, dass die Signale des ersten Reizes durchschnittlich nur halb so viel Abstand zueinander aufweisen wie die Signale des zweiten. Da das Gehirn immer nach möglichst guten Ankündigungsreizen (A) Ausschau hält, brauchen nur Signale auf eine Korrelation untersucht werden, die durchschnittlich ähnliche Häufigkeit aufweisen. Aber mit welchem der Folgereize sollte eine Verbindung hergestellt werden? Mit dem nächsten, oder dem fünf Reize weiter?

Nehmen wir an wir sehen auf eine entfernte Stadt über die ein Gewitter niedergeht. Auf jeden Blitz folgt in einem gewissen Abstand ein Donner. Werden die Blitze häufiger, so fallen zwischen jenen Blitz, der den Donner den wir hören ausgelöst hat, noch weitere Blitze. Natürlich wäre statistisch immer noch die Korrelation zwischen Blitz und Donner erfassbar, weil der Zeitraum zwischen ihnen noch konstant ist, solange das Gewitter die gleiche Entfernung hat. Unser Gehirn steigt hier wohl deshalb aus, weil es in der Natur kaum solche Beispiele gibt, wo gilt Reiz A verursacht B, aber nicht das folgende, sondern irgendein weiteres B.

Das bedeutet, dass unser Gehirn nur den Zeitraum von A zum darauf folgenden A auf ein B absucht, das in einem möglichen Ursache-Wirkungs-Zusammenhang zu A steht. Eine solch sinnvolle Leistungsbeschränkung wollen wir auch in unserem künstlichen System verankern, zumal wir ohnehin den enormen Rechenaufwand reduzieren müssen.

Kann ein solches System dann aber überhaupt noch lange Zeitzusammenhänge erfassen? Ja! und zwar durch Chunkbildung! Eine Kette von Ereignissen kann eine Einheit bilden, die wir als Chunk bezeichnen wollen. So ein Chunk könnte zum Beispiel "Frühstücken" lauten. Und dem Frühstücken kann das Chunk "Einkaufen gehen" folgen. Die beiden Chunks haben etwa gleiche Auftrittshäufigkeit Relativ zu dem Zeitraum vom Auftreten zum durchschnittlichen nächsten Auftreten des gleichen Chunks, liegt zwischen den verschiedenen Chunks ein geringer zeitlicher Abstand. Also werden sie verbunden. So erfasst ein Baby Tagesabläufe, und hat es erst einmal den Tagesablauf als Chunk, so kann es den Wochenablauf erfassen usw. Im Prinzip ist jeder Begriff ein Chunk.

Über die statistische Gleichbehandlung räumlicher und zeitlicher Distanzen

Was wir hier für die zeitliche Distanz von Ereignissen ermittelt haben, gilt gleichermaßen für den Raum. Das zeigt sich auch an der obigen Grafik. Zusammenhänge, die wir zeitlich nicht mehr erkennen, sind auch in ihrer grafischen räumlichen Darstellung nicht augenscheinlich.

Nun lässt sich gegen diesen Grundsatz einwenden, dass es durchaus Zusammenhänge gibt, die wir zeitlich verstehen, die aber räumlich dargestellt nicht so gut fassbar sind, z. B. erkennen wir im grafisch dargestellten Frequenzmuster eines Musikstückes einen falschen Ton nicht mehr. Allerdings ist zu bedenken, dass wir von Kindheit an mit Musik konfrontiert sind, und so im auditiven System bereits über geeignete Chunks verfügen, die uns ein Verständnis ermöglichen. Im visuellen System, mit dem wir die Frequenzmuster betrachten, haben wir noch keine geeigneten Chunks für dieses Muster auf Lager.

Die Darstellung negativer Relationen durch hemmende Verbindungen

Hemmende Verbindungen treten im neuronalen Netz dann auf, wenn eine verkehrt-proportionale Relation erfasst werden soll. Stellen wir uns vor, Pawlows Hund bekommt weniger bis gar kein Futter, je heißer der Tag ist. Je stärker die Einheit seines Gehirns anspricht, die die Raumtemperatur repräsentiert, desto schwächer soll die Voraussage für Futter werden. Vom Reiz „Raumtemperatur“ geht eine hemmende Verbindung zum Reiz „Futter“.

Positive Relationen sind leichter verständlich als negative. Sie bedürfen keiner hemmenden Verbindungen. Läuten wir dem konditionierten Hund irgendwann die Glocke sehr leise, wird er auf Anhieb nicht sicher sein, ob jetzt auch Futter kommt. Das Erwartungssignal ist sozusagen dann auch leiser (positive Relation).

Aber stehen hemmende Verbindungen damit nicht in Widerspruch zu der Lerntheorie? Wir sind doch davon ausgegangen, dass sich Zeitgleiches, Nahes und Ähnliches verbindet. „Ähnlich“ bedeutet auf der elementaren Basis der Neuronen „ähnliche Reizstärke“. Hemmende Verbindungen entstehen aber aufgrund der zeitgleichen Unähnlichkeit zweier Reize!

Der Widerspruch hebt sich auf, wenn wir begreifen, dass hemmende Verbindungen eigentlich „Antiverbindungen“ sind. Aber um die Hemmung zu übertragen brauchen wir trotzdem eine Verbindung im neuronalen Netz!

Die Lösung dieses Problems können wir uns vom Gehirn abschauen. Von gut erforschten Gehirnbereichen, wie der Sehrinde, wissen wir, dass alle Reize in Form eines Gegenreizes noch einmal vorliegen. Zu jeder On/Off-Zelle gibt es eine Off/On-Zelle. Zu jedem Reaktionsbild ein Negativ (Hubel 1989, S.50 Link). Man könnte sich das so vorstellen, dass unter einer Zelle, die auf Glocke positiv anspricht immer die gegenteilige Zelle liegt, die auf Glocke gehemmt wird. Die Beiden bilden ein Paar. Umso stärker der Reiz, desto mehr Differenz weisen deren Zellreaktionen auf.

Wenn wir von dem obigen Beispiel ausgehen, und uns naiv vorstellen, unser Hund hätte eine Zelle für Futter, dann hat er auch eine für „Antifutter“. Das Signal von der Zelle für Raumtemperatur korreliert in unserem Beispiel nun nicht mit „Futter“ sondern eben mit „Antifutter“. Es kann mit der Zelle für Antifutter nach dem Gesetz ähnlicher Reizintensität verbunden werden.

Wenn wir die bayesianische Statistik nun auf die Zellen und Antizellen anwenden, so ist klar, dass zwei Paare (jew. Zelle plus Antizelle) nie zugleich eine positive und eine hemmende Verbindung zueinander aufbauen werden. (Bestenfalls abwechselnd, wenn die Bedingungen rhythmisch wechseln), denn es wird sich nur durchsetzen, was häufiger zutrifft, also immer nur eines von Beidem.

Regeln zur Verbindungsfindung

Das Gesetz, dass räumlich und zeitlich Nahes eher verbunden wird, bedarf keiner eigenen Umsetzung in unserem System. Was die zeitliche Nähe betrifft, so ergibt es sich automatisch, dass was zuerst kommt, auch zuerst verbunden wird.

Was die räumliche Nähe betrifft, so wird sich nun zeigen, dass die Verbindungsfindung durch den Signalfluss, ganz automatisch das Nahe vor dem Entfernteren verbindet. Es braucht also auch hier kein eigener Mechanismus im System verankert werden.

Die Verbindungsfindung zu erklären bedeutet, einen Weg zu finden, um in einem künstlichen System eine Verbindung herzustellen, wo vorher keine war. Da wir die Verbindung schlecht wachsen lassen können, muss wohl vorher schon etwas da sein. Aber die Verbindungen, die vorher da sind, brauchen noch nicht direkt die Punkte verbinden, die später verbunden werden sollen.

Stellen wir uns also ein Netz vor, in dem jedes Neuron über 12 Verbindungen mit seinen direkten Nachbarzellen rundum Kontakt hat (6 hin, 6 Retour). Wenn wir, wie oben, davon ausgehen, dass ein Neuron in einem Netzwerk das Zukunftsprognosen leistet, durchschnittlich nur mit vielleicht drei anderen Neuronen eine Voraussageverbindung aufrecht hält (also drei mögliche Zukünfte voraussagt), so verfügt das Netz mit zwölf Verbindungen pro Neuron bereits über einen Überschuss. Es kann also die Mehrzahl zu reinen Durchläufern umgestalten. Diese Durchläufer können weiter auseinanderliegenden Zellen dazu dienen, sich zu verbinden. Eine Verbindung verläuft also meist über andere Zellen. An diesen durchlaufenden Verbindungen muss ein Neuron, sobald sie einmal hergestellt sind, nichts mehr ändern oder berechnen. Das Signal läuft einfach durch.

Diese Vorstellung entspricht dem Gehirn. Auch Neuronen haben eine große Zahl an veranlagten Verbindungen, aber nur wenige davon werden durch Lernvorgänge besetzt (Abo-Ticker 1999.11.29, Abo-Ticker 1999.11.29 Link).

Neue Verbindungen in einem künstlichen Gehirn könnten also dadurch entstehen, dass sie einfach über andere Zellen hinweglaufen, ohne dass sie diese Zellen aktivieren. Sie müssen dazu im Inneren dieser Zellen abgekoppelt werden. Dieser Abkopplungsprozess wird uns noch näher beschäftigen.

Vom natürlichen Gehirn ist anzunehmen, dass es neben der Möglichkeit eines Signalflusses über andere Zellen hinweg (Kettensignalfluss) auch Wachstumsprozesse zur Herstellung von Verbindungen nützt. Vielleicht provozieren Zellen, die voll besetzt sind, weil alle Durchfahrtswege schon genützt werden, den Wachstumsprozess neuer, freier Nachbarzellen. Dass frische Nervenzellen benötigt werden, wenn die vorhandenen alle besetzt sind, zeigen neuere Studien (Abo-Ticker 2001.03.20 , WSA 2002.02.28, Abo-Ticker 1999.10.19 Link)

Das Blitzprinzip

Wie finden entfernte gleichzeitig aktive Neuronen einen Weg zueinander? Wie findet der Blitz den Weg zum Boden? Das Gesetz der Nähe fordert, dass Neuronen, die häufig innerhalb eines, relativ zur Auftrittshäufigkeit kleinen Zeitraumes, zusammen reagieren, eine Verbindung zueinander herstellen. Es erscheint einfacher die Forderung nach einer Verbindungsfindung für gleichzeitig aktive Neuronen zu erfüllen, als für dieses Nacheinander. Deshalb besteht der erste Schritt zu einer Lösung darin, für eine Nachaktivierung zu sorgen, die bis zur durchschnittlichen nächsten Aktivierung des Neurons abklingt. Wir wollen annehmen, dass das Neuron in dieser Zeit der Nachaktivierung für eine Verbindungsbildung offen ist.

Mit dieser ersten Lösung des Zeitproblems, reduziert sich das Problem der Verbindungsfindung vorerst darauf, die räumliche Distanz zwischen zeitgleich aktiven Neuronen zu überbrücken.

Wahrnehmungsexperimente haben ergeben, dass Bildelemente, die räumlich nahe sind, eher in Bezug zueinander gesetzt werden (Anderson 1996, S.43). Diese Regel kann direkt auf das Gehirngewebe angewendet werden, auf welches das Bild übertragen wird. Neben dem Problem der Nähe stellt sich auch noch die Frage der Direktheit von Verbindungen. Es sollten möglichst gerade Verbindungswege gefunden werden, die nicht unnötig viele Durchläuferzellen erfordern.

Das hier gestellte Problem gleicht dem eines Blitzes. Wie findet er den kürzesten Weg zu Boden? Er kann doch nicht sehen! Was den Blitz betrifft, so liegt die Erklärung in einer Geladenheit des Luftraumes, dessen molekulare Bausteine sich elektrisch ausrichten. Der Blitz braucht dann lediglich diese Ausrichtung entlangzuwandern (Mathelitsch 2002 Link).

Auch im Fall unseres neuronalen Netzwerkes wird es nicht ohne eine solche Ausrichtung gehen. Das Netz muss sozusagen gekämmt werden, damit das Signal seinen Weg finden kann.

Wenn man das biologische Vorbild heranzieht, so muss man genaugenommen zwischen Nervenwachstum und Verbindungsfreigabe unterscheiden. Im ersten Lebensjahr vermehren die Neuronen massiv die Dentriden, also Verbindungsbahnen (Birbaumer 1997, S.576 Link). Es werden mehr Verbindungen angelegt, als aktiv verwendet werden. (Abo-Ticker 1999.11.29 Link). Scheinbar bauen Neuronen immer mehr Verbindungen auf, als nötig, um sie gegebenenfalls aktivieren zu können. Damit kann ein schnellerer Lernprozess stattfinden, als durch Verbindungswachstum. Studien an Seeschnecken zeigen solche Verbindungsprozesse (Byrne H. 2002 Link)

Es dürften aber auch im erwachsenen Gehirn noch Nervenwachstumsprozesse stattfinden, wobei sich hier noch deutlicher zeigt, dass Nerven in der Lage sind, den Weg zu finden. Ich erinnere mich an eine TV-Wissenschaftssendung, wo in einer Nährlösungen gezeigt wurde, dass zwischen Neuronen, die regelmäßig gleichzeitig stimuliert werden, eine Verbindung wächst. Leider fehlt mir die Quelle, aber ich fand ähnliche Experimente und Studien (Abo-Ticker 2001.04.24, WSA 2002.02.28, WSA 2002.12.18 Link). Gehirnzellen finden also sinnvolle Verbindungswege, so wie Wurzeln das Wasser, der Blitz den Boden oder Schleimpilze die Nahrung. Ein Versuch belegt, dass wenn man ein Labyrinth, mit einem Schleimpilz füllt, und an den Eingängen Nahrung auslegt, dieser sich entlang der kürzesten Labyrintstrecke zurückbildet, hin zur Nahrung (Nakagaki 2002 Link). Ein weiterer Interessanter Versuch zeigt, dass Nanopartikel aus Gold in gelatineartiger Flüssigkeit elektrische Pole spontan durch Gruppierung zu „nassen Drähten“ verbinden. Könnte man diese Verbindungen fixieren, so wäre ein Modell entwickelt, das dem Wachstum von Nervenverbindungen nahe käme (WSA 2001.11.05 Link). Wir können nur annehmen, dass all diesen Wegfindungsprozessen irgendwelche „Kraftlinien“ vorausgehen, die zu einer energetischen Durchkämmung des Raumes führen.

Die Vereinigung der Vorteile des Mehrschichten und des Bayes-Netzes

Der Signalfluss, der zur Durchkämmung des Neuronennetzes notwendig ist, der also zu den Kraftlinien führt, muss unterschieden werden, vom eigentlichen Blitz, der die Strecke zwischen den zu verbindenden Neuronen direkt entlangwandert und diese Verbindung abnabelt. Auch in einem Mehrschichtennetz gibt es vorerst so etwas wie Erkundungssignale in der Trainingsphase, und später die Verwendung der verstärkten Verbindungen in der Arbeitsphase. Auch ist im Mehrschichtennetz nicht jedes Neuron direkt mit jedem verbunden, sondern die Verbindung kann bei Bedarf, über Zwischenschichten hergestellt wird (Siehe Grafik zum Kapitel Mehrschichtennetz). Wir wollen diese Idee nun für unser Netz nützen das, im Gegensatz zum Mehrschichtennetz, statistisch lernt und keinen Lehrmeister braucht. Es sollen aber, anders als beim Mehrschichtennetz, Verbindungen in allen Richtungen möglich sein.

Das Kurze-Wege-Fließmodell

Die folgende Grafik zeigt, wie sich kämmende Signale von einem Punkt aus innerhalb eines natürlichen Netzwerkes ausbreiten könnten. Für die Ausbreitung von Signalen gilt: Sie können nur eine Zelle treffen, die nicht bereits aktiv ist. Hat eine Zelle ihr Signal weitergegeben, so verschwindet nach kurzer Zeit ihre Aktivität. Der Weg den die Signale gewandert sind bleibt aber offen (Kämmung). Ist ein Ausbreitungsdurchgang vorbei, und sind die Verbindungen gefunden, kann das System zurückgesetzt werden, und der nächste Durchgang kann starten. Dieses Konzept könnte eine mögliche funktionale Erklärung für die Gehirnwellen liefern.

Nun benötigen diese Signale im Gehirn auch Zeit sich auszubreiten. In Nerven ohne Myelinschicht legt das Signal nur 0,1 bis 10m/sec. zurück (Hubel 1989, S.28 Link). Wenn wir annehmen, dass in einer Schicht Gehirngewebe mehrere Zellen zugleich aktiv sind, die nun zueinander eine Verbindung aufbauen sollen, so ergibt sich ein Kämmmuster, das folgendermaßen aussehen könnte:

Die entstehenden Verbindungen im Fall der vorgegebenen Punkte, sind in der Grafik strichliert eingezeichnet. Es lässt sich erkennen, dass das Kämmmuster nicht dazu führte, dass alle Punkte mit allen anderen eine Verbindung eingingen, sondern dass nur Bahnen zu räumlich nächsten Punkten entstanden. Genau solche gedankliche Verknüpfungen wurden mit grafischen Elementen in Wahrnehmungsexperimenten getestet und es zeigte sich eben dieses Phänomen. Entferntes ist nur über den Umweg von Nahem abrufbar; Vorstellungen sind hierarchisch organisiert (Anderson 1996, S.121 Link).

Wir nehmen also an, dass die Signale im Gehirngewebe sich ausgehend von aktivierten Bereichen ausbreiten und dabei einen Weg durchfließen, den sie isolieren. Betrachten wir nun nicht das zeitliche Ausbreitungsmuster (die Zeitringe), sondern den Weg der zurückgelegt wurde (die Strahlen).

Während ihrer Fließbewegung legen die Signale eine Weg zurück, den sie isolieren. Bei Kontakt von zwei durchkämmten Bereichen kann der „Blitz“ durch diesen Weg die Punkte verbinden. Die Signale fließen natürlich weiter, um, wenn möglich weitere Verbindungen herzustellen.

Nun mag gegen dieses Modell einzuwenden sein, dass es doch rein hypothetischer Natur sei. Aber immerhin lässt sich zeigen, dass kein Modell der Verbindungsfindung vorstellbar ist, ohne Kämmsignale, die den Raum erkunden. Wie sollte ohne solche Vorläufersignale ein Neuron auch wissen, wo sich das andere aktive Neuron befindet? Das Modell mag hypothetischer Natur sein, aber es ist das einzig mögliche!

Wie kann die Verbindungsfindung in einem künstlichen System ablaufen?

Nun soll die Sache mit der Verbindungsfindung noch etwas genauer betrachtet werden. Ein Informatiker mag sagen, dass dies doch viel einfacher ginge als mit solchen Fließsignalen, nämlich dann, wenn wir alle Punkte in ein gemeinsames Koordinatensystem eintragen. Eine Hardware zu schaffen, in der Signale Wege durchfließen, dabei Schalter umlegen, und auf diese Weise ihren zurückgelegten Weg notieren, ist sicher enorm aufwendig! Aber diese Hardware soll ja nicht nur zur Lösung des Verbindungsproblems dienen. Sie ist gleichzeitig auch der Speicher des Kunsthirns. Anders als ein Festplattenspeicher hat das Gehirn ständig auf alles Zugriff. Wir brauchen nicht lange in unserem Speicher zu suchen, um ein Ding wiederzuerkennen. Auch befindet sich alles in ständiger Umformung. Wenn unsere Großmutter im Alter vergesslich wird, so tun wir uns schwer ihr gesundes Bild in Erinnerung zu behalten. Es wurde „umgeformt“ (Abo-Ticker 2000.08.17 Abo-Ticker 2001.07.30 Link). Ein trastisches Beispiel schildert Rosenfield (1996, S. 143 Link) Ein Mann, der in mittlerem Alter erblindete, konnte sich nach Jahren nurmehr jene Personen visuell vorstellen, die er seit der Erblindung nicht mehr gesehen hatte. Sich selbst konnte er sich nicht mehr visuell vorstellen.

Um das Gehirn zu simulieren, ist aus meiner Sicht eine eigene Hardware notwendig. Das erste Problem, das uns zur Konzeption einer solchen Hardware führt ist eben das Verbindungsproblem, denn Verbindungsfindung ist die Grundlage allen Lernens! Ein künstliches Netzwerk sollte aus gleich geformten Bauteilen bestehen, die in Serie produziert werden können. Jede Zelle soll mit ihren Nachbarn verbunden sein. Das Netz könnte also so aussehen:

Durch die Gleichförmigkeit des Gitters entsteht aber das Problem, dass die Verbindungen zwischen den Zellen nun alle gleich lang sind und in drei Richtungen vorliegen. So ergibt sich ein sechseckiges Ausbreitungsmuster, und der Signalweg ist auch nicht immer der geradlinigste:

Die Fließwege sind dunkel eingezeichnet, die Zeitringe hellblau. Aber es handelt sich aufgrund des Netzwerkes nicht mehr um Ringe sondern um Sechsecke. Damit kann aber als Erstkontakt zwischen zwei aneinanderstoßenden Signalausbreitungen ein breiter Bereich entstehen, und in diesem Fall wäre nicht klar, wo der direkte Weg liegt. Außerdem habe ich die Verzweigungen der Aststruktur nur auf die Hauptachsen gesetzt, und das führt dazu, dass in vielen Fällen gar nicht der direkteste Weg beschritten wird, sondern ein Umweg, wie dies die gelbe Linie verdeutlicht.

Ein verbessertes Modell

Es hat sich gezeigt, dass eine kreisförmige Signalausbreitung in einem halbwegs regelmäßigen Netz ganz einfach dadurch erreicht werden kann, indem eine Zelle ihre Ladung nicht in einem, sondern in mehreren Schritten überträgt. Zwischen den Zellen herrscht sozusagen ein Widerstand, und so kann vorerst nur ein Drittel des Signals zur Nachbarzelle wandern und von dort ein neuntel auf die übernächste Zelle. Erst in einem zweiten Schritt wird die Nebenzelle voll aktiviert und ein Teil des Signals wandert durch den Widerstand weiter voraus. Die Signalausbreitung hat sozusagen eine leicht unscharfe Grenze. Man könnte sagen die Zellen brauchen eine kurze Zeit um in Schwung zu kommen. Das ist für natürliche Vorgänge ein gut vorstellbares Modell. Es lässt sich auch durch einfache Filter in einem Grafikprogramm simulieren. Um die abgebildeten Filter zu verstehen, muss man alle Zahlen durch den unten angeführten Divisor dividieren. So steht in der Mitte 1, daneben ein Drittel und weiter ein Neuntel und in der größeren Version ist auch noch ein Siebenundzwanzigstel durchgerechnet. Das Ergebnis der beiden Filter ist identisch. Der zweite Filter rechnet es nur etwas genauer durch, eben bis zum Siebenundzwanzigstel. Er führt zu einem exakteren, aber rechenintensiveren Ergebnis. Kurzum, man wähle den Filter, der einem besser gefällt.

Filtert man einen weißen Bildpunkt auf schwarzem Grund mehrmals mit einem solchen Filter, so beginnt sich ein immer größerer weißer Kreis zu bilden, der die Signalausbreitung veranschaulicht.

Bemerkenswert ist dabei, dass auch die Beschädigung, die ich dem Kreis durch Einfügen einer schwarzen Delle verpasst habe, bei weiterer Ausbreitung wieder verschwindet. Das System neigt einfach dazu, wieder die Kreisform anzunehmen. Unscharfer Übergang ist daher auch für ein chaotisches Verschaltungsmuster, wie jenes im Gehirn, geeignet, um eine kreisförmige Durchkämmung zu erreichen, die Verbindungsfindung ermöglicht.

Was die Simulation betrifft, so lässt sich, da im Grafikprogramm nicht anders möglich, nur eine quadratrasterförmige Verteilung der Bildpunkte, die für Neuronen stehen, simulieren. Es liegt auf der Hand, dass diese Lösung auch zu einer kreisförmigen Signalausbreitung in anderen neuronalen Netzen taugt, solange sie einigermaßen halbwegs regelmäßig sind. So auch im Wabenmuster.

Woher kommt nun diese Kreisform? Würde ich als Filter ein Quadrat von neun Einsern eingeben, so erhielte ich eine quadratische Signalausbreitung, das heißt ein Quadrat mit scharfer Kontur das mit jedem drüberlaufen des Filters im Radius um einen Pixel wächst. Der Kreis entsteht einfach durch die vorauseilenden Graupixel (Unschärfe) im Bild, die Ihr Signal auch an die seitlichen Nachbarn verteilen. Wir können uns vorstellen, dass ein Neuron im Netz durch die unscharfe Ausbreitung unterschiedlich starke Signale von meist zwei Seiten bekommt. Zu jener Seite, die es stärker beliefert, führt letztlich der Ast des Signalflussbaumes (Kämmmusters). So ist das Verzweigungsproblem gleich mitgelöst. Es könnte zum Beispiel ein Verzweigungsmuster wie das folgende entstehen:

Die gelbe Linie zeigt, dass ein solches Verzweigungsmuster zu relativ geradlinigen Verbindungen führen wird.

Die Kontaktfindung

Ich habe erklärt, wie sich Signale kreisförmig ausbreiten. Was aber passiert ab dem Punkt, wo die Signale aufeinandertreffen? Rufen wir uns noch einmal das schematische Bild des Signalflusses in Erinnerung:

Die schwarzen Linien zeigen die bereits durchkämmten Bereiche. In diesen Bereichen ist jetzt nurmehr eine Signalweitergabe in der vorgegebenen Richtung möglich. Das Signal von A nach B (und umgekehrt) fließt also entlang der roten Linie weiter. Was aber ist mit den nahezu gleichzeitig eintreffenden Signalen, die in die grün eingezeichneten Verbindungen hineinfließen? Das Modell ist noch nicht ideal, denn es entstehen mehrere Verbindungen.

Es gibt noch ein weiteres Problem: Stellen wir uns nun mehrere Punkte vor, die winkelförmig angeordnet sind. Die folgende Grafik zeigt die Zeitlinien des Signalflusses. Die entstehenden Verbindungen sind rot eingezeichnet. Es zeigt sich, dass das Modell in seiner jetzigen Form in diesem Fall nicht zu direkten, geradlinigen Verbindungen führt. Es ist daher nicht brauchbar, denn die Signalfließzeit soll in unserem Modell die Entfernung von Punkten codieren, und die ist zu lange, wenn nicht der direkte Weg gewählt wird.

Ein drittes Problem ergibt sich aus der Frage, wie denn die Signale überhaupt zu den Ausgangszellen zurückkehren sollen. Die strahlenförmige Signalausbreitung ergibt sich nämlich aus der Regel, dass eine Zelle ihr Signal immer nur an eine noch nicht aktivierte Zelle weitergeben kann. Deshalb fließt das Signal vorwärts, nicht zurück. Wenn Signalströme unterschiedlicher Herkunft aufeinandertreffen, so schneiden sie einander den Weg ab. Eigentlich sollte dann gar keine Signalweitergabe mehr möglich sein, denn alle benachbarten Zellen wurden gerade eben aktiviert, und sind im Moment aktivierungsunfähig.

Diese drei Probleme scheinen sich auf verschiedene Weise lösen zu lassen. Ich möchte zuerst ein sehr einfaches Modell vorstellen, das aber bei genauerer Betrachtung zu Fehlern führt. Ich habe sehr viele ähnliche Modelle erstellt, weil ich mir eine einfachere Lösung gewünscht hätte, als notwendig ist. Letztlich glaube ich, dass es nur eine einzige Lösung gibt. Diese will ich als nächstes vorstellen.

Die Zweischritt-Scheinlösung

Die Idee baut darauf, dass die Verbindungsfindung in zwei Schritten erfolgt. Zunächst fließen die Signale zueinander. In der Mitte zwischen den kontaktsuchenden Zellen kommt dieser Schritt zum Stillstand. Dort treffen die Signale unterschiedlicher Herkunft aufeinander, und es entsteht eine „Kontaktlinie“ aktivierter Zellen, die ihre Signale nicht weitergegeben können. Ich habe diese in der folgenden Grafik strichliert eingezeichnet. Diese Kontaktlinie bildet eigentlich eine Ausnahmesituation, denn nur auf der Kontaktlinie erhalten Zellen gleichzeitig zwei Inputs.

Nun nehme ich an, dass das Kunsthirn einen Rhythmus hat, in dem es die Aktivierungsfähigkeit der Zellen wieder herstellt, also so etwas wie Gehirnwellen. Sobald die Aktivierungsfähigkeit wieder hergestellt ist, können die Signale, ausgehend von der Kontaktlinie, zurück zu den Ausgangszellen fließen. Die folgenden Grafiken zeigen die entstehenden Rückflüsse an einem Beispiel mit zwei Ausgangspunkten und einem Beispiel mit winkelförmig angeordneten Ausgangspunkten.

Erster Schritt…. Zweiter Schritt

Erster Schritt… Zweiter Schritt

Es ist zu erkennen, dass der zweite Schritt auch im Beispiel mit dem Winkel zu geraden Verbindungen zwischen den gegenüberliegenden Zellen führt. Das Problem scheint gelöst. Allerdings ergibt sich in den meisten Situationen ein Fehler, der diese Lösung unbrauchbar macht. Die folgende Grafik zeigt vier Punkte, die eine Verbindung aufbauen sollen.

Der Signalfluss des ersten Arbeitsschrittes ist als Grauverlauf dargestellt. Um die Ausgangszellen herum entstehen Felder. In einem der Felder habe ich linear die Zeitlinien des zweiten Arbeitsschrittes eingezeichnet. Man sieht, dass sich die Linien von dem Rand des Feldes zur Mitte X hin ausbreiten. Aber die Ausgangszelle liegt nicht in der Mitte des Feldes. Deshalb können die meisten Verbindungen nicht hergestellt werden. Nur die eine dick eingezeichnete Verbindung entsteht. Wir brauchen also ein anderes Modell!

Kontaktfindung durch Kämmlinienvermischung

Wenn das Zwei-Schritte-Modell sich als nicht brauchbar erweist, wie könnten die Signale, welche der Kontaktfindung zwischen Zellen dienen, auf andere Art zur jeweils gegenüberliegenden Zelle gelangen, ohne von deren Signalstrom blockiert zu werden? Ich will dazu annehmen, dass sich die Signale auf halbem Weg in einer Zelle treffen, dann für einen kurzen Moment nicht weitergegeben werden können, bis die umliegenden Zellen wieder reaktionsbereit sind. Für diesen Moment bleibt das Signal in der Zelle aufrecht. Danach kann es weiterwandern.

Da es nun in bereits durchkämmte Bereiche wandert, müsste es auch die Fließrichtung daran anpassen. Was aber, wenn die durchkämmten Bereiche nicht nur in der Kämmrichtung, sondern bis zu einem gewissen Grad auch in anderen Richtungen durchflossen werden können? Dazu müssen wir uns vorstellen, dass die Kämmsignale nicht nur den Signalweg offen lassen, der gegenläufig zu ihrer Fließrichtung steht, sondern auch ähnliche Richtungen nicht völlig geschlossen werden. Die Fließsignale hätten dann in einem begrenzeten Feld die Möglichkeit sich so weiter auszubreiten, wie sie es tun würden, wenn sie einander nicht kreuzten. Sie überschreiben einfach die Kämmlinien des gekreuzten Signals.

Dieses Modell führt auch zu einer anderen Lösung im Beispiel der winkelförmig angeordneten Punkte. Diesmal verläuft die Verbindung anders, aber es entsteht wieder ein Umweg. Der verläuft jetzt in die Gegenrichtung.

Die Frage ist nun, wie schaffen wir es, die beiden Modelle so zu kombinieren, dass sie in diesem Beispiel zu brauchbareren Verbindungen führen, die nicht ein Eck in ihrer Verbindungslinie haben.

Die Lösung wäre dann gefunden, wenn an der Stelle, wo die Kämmsignale einander überlagern, ein Mittelweg zwischen den beiden Richtungen gefunden wird. Die Signale könnten übereinander fließen, wie im vorhergehenden Beispiel, aber die Kämmspur, die sie insgesamt hinterlassen, sollte den Mittelweg darstellen. Dazu will ich annehmen, ein Signal, das eine Zelle durchläuft, hinterlässt in ihr keine klare Spur, sondern eine unscharfe. In der Durchlaufrichtung ist sie ohne Widerstand durchfahrbar, in ähnlichen Richtungen mit geringem Widerstand, und in der Richtung quer zur Durchlaufrichtung ist sie nicht mehr befahrbar. Überlagern sich nun zwei Richtungen, so wird ein Mittelwert der beiden Durchläufe gebildet.

Wie sieht das nun eigentlich aus, wenn wir nicht von winkelförmig angeordneten aktiven Zellen ausgehen, sondern wieder zurückkehren zum Problem der Kontaktfindung von nur zwei aktiven Zellen? Die folgende Grafik zeigt das Ergebnis. Die bunten Linien zeigen die Kämmlinien, die durch die Fließsignalvermischung zustande kommen. Positiv an dem Modell ist auch, dass nur eine einzige Verbindung zwischen den Zellen entsteht. Die anderen Fließwege verfehlen das Ziel.

Dort wo die Signale der Punkte zueinander laufen, ist bei der Überlappung ihrer Fließrichtung eine mittlere Richtung zu erwarten. Wenn sie im rechten Winkel aufeinandertreffen, wird sich ihre Fließrichtung somit aufheben. Das passiert an der kreisförmigen Grenzlinie zwischen Rot und Grün. Deshalb sind dort die Richtungen nur in Pastellfarbe angedeutet. Eigentlich gibt es dort keine klare Richtung, weil sich die Richtungen aufheben. Außerhalb dieser Zone gibt es wieder Signale, die im spitzen Winkel aufeinandertreffen. Die dabei entstehende Richtung ist aber nun um 90° gedreht.

Wie ist ein solcher Überlagerungseffekt von Fließrichtungen vorstellbar? Sind dazu nicht aufwendige Rechenvorgänge in den Neuronen notwendig? Ich denke nicht. Mit geeigneten analogen elektronischen Bauteilen könnte die Durchschnittsrichtung dabei ganz ohne Rechenvorgänge auf ähnliche Weise zustandekommen, wie in der folgenden Grafik die horizontale Schattierungsrichtung des dritten Bildchens durch Überblendung der beiden ersten Schattierungsrichtungen zustande kam.

+ =

Aber zurück zur vorhergehenden Grafik mit den Fließrichtungen. So wie der Signalfluss dort dargestellt ist, ergibt sich ein Problem. Die Fließsignale wandern ungehindert über die gesamte Fläche hinweg weiter. Stellen wir uns nun viele gleichzeitig aktive Punkte im Netz vor, und alle Signale fließen übereinander, und bilden gemittelte Kämmrichtungen. Dabei kann nichts Sinnvolles herauskommen. Es wird also wichtig sein, dass die Kämmsignale auch irgendwo ein Ende finden. Dafür gibt es, wenn wir uns die vorherige Grafik ansehen, eigentlich eine naheliegende und einfache Möglichkeit. Stellen wir uns vor, dort wo sich die Kämmlinien in ihrer Richtung aufheben, findet das Fließsignal keine Richtung mehr, in die es weiterfließen kann. Es wird aufgehoben. Die folgende Grafik zeigt den Effekt dieser Regel:

In dieser Grafik treten drei Phänomene auf, die für eine sinnvolle Verbindungsfindung unbedingt notwendig sind:

1) Trifft ein Fließstrom auf einen Bereich der in die entgegengesetzte, oder eine nahezu entgegengesetzte Richtung durchflossen wurde, so kann er ihn durchfließen. Die Kämmrichtungen vermischen einander.

2) Trifft ein Fließstrom auf einen Bereich der bereits quer zu seiner Fließrichtung durchkämmt wurde, so kann er nicht weiterfließen, weil der Weg versperrt ist.

3) Geraten Fließsignale aneinander, die fast in der gleichen Richtung unterwegs sind (grüne Linien), so können sie einander nicht überschreiben. Das liegt daran, dass überschreiben ja nur durch einen Trick möglich ist. Wir haben die Regel aufgestellt, dass ein Signal, das nicht weitergegeben werden kann, kurz aufrecht erhalten wird, bis benachbarte Verbindungen wieder frei werden. Stoßen Signale frontal aufeinander, halten sie also kurz inne, und fließen dann von dieser Stelle aus weiter. Es sieht aus, als flößen sie übereinander hinweg. Wenn zwei fast gleiche Fließrichtungen zusammenlaufen, ist das jedoch anders, denn alle Signale können weitergegeben werden. Also fließen die Signale ab, ohne einander zu überlagern.

Punkt 3 führt zu einem interessanten Effekt. Geraten Fließsignale aneinander, die nahezu in die selbe Richtung unterwegs sind, vereinigen sie einander. Dieser Effekt erweist sich nicht als störend, sondern sogar als Notwendigkeit! Das wird deutlich, wenn wir uns vorstellen, dass 12 Punkte, die auf einer Kreislinie regelmäßig angeordnet sind, sich in dessen Zentrum vereinen sollen. Eine Zelle in unserem neuronalen Netz verfügt in der Fläche aber nur über 6 Verbindungen. Also müssen sich die Kämmlinien, im gegebenen Beispiel, schon vorher vereinigen, und das können sie durch diesen Nebeneffekt unserer Signalflussregeln.

Stoßen mehr als zwei Fließströme zusammen, so gilt für die Signale das gleiche wie im Fall von nur zwei Fließströmen: Kann ein Signal nicht weiterfließen, so bleibt es aktiv, bis die umliegenden Zellen wieder aufnahmefähig sind. Im Fall der folgenden Grafik passiert dies im Zentrum. Die Signale wandern nun zurück, und mischen dabei ihre Richtung mit den bereits vorhandenen Kämmlinien. Da die vorhandenen Kämmlinien bereits aus einer Kämmlinienmischung hervorgehen, die vorher stattfand, beschreiben sie Kurven. Es entsteht eine Dreierverbindung zum Zentrum der Grafik.

Damit sind die Gesetze zur Verbindungsfindung besprochen. Es stellt sich noch die Frage, ob bestimmte Verbindungen Vorrang vor anderen haben, oder ob alle entstehenden Verbindungen aufrecht bleiben sollen. Das Gesetz der Nähe sollte in das Modell inkludiert werden. Es besagt, dass wenn Punkte, nahe beieinander liegen, diese eher als zusammengehörig betrachtet werden, als wenn sie weiter entfernt sind. Kurze Verbindungen sind also zu bevorzugen. Da kurze Verbindungen schneller zustande kommen, kann diese Bevorzugung auch durch die zeitliche Nähe geschehen. Die Vorrangstellung kurzer Verbindungen könnte letztlich dadurch ausgedrückt werden, dass sie einen geringeren Widerstand im Netz besitzen.

Die Regeln der Verbindungsfindung, die die obigen vier Anforderungen erfüllen, waren nicht leicht zu finden. Ich habe lange an ihnen geforscht, und vermute, dass die hier dargestellte Lösung den einzigen möglichen Weg darstellt. Deshalb vermute ich, dass im Gehirn etwas analoges stattfindet.

Die Richtung der Kämmlinien in diesem Modell erinnert an die Kraftlinien der Gravitation, die sich ergeben würden, wenn unsere Punkte Planeten wären. Gravitation verkörpert ja auch das Gesetz der räumlichen Nähe, denn ihre Stärke erhöht sich mit der Nähe zu den Planeten. Diese Parallele ist nicht verwunderlich. Gravitation ist die wichtigste strukturierende Kraft der Natur, und unser Gehirn dient u. a. dazu die Natur zu repräsentieren. Deshalb bedarf es einer ähnlichen strukturierenden Kraft.

Ob die zuletzt genannten Regeln zur Erstellung der Kämmlinien Sinn machen, kann daran überprüft werden, wie der Mensch flächig angeordnete Reize in Bezug zueinander stellt, und ob das Modell ähnliche Bezüge (Verbindungen) herstellt. Den Ort eines Punktes im Raum definieren wir ja durch seinen Abstand zu anderen Punkten des Raumes. Genauso ist es mit einem Punkt auf einer Grafik. Interessant ist, welche Bezüge wir beim Betrachten einer Grafik als die Wesentlichen erachten. Aus meiner Sicht sind es die Selben Verbindungen, denen auch das Modell den Vorrang einräumt.

Wie die Welt in den Kopf kommt

Ein Gehirnmodell auf Basis des Redundanzketten-Signalflusses