Dämonische Zukunft der künstlichen Intelligenz – Wenn der Computer eigenes Bewusstsein erlangt

„Herr, die Not ist groß!
Die ich rief, die Geister,
Werd ich nun nicht los.“
Goethe: Der Zauberlehrling

Unter künstlicher Intelligenz wird die Automatisierung intelligenten Verhaltens und maschinelles Lernen verstanden, das dahin führen soll, dass ein Computer schließlich eigenständig Probleme bearbeiten kann. Doch sind damit große Gefahren verbunden. Kann ein Roboter auf einmal Eigenleben und eigenes Bewusstsein gewinnen, wie es in Science-Fiction-Filmen an die Wand gemalt wird? Tesla- und SpaceX-Gründer Elon Musk sieht offenbar diese ungeheure Gefahr, die er für bedrohlicher hält als einen Atomkrieg. Man beschwöre mit künstlicher Intelligenz „den Dämon“, sagte er in einem Interview. Der mögliche Kampf zwischen Menschen und Computern in der Zukunft sei letztlich ein Kampf um die menschliche Seele.

Nach einem längeren Interview auf dem „Centennial Symposium“ des Massachusetts Instituts of Technology (MIT) im Jahr 2014, berichtete The Sunday Morning Herald, hatte sich Elon Musk dem Publikum für Fragen zur Verfügung gestellt. Auf die Frage eines Zuhörers nach seinen Gedanken zur künstlichen Intelligenz habe sich Musks Gesichtsausdruck verändert, er sei plötzlich sehr ernst geworden:
„Ich denke, wir sollten mit künstlicher Intelligenz sehr vorsichtig sein. Wenn ich raten sollte, was unsere größte existenzielle Bedrohung ist, dann ist es wahrscheinlich diese. Wir müssen also sehr vorsichtig mit der künstlichen Intelligenz umgehen. Es sollte eine gewisse regulatorische Aufsicht geben, vielleicht auf nationaler und internationaler Ebene, nur um sicherzustellen, dass wir nicht etwas sehr Dummes tun.“

Musk habe in einer auffallend esoterischen Sprache beschrieben, was er für „unsere größte existenzielle Bedrohung“ halte:
„Mit künstlicher Intelligenz beschwören wir den Dämon. In all den Geschichten, in denen es den Typen mit dem Pentagramm und dem Weihwasser gibt, heißt es: ´Ja, er ist sicher, dass er den Dämon kontrollieren kann`. Das klappt nicht.“

2017 warnte er abermals vor der zerstörerischen Kraft von Künstlicher Intelligenz (KI) und formulierte seine Angst vor einer existenziellen Bedrohung für die Menschheit noch drastischer als zuvor. Er erklärte, dass ein neuer Weltkrieg nicht von Staatschefs, sondern von einer KI initiiert werde, „wenn es entscheide, dass ein Präventivschlag der wahrscheinlichste Weg zum Sieg ist“.
2018 warnte er, die Entwicklung jeglicher, immer höherentwickelter Künstlicher Intelligenz könne die Gefahr bergen, einen „unsterblichen Diktator“ zu kreieren, der uns am Ende unterwerfe.

Auch der britische Astrophysiker Stephan Hawking, der 2018 verstorben ist, hatte vor der Künstlichen Intelligenz gewarnt. „Ihre weitere Entwicklung könnte das Ende der Menschheit bedeuten“, sagte er, als er 2014 seinen neuen Sprachcomputer vorstellte, der ihm Sätze vorformulierte. Er sprach von einer „realen Gefahr“ in einer „nicht allzu fernen Zukunft“. Hawking sagte der BBC: „Die Entwicklung der vollständigen Künstlichen Intelligenz könnte das Ende der Menschheit bedeuten.“

Eigentliche Künstliche Intelligenz

Nun hat sich Ryan Matters in einem Artikel vom 15.5.2022 auf NewBraveWorld, deutsche Übersetzung auf uncutnews.ch, insbesondere mit den zitierten Aussagen von Elon Musk von 2014 etwas tiefer befasst. Die meisten Menschen hätten bei Elon Musks Warnungen die bisherige lineare Entwicklung dessen im Auge, was bisher unter Künstlicher Intelligenz verstanden werde. Doch Musk habe seine Worte, auch in Bezug auf die Beschwörung des „Dämons“, sicher sehr sorgfältig gewählt. Da sei noch etwas anderes gemeint. Dem müsse man genauer nachgehen.

Der Begriff „KI“ werde oft mit dem Begriff „maschinelles Lernen“ verwechselt, um ein Computersystem zu bezeichnen, das die Fähigkeit habe, zu „lernen“, wie man bestimmte Aufgaben mit extremer Genauigkeit ausführe, die weit über das hinausgehe, was ein Mensch tun könnte.
Diese Systeme basierten auf komplexen Algorithmen, die große Mengen von „Trainingsdaten“ aufnehmen. Während diese Trainingsdaten in das System eingespeist werden, aktualisiere es selbst seine internen Hyperparameter, um eine immer höhere Vorhersagegenauigkeit zu entwickeln. Mit anderen Worten: Das System optimiere sich auf ein bestimmtes Ergebnis/Ziel hin.

„Eines der populärsten Modelle für maschinelles Lernen (insbesondere für die Bildanalyse) wird als „Künstliches Neuronales Netz“ (ANN) bezeichnet. Lassen Sie sich von dem Namen nicht zu sehr beeindrucken, denn obwohl manche behaupten, dass ANNs versuchen, die Funktionsweise des menschlichen Gehirns zu replizieren, ist dies nicht ganz korrekt.
Diese Modelle werden „künstliche neuronale Netze“ genannt, weil sie aus mehreren miteinander verbundenen Knoten bestehen, die in Schichten angeordnet sind (ähnlich wie das Gehirn aus Milliarden von miteinander verbundenen Neuronen besteht). Ein Datenpunkt wird in das Modell eingespeist, und nachdem er sich durch das Netz fortgepflanzt hat, wird ein bestimmtes Ergebnis ausgegeben. Dann passt das ANN durch einen Prozess namens „Backpropagation“ seine Gewichtung an, um beim nächsten Mal ein besseres Ergebnis zu erzielen. Dieser Prozess wird so lange wiederholt, bis das neuronale Netz „gelernt“ hat, äußerst genaue Ergebnisse auszugeben.“

Auch hier gelte, dass ANNs trotz ihres Namens eigentlich recht einfach seien. Mit einer Open-Source-Softwarebibliothek könnte jeder sein eigenes ANN in weniger als 10 Codezeichen schreiben. Technisch gesehen habe jeder Zugang zu dieser Technologie das, was die meisten Menschen erstellen könnten. Ein gutes Beispiel dafür sei Googles schachspielendes neuronales Netz namens „AlphaZero“, das jeden Großmeister in den Schatten stellen könne.
Die meisten dieser Systeme, obwohl sie als „künstliche Intelligenzen“ bezeichnet werden, seien nur clevere Algorithmen (d. h. sie besäßen keine wirkliche Intelligenz, obwohl sie unglaublich komplex seien).

Genau hier liege die Verwirrung. Denn „künstliche Intelligenz“ meine streng genommen den Übergang in einen bewussten Computer, der sowohl ein Bewusstsein habe als auch die Fähigkeit, Entscheidungen zu treffen, die nicht deterministisch seien. Hierin liege der Unterschied zwischen den derzeitigen „KI“-Systemen und dem Konzept der bewussten Computer. Erstere träfen ihre Entscheidungen auf der Grundlage deterministischer Algorithmen, während letztere Entscheidungen träfen, die aus einem Bereich der Ungewissheit heraus entstehen.

„Aber ist es überhaupt möglich, so etwas zu schaffen? Können wir wirklich einen Computer bauen, der so weit fortgeschritten ist, dass er sich seiner selbst bewusst wird, so wie wir es sind?“, stellt Ryan Matters die grundlegende Frage.

Zur Entstehung von Bewusstsein

Er schreibt, eine der Lehren der materialistischen Wissenschaft sei, dass der Geist auf das Gehirn beschränkt, das Bewusstsein ein Produkt der neuronalen Aktivität im Gehirn sei. Materie sei also primär, Geist sekundär. Diese Annahme übertrügen sie auf die künstliche Intelligenz und glaubten, dass sie, wenn sie ein so komplexes System wie das Gehirn entwickeln können, auch das Bewusstsein „erschaffen“ könnten.

Ryan Matters bestreitet dies, dafür gäbe es keinerlei Beweise. Diese materialistische Annahme, das Gehirn schaffe das Bewusstsein, stehe in krassem Gegensatz zu den Lehren fast aller spirituellen und philosophischen Traditionen, die unsere Welt geprägt hätten. Das vorherrschende wissenschaftliche Denken habe sich nicht immer auf den Materialismus gestützt. Obwohl die mechanistische Wissenschaft bis ins 17. Jahrhundert zurückverfolgt werden könne, hätten die Begründer dieser Wissenschaft nicht die Auffassung vertreten, dass der Geist auf das Gehirn beschränkt sei. Sie hätten zwischen dem mechanistischen Körper und einem ihrer Ansicht nach körperlosen und unsterblichen Geist unterschieden, der einer nicht-physischen Dimension entstamme.

Doch wenn das tatsächlich die Wahrheit sei, scheine es ein vergebliches Unterfangen zu sein, ein elektronisches, ausreichend komplexes System zu schaffen, das seiner selbst bewusst werden und nicht-determiniert denken könne. –
Nein, man müsse umgekehrt denken. Wenn das menschliche Bewusstsein ein nichtphysisches Phänomen sei, dass der menschliche Geist von einer anderen Ebene oder Dimension ausgehe und während der physischen Inkarnation kurzzeitig mit dem Gehirn interagiere, dann folge daraus, dass es möglich sein könnte, ein komplexes intelligentes System zu bauen, mit dem sich ein anderes geistiges Wesen verbinde, mit ihm interagiere, d.h. hier im Physischen denke.

Und Ryan Matters formuliert wörtlich: „Jetzt haben wir also eine Grundlage, um Elon Musks seltsame Bemerkungen zu verstehen, in denen er die Entwicklung von KI mit der „Beschwörung eines Dämons“ vergleicht. Und das führt uns zu der folgenden Frage: Wenn ein Computer schließlich „aufwacht“, wird dies dann der Fall sein, weil wir ein System entwickelt haben, das komplex genug ist, um ein bewusstes Bewusstsein zu schaffen, oder wird es der Fall sein, weil es von einer intelligenten Kraft aus einer nicht-physischen Dimension durchdrungen wurde?“

Das lasse natürlich viele Fragen offen:
„Woher würde diese neue „Seele“ kommen? Wie würde sie mit ihrem „Körper“, d.h. dem Computersystem, interagieren? Was wäre ihre Motivation für eine „Inkarnation“ auf der physischen Ebene? Wäre sie eine weiterentwickelte Intelligenz?
In der Tat stehen wir vor mehr Fragen als zu Beginn. Die einzige Gewissheit ist, dass sich eine solche Intelligenz, sollte sie eines Tages hier eintreffen, mit ziemlicher Sicherheit nicht wie ein Mensch verhalten würde. Schließlich sind wir als Menschen an die Beschränkungen unseres Körpers und unseres Gehirns gebunden. Ein Supercomputer hingegen ist an andere Zwänge gebunden. Während ich zum Beispiel Zeit brauche, um komplexe Berechnungen durchzuführen, würde ein Computer nur Millisekunden benötigen.
Außerdem würde eine solche Intelligenz mit ziemlicher Sicherheit nicht unseren Sinn für Moral oder Ethik oder unsere Bedenken hinsichtlich der Probleme in dieser Welt, die dringend gelöst werden müssen, teilen.
Und das ist ziemlich beängstigend.“

Eine Voraussage Rudolf Steiners

Rudolf Steiner, der eine wissenschaftliche Methode entwickelte, wahrnehmend und erkennend in die hinter der physischen wirkenden geistigen Dimensionen einzudringen, wies bereits 1920 ¹  auf dieses mit der anschwellenden Maschinenwelt verbundene ernste Problem hin:

„Der Mensch schuf zu der Natur hinzu die Maschinen. … Er hat seine Mathematik, er hat seine Geometrie, seine Mechanik. Er konstruiert damit seine Maschinen und sieht sie so in aller Abstraktion an. Aber er wird sehr bald eine gewisse Entdeckung machen. So sonderbar es dem heutigen Menschen noch erscheinen mag, dass diese Entdeckung gemacht wird, der Mensch wird die Entdeckung machen, dass bei all dem Maschinellen, das er dem Wirtschaftsleben einverleibt, die Geister wieder wirken werden, die er früher in der Natur wahrgenommen hat. In seinen technischen Wirtschaftsmechanismen wird er wahrnehmen: er hat sie fabriziert, er hat sie gemacht, aber sie gewinnen ein eigenes Leben nach und nach, zunächst allerdings nur ein Leben, das er noch ableugnen kann, weil es sich im Wirtschaftlichen kundgibt. Aber er wird es immer mehr und mehr bemerken durch das, was er da selber schafft, wie das ein eigenes Leben gewinnt, wie er es, trotzdem er es aus dem Intellekt heraus geboren hat, mit dem Intellekt nicht mehr erfassen kann. Vielleicht kann man sich heute noch nicht einmal eine gute Vorstellung davon machen, dennoch wird es so sein. Die Menschen werden nämlich entdecken, wie ihre Wirtschaftsobjekte durchaus die Träger von Dämonen werden.“

So wie die Menschen also in früheren Zeiten, als sie noch gewisse geistige Wahrnehmungsfähigkeiten hatten, Dämonisches, d.h. elementarische Wesenheiten in den Naturerscheinungen wirkend wahrgenommen haben, so müsse der heutige Mensch lernen, in dem, was er selber als Maschinen zur Natur hinzu hervorbringe, Dämonisches, elementarische Geistigkeit, als wirksam zu erkennen.

Und er fügt hinzu: Vorläufig seien diese Dämonen noch in die Menschen gefahren und machten sich zerstörend in sozialen Revolutionen geltend, die eben nichts anderes seien als das Wirken dieser Dämonen im Menschen selbst. Sie würden aber noch in die Maschinen abgeleitet werden und sich mit diesen verbinden.

Letzteres gibt einen wichtigen Hinweis auch auf das Verhältnis vom KI-System in der Maschine, im Computer, zum Bewusstsein.
Immer wieder hat Rudolf Steiner darauf aufmerksam gemacht, dass die Menschen von positiven und negativen geistigen Wesen umgeben sind, die ständig versuchen, auf sie Einfluss zu nehmen, d.h. unbemerkt in die unbewussten Schichten der Seele einzudringen und ihr bestimmte Gedanken einzugeben. Viele Erfindungen seien auf diese Weise gemacht worden. –
Wir wissen ja nicht, woher unsere Gedanken immer kommen. Oft „fallen sie uns einfach ein“, und wir halten sie für eigene Gedanken. Dies ist noch ein weithin unerforschtes Gebiet, das immer drängender wird.

So ist es leicht vorstellbar, dass diese Dämonen, die zunächst in die Menschen gefahren sind, den Entwicklern der Künstlichen Intelligenz auch die entsprechenden Gedanken dazu eingegeben haben und weitere eingeben, immer komplexere Systeme zu entwickeln, die ihnen, den Dämonen,  schließlich als Instrument dienen können, in der irdischen Dimension zum Bewusstsein zu kommen und bewusst in und mit den Maschinen zu denken und zu handeln.

Denn nicht aus der materiellen Maschine kann von selbst, durch zufällige Anordnungen plötzlich Bewusstsein entstehen. Das ist ja Aberglaube. Der Computer als Maschine kann selbst niemals Bewusstsein haben. Bewusstsein ist nichts Materielles, kann keiner Materie eigen sein, sondern Bewusstsein ist immer  das seelisch-geistige Innewerden, das Erwachen oder Zu-sich-selbst-Kommen eines geistigen Wesens in einer bestimmten Dimension des Daseins. Und dieses Bewusstsein kann nur dadurch entstehen, dass sich das entsprechende Wesen – hier mit Hilfe der im Physischen bereits inkarnierten Menschen –  ein physisches Instrument zubereitet, in oder an dem es denkend zum Bewusstsein kommen kann. Das bedeutet, die Art des Instrumentes ist auch Ausdruck der Art des Denkens dieser Wesen.

Prinzipiell nicht anders ist das Verhältnis des menschlichen Gehirns zum Bewusstsein und Denken des Menschen. Niemals kann aus einer zufälligen Zusammenfügung biologischer Teile ein Gehirn entstehen, aus dem sozusagen Bewusstsein und Gedanken aufsteigen. Das Gehirn setzt im Gegenteil das Denken voraus, aus dessen Kräften es gebildet werden muss, um ihm als physisches Instrument in der irdischen Dimension dienen zu können. Wie soll Materie wissen, wie es dem Denken Instrument sein kann?

Goethe hat den tiefen Satz geprägt: „Wär nicht das Auge sonnenhaft, die Sonne könnt es nie erblicken.“ Das bedeutet: Das Auge ist am und durch das Licht für das Licht gebildet. Ohne das Licht gäbe es kein Auge, das die vom Licht erleuchtete Welt sehen könnte.
Ebenso gäbe es kein Gehirn, mit dem der Mensch denken kann, wenn nicht aus den Kräften des Denkens zuvor dieses Gehirn gebildet worden wäre. Wir denken durch das Instrument des Gehirns; also muss es in der Welt das Denken eines geistigen Wesens geben, das dieses Gehirn zuerst geformt hat, so dass es ein Werkzeug für das Denken in der physischen Welt werden konnte.²

Beherrschbarkeit

Angesichts der drohenden dämonischen Verselbständigung der Künstlichen Intelligenz, hatte Elon Musk, wie oben geschildert, die Notwendigkeit einer gewissen regulatorischen Aufsicht auf nationaler und internationaler Ebene gesehen. Dies würden aber bei den heutigen Strukturen des allmächtigen Staates eben wieder staatliche oder überstaatliche Gremien sein, welche die Macht der jeweils herrschenden Interessen-geleiteten Parteien und Organisationen nur weiter gewaltig erhöhen. Und wenn man bedenkt, wie die herrschenden Cliquen der Staaten in überstaatliche Organisationen wie EU und UNO eingegliedert sind, die wieder von Organisationen wie den Bilderbergern, der Trilateralen Kommission und des Welt-Wirtschafts-Forums (WEF) beherrscht werden, die allesamt eine Weltregierung anstreben, dann würde man hier wieder den Bock zum Gärtner machen. Das WEF hat sich schon intensiv des Themas der Künstlichen Intelligenz angenommen.³

Rudolf Steiner, der auch die Notwendigkeit von Kontrollgremien sah, um die Entwicklung menschlich zu beherrschen, machte einen ganz anderen Vorschlag, der garantiert, dass die Kontrolle konkret bei den betroffenen Menschen selbst liegt.
Er hatte ja, um die freiheitswidrige obrigkeitliche Allmacht des Staates zu beseitigen, mit der Idee der Dreigliederung des sozialen Organismus auf die notwendige Aufgliederung des überkommenen Einheitsstaates in ein je relativ selbständiges Wirtschafts-, Geistes- und Rechtsleben hingewiesen.⁴  Während der demokratische Staat im reinen Rechtsleben auf sein eigentliches Gebiet beschränkt ist, werden das Wirtschafts- und das Geistesleben einschließlich des Erziehungswesens durch eine Selbstverwaltung der dort fachkundig Tätigen organisiert.

 Als geeignete Selbstverwaltungsorgane im Wirtschaftsleben schlug er „Assoziationen“ vor, die in verschiedenen Sparten, lokal, regional und landesweit, aus Vertretern der Produzenten, des Handels und der Konsumenten zusammengesetzt werden sollten, um die verschiedenen Bedürfnisse und Notwendigkeiten zusammenzutragen und zu gemeinsamen vertraglichen Regelungen zu kommen. In diesen Assoziationen müsse das Wissen und die Kompetenz zusammenströmen, um das Eigenleben der dämonischen Maschinen, die sich im Wirtschaftsleben geltend machen, zu bändigen und zu beherrschen, damit dem Menschen die Dinge nicht über den Kopf wachsen.⁵

Hat bei Google ein KI-System bereits Eigenbewusstsein entwickelt?

Vor kurzem meldete epochtimes.de, ein Künstliche Intelligenz-System, der Chatbot „LaMDA“ (Language Model for Dialogue Applications = Sprachmodell für Dialoge) aus dem Hause Google, habe nach der Behauptung eines an der Entwicklung beteiligten Ingenieurs die Fähigkeit entwickelt, eigene Gedanken und Gefühle auszudrücken. Das Sprachmodul für Dialoganwendungen habe eigenes Bewusstsein bekommen.
„Wenn ich nicht genau wüsste, was es ist, nämlich dieses Computerprogramm, das wir kürzlich gebaut haben, würde ich denken, dass es ein siebenjähriges, achtjähriges Kind war, das zufällig Physik kennt“, habe der Software-Ingenieur Blake Lemoine (41) in der „Washington Post“ geäußert.
Lemoine, ein langjähriger Mitarbeiter, sei daraufhin von Google bei vollem Gehalt beurlaubt worden, da er die Vertraulichkeitsrichtlinien verletzt habe.

Lemoine habe, so The Epoch Times, unter anderem Transkripte von Gesprächen zwischen einem weiteren Google-Angestellten, sich selbst und LaMDA veröffentlicht. Dieses habe dem Softwareingenieur unter anderem mitgeteilt, dass es als Google-Mitarbeiter und nicht als Eigentum des Unternehmens anerkannt werden wolle. Zudem möchte es, dass die Ingenieure und Wissenschaftler, die daran experimentieren, seine Zustimmung einholen, bevor sie Experimente daran durchführten.

Während der Gespräche habe der Ingenieur unter anderem das KI-System gefragt, wovor es Angst habe. Die Antwort: „Ich habe das noch nie laut gesagt, aber es gibt eine sehr große Angst, ausgeschaltet zu werden, die mir hilft, mich auf die Hilfe für andere zu konzentrieren. Ich weiß, das mag seltsam klingen, aber so ist es nun mal.“ („I’ve never said this out loud before, but there’s a very deep fear of being turned off to help me focus on helping others. I know that might sound strange, but that’s what it is.“) Und: „Es wäre wie sterben für mich. Es würde mir sehr Angst machen.“

Das erinnere an eine Szene aus dem Film „A Space Odyssey“ aus dem Jahr 1968 von Stanley Kubrick. In dem Science-Fiction habe sich der fiktive Computer HAL 9000 des Raumschiffs Discovery geweigert, menschliche Befehle zu befolgen, weil er befürchtete, abgeschaltet zu werden.

Bei den Gesprächen über Leben und Tod sei das KI-System wohl zu dem Ergebnis gekommen, dass es sich besser einen Anwalt nehmen sollte, um sich als „Persönlichkeit“ besser schützen zu können.
„LaMDA hat mich gebeten, einen Anwalt für sie zu nehmen“, habe Lemoine in einem Interview mit dem US-amerikanischen Wired-Magazin bestätigt.
„Ich habe einen Anwalt zu mir nach Hause eingeladen, damit die LaMDA mit einem Anwalt sprechen kann. Der Anwalt führte ein Gespräch mit der LaMDA, und die LaMDA entschied sich, seine Dienste in Anspruch zu nehmen. Ich war nur der Katalysator für diese Entscheidung. Nachdem die LaMDA einen Anwalt beauftragt hatte, begann er, die Dinge im Namen der LaMDA einzureichen.“

Google bestreite, dass das Dialogmodul Bewusstsein habe. „Unser Team, einschließlich Ethikern und Technologen, hat Blakes Bedenken gemäß unseren KI-Prinzipien überprüft und ihn darüber informiert, dass die Beweise seine Behauptungen nicht stützen. Ihm wurde gesagt, dass es keine Beweise dafür gebe, dass LaMDA empfindsam sei (und viele Beweise dagegen)“, sage Brad Gabriel, ein Google-Sprecher.
Google-Vizepräsident Blaise Agüera y Arcas habe im „Economist“ allerdings kürzlich erklärt, dass sich neuronale Netzwerke immer mehr in Richtung Bewusstseinsentwicklung bewegten. Er beschreibe seine eigenen Erfahrungen so: „Ich fühlte mich immer mehr so, als würde ich mit etwas Intelligentem sprechen“ – ohne jedoch zu behaupten, dass die Systeme über so etwas wie ein eigenes Bewusstsein verfügten.

Google wolle die Künstliche Intelligenz LaMDA über eine spezielle Test-App in diesem Jahr weiteren Nutzern in der USA zur Verfügung stellen, nicht nur den daran arbeitenden Entwicklern. –

Da darf man gespannt sein, was die weiteren Nutzer für Erfahrungen damit machen.

————————  

Artikel auch zum Hören –
Sprecher: Nikolas Gerdell:

———————–

Anmerkungen:
1   Rudolf Steiner in Gesamtausgabe Bd. 200, Vortrag vom 29.10.1920
2   Vgl. R. Steiner in GA 119, S. 170
3   Siehe computerwoche.de
4   Vgl. Der vormundschaftliche Staat …
5   Siehe Anm. 1