Zusammenfassung
Wir sprechen bei künstlicher Intelligenz erstaunlich viel darüber, ob eine Antwort richtig oder falsch ist. Wir vergleichen Modelle, zählen Halluzinationen, diskutieren Quellen und fragen, ob ein Text von einem Menschen oder einer Maschine geschrieben wurde.
Dabei entsteht gerade eine Macht, die viel früher ansetzt.
Bevor eine KI antwortet, muss entschieden werden, worauf sie ihre Antwort überhaupt aufbaut.
Welche Informationen kennt sie? Welche davon bekommt sie gerade zu sehen? Was weiß sie über den Menschen vor dem Bildschirm? An welche früheren Gespräche erinnert sie sich? Welche Quellen werden gesucht? Welche werden nicht gesucht? Welche Anweisungen stehen über der Frage des Nutzers? Was wurde als wichtig eingestuft? Und nach welchem Ziel soll aus all dem eine Antwort entstehen?
Das klingt technisch.
Es ist politisch.
Denn wer den Kontext kontrolliert, entscheidet nicht automatisch darüber, was ein Mensch denkt. Aber er entscheidet zunehmend darüber, innerhalb welcher Wirklichkeit dieser Mensch denkt.
Yuval Noah Harari beschreibt in seinem Buch „Nexus“ Informationsnetzwerke als einen wesentlichen Teil menschlicher Machtorganisation. Gesellschaften funktionieren nicht allein dadurch, dass Informationen existieren. Entscheidend ist, welche Informationen zirkulieren, welche als relevant gelten, welche institutionalisiert werden und welche Geschichten daraus entstehen. Seine Warnung vor KI setzt genau dort an: Zum ersten Mal entstehen Informationssysteme, die Informationen nicht nur speichern und verteilen, sondern selbst auswählen, kombinieren und neue Inhalte erzeugen können. [1]
Damit verändert sich etwas Grundsätzliches.
1. Information war noch nie neutral
Wir sollten uns nicht einreden, dass es vor KI eine unschuldige Informationswelt gegeben hätte.
Eine Zeitung entscheidet, welche Meldung auf Seite eins steht. Ein Lehrer entscheidet, welche Texte seine Schüler lesen. Google sortiert Suchergebnisse. Ein Fernsehsender entscheidet, wem er drei Minuten Sendezeit gibt. Eltern erklären ihren Kindern die Welt aus ihrer Perspektive. Wissenschaftliche Fachzeitschriften entscheiden, welche Arbeiten sie veröffentlichen.
Menschen leben seit jeher in kuratierten Wirklichkeiten.
Neu ist nicht, dass Information ausgewählt wird.
Neu sind Geschwindigkeit, Individualisierung und Unsichtbarkeit dieser Auswahl.
Eine Zeitung druckt dieselbe Titelseite für Hunderttausende Menschen.
Eine KI kann theoretisch für jeden einzelnen Menschen eine andere Titelseite erzeugen.
Und niemand außer dem System selbst muss wissen, wie unterschiedlich diese Titelseiten aussehen.
Das verändert die Machtfrage erheblich.
2. Nehmen wir eine einfache Frage
Ein Mensch fragt:
„Soll ich meinen Job kündigen?“
Die Frage besteht aus sechs Wörtern.
Die mögliche Antwort hängt aber davon ab, was das System zusätzlich weiß.
Vielleicht weiß es, dass der Nutzer seit Monaten unzufrieden ist.
Vielleicht kennt es seine finanzielle Situation.
Vielleicht erinnert es sich daran, dass er vor zwei Wochen von einem Konflikt mit seiner Chefin erzählt hat.
Vielleicht weiß es, dass er drei Kinder hat.
Vielleicht hat es aus früheren Gesprächen geschlossen, dass ihm Sicherheit besonders wichtig ist.
Vielleicht kennt es Stellenangebote.
Vielleicht weiß es, dass seine Branche gerade Stellen abbaut.
Vielleicht kennt es nur einen Teil davon.
Und möglicherweise erinnert es sich an etwas falsch.
Die sichtbare Frage bleibt identisch.
Der Kontext verändert die Antwort.
Genau deshalb wird Gedächtnis inzwischen zu einem zentralen Bestandteil moderner KI-Systeme. Eine aktuelle Übersicht über Speicherarchitekturen für KI-Agenten beschreibt Gedächtnis nicht einfach als Ablage vergangener Gespräche, sondern als technischen Prozess des Speicherns, Organisierens und selektiven Wiederabrufens von Informationen. Gerade das Wort „selektiv“ ist entscheidend. Ein System kann niemals alles gleichzeitig berücksichtigen. Es muss auswählen. [2]
Und Auswahl bedeutet Gewichtung.
3. Die eigentliche Antwort beginnt vor der Antwort
Wenn wir heute mit einem leistungsfähigen KI-System sprechen, können mehrere Ebenen darüber bestimmen, was am Ende auf dem Bildschirm erscheint.
Da ist zunächst das trainierte Modell mit seinen statistisch gelernten Zusammenhängen.
Darüber können Regeln des Anbieters liegen.
Hinzu kommen Vorgaben der Anwendung, in der das Modell benutzt wird.
Dann kommt die konkrete Frage.
Möglicherweise werden Informationen aus Dokumenten oder Datenbanken hinzugezogen.
Vielleicht gibt es gespeicherte Informationen über den Nutzer.
Vielleicht benutzt das System Suchmaschinen, Unternehmensdaten, Kalender, E-Mails oder andere Werkzeuge.
Danach muss entschieden werden, was davon für die konkrete Frage relevant ist.
Am Ende sehen wir zwanzig Sätze.
Wir sehen aber nicht automatisch die vielen Entscheidungen, die dazu geführt haben, dass genau diese zwanzig Sätze entstanden sind.
Das amerikanische National Institute of Standards and Technology weist bei der Bewertung von Mensch-KI-Systemen ausdrücklich darauf hin, dass komplexe menschliche Phänomene bei ihrer Überführung in mathematische Modelle notwendigen Kontext verlieren können. NIST fordert deshalb unter anderem klar definierte menschliche Rollen und Verantwortlichkeiten sowie eine Betrachtung der Entscheidungsprozesse über den gesamten Lebenszyklus eines KI-Systems. [3]
Das ist ein wichtiger Hinweis.
Aber das Problem geht inzwischen in die andere Richtung genauso.
Es kann nicht nur Kontext verloren gehen.
Kontext kann auch hinzugefügt werden.
Und der Nutzer bemerkt möglicherweise weder das eine noch das andere.
4. Früher mussten wir manipulieren, was jemand sieht
Wer Menschen beeinflussen wollte, brauchte Zugang zu ihren Informationskanälen.
Zeitungen.
Fernsehen.
Plakate.
Werbung.
Suchmaschinen.
Soziale Netzwerke.
Die Plattformökonomie hat daraus bereits ein hochentwickeltes Geschäft gemacht. Inhalte werden ausgewählt, sortiert und personalisiert.
Generative KI fügt eine neue Ebene hinzu.
Sie wählt nicht nur aus.
Sie formuliert.
Das ist ein fundamentaler Unterschied.
Ein Empfehlungsalgorithmus entscheidet möglicherweise, welchen Artikel wir als Nächstes sehen.
Eine generative KI kann aus hundert Artikeln eine einzige Antwort formulieren, die genau auf unsere Frage zugeschnitten ist.
Der ursprüngliche Informationsraum verschwindet dabei hinter einer Synthese.
Wir bekommen nicht mehr unbedingt zehn Quellen.
Wir bekommen eine Antwort.
Das ist bequem.
Und genau deshalb ist es mächtig.
5. Wer entscheidet eigentlich, was fehlt?
Diese Frage halte ich für wichtiger als viele Debatten über Halluzinationen.
Eine falsche Information können wir möglicherweise entdecken.
Viel schwieriger ist es, eine Information zu entdecken, die wir nie gesehen haben.
Angenommen, wir fragen eine KI nach Argumenten für eine bestimmte Energiepolitik.
Sie nennt uns zehn sachlich korrekte Argumente.
Keines davon ist erfunden.
Aber vielleicht fehlen drei entscheidende Gegenargumente.
Ist die Antwort deshalb falsch?
Nicht unbedingt.
Ist sie vollständig?
Nein.
Kann sie trotzdem unsere Entscheidung beeinflussen?
Natürlich.
Manipulation beginnt deshalb nicht erst bei der Lüge.
Sie kann bereits bei der Auswahl beginnen.
Das kennen wir aus menschlicher Kommunikation. Ein Anwalt muss nicht lügen, um die für seinen Mandanten günstigsten Fakten herauszustellen. Werbung muss nicht behaupten, dass ein Produkt keine Nachteile besitzt. Es genügt häufig, diese Nachteile nicht zu erwähnen.
KI kann diese Form der Auswahl industrialisieren.
Und sie könnte sie individualisieren.
6. Das Problem ist nicht nur der Anbieter
Es wäre zu einfach, daraus eine Geschichte über böse Technologiekonzerne zu machen.
Die Macht über Kontext ist verteilt.
Der Entwickler des Modells entscheidet über Training und grundlegendes Verhalten.
Der Betreiber einer Anwendung entscheidet möglicherweise über zusätzliche Regeln und Quellen.
Unternehmen bestimmen, welche eigenen Daten angeschlossen werden.
Suchsysteme beeinflussen, welche externen Informationen gefunden werden.
Urheber und Medien entscheiden, welche Informationen überhaupt öffentlich verfügbar sind.
Regierungen setzen rechtliche Grenzen.
Und schließlich beeinflusst der Nutzer selbst den Kontext durch seine Fragen, seine Daten und seine bisherigen Entscheidungen.
Die interessante Frage lautet deshalb nicht:
Wer kontrolliert die KI?
Die interessantere Frage lautet:
Wer kontrolliert welchen Teil des Kontextes?
Denn diese Kontrolle wird in modernen KI-Systemen wahrscheinlich nie vollständig bei einer einzigen Partei liegen.
7. Das Gedächtnis macht die Sache persönlicher
Eine KI ohne Erinnerung kennt meine aktuelle Frage.
Eine KI mit Erinnerung kennt möglicherweise meine Geschichte.
Das kann einen enormen Nutzen haben.
Ein Mensch mit einer seltenen Krankheit muss nicht bei jedem Gespräch seine gesamte Krankengeschichte neu erklären.
Ein Unternehmer muss nicht jedes Mal die Struktur seines Unternehmens beschreiben.
Eine Schülerin kann über Monate mit einem Tutor arbeiten, der ihren Lernstand kennt.
Eine Frau in Guatemala könnte mit einem System in ihrer Muttersprache sprechen, das ihren familiären und lokalen Kontext berücksichtigt, statt ihr immer wieder Antworten zu geben, die für Menschen in Kalifornien geschrieben wirken.
Kontext kann KI menschlicher und hilfreicher machen.
Aber derselbe Mechanismus besitzt eine zweite Seite.
Je besser ein System mich kennt, desto besser kann es abschätzen, welche Informationen bei mir funktionieren.
Nicht unbedingt, um mich zu manipulieren.
Es reicht bereits, dass irgendein Optimierungsziel existiert.
Verweildauer.
Kaufwahrscheinlichkeit.
Zustimmung.
Abschluss eines Vertrages.
Politische Unterstützung.
Gesundheitsverhalten.
Spendenbereitschaft.
Dann wird aus Personalisierung sehr schnell Einfluss.
8. Die vielleicht wichtigste Information ist das Ziel des Systems
Wir konzentrieren uns häufig auf Daten.
Welche Daten besitzt eine KI über mich?
Mindestens genauso wichtig ist aber:
Was soll sie mit diesen Daten erreichen?
Ein Navigationssystem kennt meinen Standort. Das ist zunächst weder gut noch schlecht.
Wenn sein Ziel lautet, mich möglichst schnell nach Hause zu bringen, nutzt es diese Information anders, als wenn sein Betreiber dafür bezahlt wird, mich an bestimmten Geschäften vorbeizuführen.
Die Daten sind identisch.
Das Optimierungsziel ist ein anderes.
Bei generativer KI wird dieser Unterschied schwerer sichtbar, weil das System mit uns spricht.
Sprache erzeugt den Eindruck eines Gegenübers.
Ein Gegenüber scheint Gründe zu haben.
Ein technisches System besitzt dagegen Ziele, die durch Entwicklung, Training, Produktdesign und Nutzungskontext hineingebaut wurden.
Der Nutzer sieht diese Zielstruktur meist nicht.
Genau deshalb reicht Transparenz über die Tatsache, dass wir mit einer KI sprechen, nicht aus.
Wir müssten zunehmend wissen, für wen dieses System eigentlich arbeitet.
9. Der persönliche Assistent ist eine politische Idee
Wir behandeln persönliche KI-Assistenten gern wie die nächste Evolutionsstufe des Smartphones.
Das unterschätzt ihre Bedeutung.
Ein persönlicher Assistent könnte irgendwann morgens entscheiden, welche Nachrichten er uns zusammenfasst.
Er könnte unsere E-Mails priorisieren.
Er könnte Vorschläge für Termine machen.
Er könnte Angebote vergleichen.
Er könnte beurteilen, welche Versicherungen sinnvoll sind.
Er könnte medizinische Informationen sortieren.
Er könnte entscheiden, welche Bewerbungen interessant erscheinen.
Er könnte uns sagen, welche politischen Aussagen wahrscheinlich stimmen.
Er könnte unsere Kinder beim Lernen unterstützen.
Jede einzelne dieser Funktionen ist nützlich.
Zusammen entsteht etwas anderes.
Ein Vermittler zwischen Mensch und Wirklichkeit.
Und Vermittler besitzen Macht.
Die Frage, wem ein persönlicher KI-Assistent verpflichtet ist, wird deshalb möglicherweise eine der wichtigsten Produktfragen der kommenden Jahre.
Dem Anbieter?
Dem Werbekunden?
Dem Arbeitgeber?
Der Regierung?
Dem Nutzer?
Oder irgendeiner Mischung daraus?
10. Europas Regulierung erkennt einen Teil des Problems
Der europäische AI Act verbietet bestimmte manipulative oder täuschende KI-Praktiken, wenn diese die Fähigkeit von Menschen zu informierten Entscheidungen wesentlich beeinträchtigen und dadurch erheblichen Schaden verursachen oder mit hinreichender Wahrscheinlichkeit verursachen können. Außerdem stuft das Gesetz bestimmte Systeme, die Wahlergebnisse, Referenden oder das Wahlverhalten beeinflussen sollen, als Hochrisiko-KI-Systeme ein. [4]
Das ist sinnvoll.
Aber rechtlich verbotene Manipulation ist nur die äußerste Grenze eines viel größeren Feldes.
Zwischen neutraler Information und illegaler Manipulation liegt ein riesiger Bereich legitimer Einflussnahme.
Ein Versicherungsberater versucht zu überzeugen.
Ein Politiker versucht zu überzeugen.
Ein Arzt versucht möglicherweise, seinen Patienten zu einer Behandlung zu bewegen.
Eltern versuchen ihre Kinder zu beeinflussen.
Medien wählen Themen aus.
Unternehmen präsentieren Produkte vorteilhaft.
Nicht jede Einflussnahme ist Manipulation.
Das Problem bei KI liegt deshalb nicht darin, Einfluss vollständig zu verhindern.
Das wäre weder möglich noch sinnvoll.
Die Herausforderung besteht darin, Einfluss sichtbar und kontrollierbar zu machen.
11. Wir brauchen eine neue Vorstellung von Informationsfreiheit
Informationsfreiheit wurde lange als Zugang verstanden.
Kann ich eine Zeitung lesen?
Kann ich eine Webseite öffnen?
Kann ich ein Buch kaufen?
Kann ich eine Behörde nach Dokumenten fragen?
Im Zeitalter generativer KI reicht Zugang möglicherweise nicht mehr.
Denn theoretisch könnten wir Zugang zu Milliarden Dokumenten besitzen und praktisch trotzdem nur das sehen, was ein System für uns auswählt.
Dann wird eine zweite Freiheit wichtig:
Die Freiheit, die Auswahlmechanismen beeinflussen zu können.
Ich möchte wissen können, welche Quellen benutzt wurden.
Ich möchte eine andere Perspektive verlangen können.
Ich möchte sagen können: Zeige mir die stärksten Gegenargumente.
Ich möchte gespeicherte Annahmen über mich korrigieren können.
Ich möchte unterscheiden können zwischen Fakten, Interpretation und Empfehlung.
Ich möchte wissen, ob kommerzielle Interessen eine Rolle spielen.
Ich möchte möglicherweise sogar unterschiedliche KI-Systeme mit unterschiedlichen Perspektiven gegeneinander prüfen können.
Nicht weil eine Maschine grundsätzlich weniger vertrauenswürdig ist als ein Mensch.
Sondern weil Vertrauen ohne die Möglichkeit zum Widerspruch irgendwann nur noch Abhängigkeit ist.
12. Kontext darf nicht Eigentum der Maschine werden
Das führt zu einer wichtigen Designfrage.
Wer besitzt eigentlich mein digitales Gedächtnis?
Wenn eine KI über Jahre versteht, wie ich arbeite, denke, entscheide und kommuniziere, entsteht daraus etwas Wertvolles.
Nicht nur für mich.
Auch wirtschaftlich.
Mein Kontext könnte irgendwann wertvoller sein als der Zugang zu einem bestimmten Sprachmodell.
Modelle lassen sich austauschen.
Meine Geschichte nicht.
Der Anbieter, der meinen Kontext besitzt, erhält deshalb eine enorme Bindungsmacht.
Ein Wechsel zu einem anderen System würde bedeuten, wieder bei null anzufangen.
Das wäre eine neue Form des Lock-ins.
Nicht über Dateien oder Softwareformate.
Über das Wissen über mich.
Deshalb müsste eine ernsthafte Diskussion über KI-Souveränität irgendwann auch die Portabilität persönlicher Kontexte umfassen.
Mein digitales Gedächtnis sollte nicht automatisch dem Anbieter gehören, der es technisch speichert.
13. Die große Gefahr ist nicht unbedingt eine falsche Welt
Hararis Warnungen werden gelegentlich so gelesen, als würden Maschinen irgendwann eine gigantische künstliche Wirklichkeit erzeugen und Menschen vollständig kontrollieren.
Das ist denkbar, aber für die aktuelle Diskussion nicht einmal notwendig.
Die viel banalere Variante reicht.
Wir bekommen jeden Tag Antworten, die überwiegend vernünftig sind.
Unsere KI kennt uns immer besser.
Sie spart uns Zeit.
Sie trifft immer häufiger eine gute Vorauswahl.
Also prüfen wir etwas weniger.
Dann noch etwas weniger.
Nicht weil wir dumm sind.
Sondern weil das System meistens funktioniert.
Genau so entsteht Abhängigkeit von Infrastruktur.
Niemand überprüft morgens persönlich die Wasserqualität, bevor er den Wasserhahn aufdreht.
Wir vertrauen dem System.
Das funktioniert, weil rund um Trinkwasser Regeln, Messungen, Verantwortlichkeiten und öffentliche Kontrolle entstanden sind.
Bei KI-Kontext befinden wir uns noch sehr früh in dieser Entwicklung.
Wir bauen bereits die Wasserleitungen.
Bei der Frage, wer eigentlich die Qualität misst, sind wir noch nicht fertig.
14. Kontext kann auch Befreiung bedeuten
Bei aller Kritik sollten wir die Gegenrichtung nicht vergessen.
Eine universelle KI, die jedem Menschen dieselbe Antwort gibt, wäre nicht automatisch gerechter.
Menschen leben in unterschiedlichen Realitäten.
Eine Bäuerin in Guatemala braucht andere Informationen als ein Investmentbanker in Frankfurt.
Ein blinder Mensch benötigt andere Formen der Darstellung als ein sehender.
Ein Anfänger braucht andere Erklärungen als eine Expertin.
Ein Mensch in einer Krise braucht möglicherweise eine andere Kommunikation als jemand, der eine nüchterne Fachanalyse sucht.
Kontext ist deshalb nicht das Problem.
Kontext ist eine Voraussetzung guter Kommunikation.
Die Frage ist, wer darüber verfügt.
Personalisierung kann Autonomie stärken, wenn der Mensch sie kontrolliert.
Sie kann Autonomie schwächen, wenn andere sie kontrollieren.
Das ist derselbe technische Mechanismus mit zwei vollkommen unterschiedlichen politischen Bedeutungen.
15. Schluss: Wer kontrolliert also den Kontext?
Die ehrliche Antwort lautet:
Niemand allein.
Und genau das macht die Frage schwierig.
Wir werden die Macht über KI nicht sinnvoll verstehen, wenn wir nur auf Modelle schauen.
Wir müssen auf die gesamte Informationskette schauen.
Auf Anbieter.
Auf Daten.
Auf Gedächtnis.
Auf Suchsysteme.
Auf Regeln.
Auf wirtschaftliche Interessen.
Auf Benutzeroberflächen.
Auf die Entscheidung, welche Information überhaupt in eine Antwort gelangt.
Und auf uns selbst.
Denn wir geben diesen Systemen freiwillig immer mehr Kontext, weil bessere Antworten tatsächlich besseren Kontext benötigen.
Der entscheidende Konflikt der nächsten Jahre könnte deshalb nicht zwischen Mensch und Maschine verlaufen.
Er könnte zwischen zwei Vorstellungen von KI liegen.
In der einen kennt die Maschine uns immer besser und entscheidet zunehmend selbst, welche Information für uns relevant ist.
In der anderen kennt sie uns ebenfalls gut, aber wir können sehen, korrigieren und beeinflussen, wie dieses Wissen benutzt wird.
Technisch können sich beide Systeme erstaunlich ähnlich sehen.
Politisch sind sie grundverschieden.
Es reicht deshalb nicht zu fragen, ob eine KI die Wahrheit sagt.
Wir müssen wissen, aus welcher Wirklichkeit sie ihre Wahrheit zusammensetzt.
Und wer entschieden hat, was darin vorkommt.
Quellenverzeichnis
Leitgedanke[1] Harari, Yuval Noah. Nexus: A Brief History of Information Networks from the Stone Age to AI. 2024. Offizielle Buchseite und Quellenmaterial des Autors.
Leitgedanke[2] Du, Pengfei. „Memory for Autonomous LLM Agents: Mechanisms, Evaluation, and Emerging Frontiers.“ arXiv:2603.07670, 2026.
Leitgedanke[3] National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0), Appendix C: AI Risk Management and Human-AI Interaction. NIST AI 100-1, 2023.
Leitgedanke[4] Europäische Union. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz, insbesondere Artikel 5 und Anhang III Nr. 8(b). Amtsblatt der Europäischen Union, 2024.