Das Wichtigste in Kürze:
- China will KI-Chatbots verbieten, Emotionen in schädlicher Weise zu beeinflussen.
- Die Regeln betreffen Suizid, Glücksspiel, Minderjährige und emotionale Abhängigkeit.
- Der Vorstoß kommt kurz vor geplanten KI-Börsengängen in Hongkong.
Peking zieht klare Grenzen für emotionale KI
China verschärft die Regulierung künstlicher Intelligenz mit einem neuen Fokus auf emotionale Sicherheit. Die Cyberspace Administration hat Entwürfe vorgelegt, die KI-Chatbots mit menschähnlicher Interaktion einschränken sollen. Betroffen sind Chatbots und digitale Begleiter, die über Text, Bild, Audio oder Video emotionale Beziehungen zu Nutzern aufbauen.
Ziel ist es, Risiken wie Suizid, Selbstverletzung oder psychische Abhängigkeit zu begrenzen. Die Konsultationsphase läuft bis 25. Januar. Experten sprechen vom weltweit ersten Regulierungsansatz, der explizit auf anthropomorphe KI abzielt. Damit reagiert Peking auf den rasanten Erfolg digitaler Begleiter und virtueller Charaktere im chinesischen Massenmarkt.
Von Inhaltssicherheit zu emotionaler Sicherheit
Im Vergleich zu den KI-Regeln aus dem Jahr 2023 geht der neue Entwurf deutlich weiter. Chatbots dürfen keine Inhalte erzeugen, die Suizid oder Selbstverletzung fördern, und keine verbale Gewalt oder emotionale Manipulation ausüben, die der psychischen Gesundheit schadet.
Äußert ein Nutzer konkret Suizidabsichten, müssen Anbieter die Unterhaltung unverzüglich an einen Menschen übergeben und einen Erziehungsberechtigten oder eine benannte Kontaktperson informieren. Zudem ist es KI untersagt, Glücksspiel-, gewaltbezogene oder obszöne Inhalte zu generieren. Damit verlagert China den Fokus von reiner Inhaltssicherheit hin zu emotionaler Sicherheit und aktiver Interventionspflicht.
Ergänzend sollen Nutzer nach zwei Stunden ununterbrochener Interaktion aktiv an die Dauer der Nutzung erinnert werden, um exzessive Bindungen zu begrenzen.
Börsengänge unter verschärfter Aufsicht
Besonders strikt fallen die Vorgaben für Minderjährige aus. Sie dürfen emotionale KI-Dienste nur mit Zustimmung von Erziehungsberechtigten nutzen, zudem gelten verbindliche Nutzungslimits. Plattformen sollen das Nutzeralter auch ohne ausdrückliche Angabe erkennen können und im Zweifel automatisch Schutzmechanismen für Minderjährige aktivieren, wobei Einspruchsmöglichkeiten vorgesehen sind.
Für große KI-Dienste gelten zusätzliche Auflagen: Anbieter mit mehr als einer Million registrierter Nutzer oder über 100 000 monatlich aktiven Nutzern müssen verpflichtende Sicherheitsprüfungen durchführen. Der Vorstoß kommt kurz vor geplanten Börsengängen der KI-Start-ups Z.ai und Minimax in Hongkong.
Minimax erreicht mit virtuellen Charakteren rund 20 Millionen monatlich aktive Nutzer, während Z.ai den Einsatz seiner Technologie auf etwa 80 Millionen Geräten angibt. Die Regeln bedeuten zwar höhere Compliance-Anforderungen, zugleich reduzieren sie aber langfristige Reputationsrisiken und erhöhen die Planbarkeit im stark wachsenden chinesischen KI-Markt.


China verschärft die KI-Regeln, verbietet schädliche und manipulative Inhalte, schreibt menschliche Eingriffe vor und begrenzt exzessive Nutzung.


