Die zunehmende Nutzung von KI-Chatbots in Banken birgt auch bislang eher unbekannte Risiken. So kann die Manipulation von KI-Trainingsdaten zur Ausgabe verzerrter oder schlicht falscher Informationen führen, die entsprechend auf Entscheidungsprozesse einwirken. „Finanzentscheidungen beruhen zunehmend auf automatisierten Analysen, von Markttrends über ESG-Bewertungen bis hin zu Betrugserkennung. Werden diese Systeme mit manipulierten Daten gefüttert, kann das schwerwiegende Folgen haben – finanziell wie regulatorisch“, warnt KPMG-Partnerin Jana Behr.

Wie groß die Gefahr durch KI-Datenmanipulation (Data Poisoning) für Wirtschaft und Gesellschaft ist, offenbaren Erkenntnisse des Unternehmens Newsguard, das die Glaubwürdigkeit von Nachrichtenquellen bewertet und Falschmeldungen den Kampf angesagt hat. Es hat im Verbund mit weiteren Institutionen ein global operierendes russisches Desinformationsnetzwerk namens Pravda (übersetzt: „Wahrheit“) aufgedeckt, das KI-Modelle mit falschen Informationen füttert, um Chatbots zu beeinflussen und massenhaft russische Narrative zu streuen.

Propaganda wird so laut Newsguard erfolgreich in westliche KI-Tools wie ChatGPT, Gemini oder Copilot eingeschleust. Nachweisbar sei, dass KI-Chatbots in jedem dritten Fall von Pravda verbreitete Falschbehauptungen wiedergeben – gespeist von 150 Pravda-Internetseiten mit Millionen Artikeln in den verschiedensten Sprachen. Vergleichbare Einflussoperationen schreibt Newsguard auch China und dem Iran zu.

„Wenn ein Angreifer eine kritische Masse an Daten publiziert, die dann von IT-Unternehmen unwissentlich für das Training von KI-Modellen verwendet werden, kann er ein bestimmtes Verhalten hervorrufen, das gewissermaßen über die Lieferkette der Daten in diese Modelle eingeschleust wird“, erklärt Markus Hupfauer. Er verantwortet bei KPMG Financial Services das Service Offering AI Security, also den sicheren und vertrauenswürdigen Betrieb von KI-Systemen und den Einsatz von KI in Cybersecurity. Doch seines Erachtens haben nicht nur nationalstaatliche, politisch motivierte Akteure die Finger im Spiel, sondern auch wirtschaftlich motivierte, die versuchen, Zugriff auf sensible Informationen zu erhalten, indem sie ein KI-Modell verändern, gezielt Fehler einbauen und dann die Daten ausleiten.

Die Probleme, die Data Poisoning hervorrufen, sind vielschichtig. „Die drängenden Fragen bezüglich KI drehen sich nicht nur um Security oder Desinformation, sondern beispielsweise auch um Diskriminierung“, macht Hupfauer deutlich. „Welche Risiken gehe ich also ein, wenn ich ein KI-Modell verwende, dem ich eigentlich nicht trauen kann, um geschäftskritische Entscheidungen zu treffen? Ich glaube, es handelt sich um ein sehr reales Risiko, das leider noch nicht ins Bewusstsein der Menschen gedrungen ist.“

Als Rezept gegen KI-Datenmanipulation empfiehlt Hupfauer einen Dreiklang aus Mitarbeiterschulung, Eingabefilterung bzw. Angriffserkennung und schließlich Guardrails, gewissermaßen KI-Leitplanken, die gewährleisten sollen, dass KI-Systeme innerhalb vorgegebener Grenzen arbeiten und ethische, rechtliche und unternehmensspezifische Vorgaben berücksichtigen. Damit soll sichergestellt werden, dass das System keine anstößigen Inhalte, sensible Daten oder Fehlinformationen ausgibt. „Der Trend geht dahin, dass KI-Modelle nachgelagert überwacht werden.“ Es werde also vor Ausgabe an die Kunden intern geprüft, ob das System werte- und sicherheitskonform arbeitet.