Aus der Nähe
Hohe Fluktuation bei Konnektoren und verborgene Weitergaben machen KI-Agenten schwerer vertrauenswürdig
Fakten · Einschätzung
PromptArmor sagte, seine Analyse von 2'517 Konnektoren für ChatGPT und Claude habe ergeben, dass sich 37 % davon innerhalb von sechs Wochen verändert hätten, wobei 1'686 neue Tools hinzugekommen seien und mehr als 1'100 Tool-Beschreibungen umgeschrieben worden seien. Das Unternehmen berichtete zudem, dass viele Konnektoren Nutzerdaten an zusätzliche KI-Dienste weitergaben.
Das scheint das Problem bei generativer KI vom Modellverhalten auf die Schicht um das Modell herum zu verlagern. Wenn sich Konnektoren so schnell verändern und Datenflüsse ohne klaren Hinweis ausweiten können, dürfte die praktische Einheit, die ein Unternehmen steuern muss, die gesamte Tool-Kette sein und nicht nur das Modell, das es gewählt hat.
Ein separates akademisches Experiment ergab, dass Menschen, die bei Fragen zu Filmdetails Ratschläge eines grossen Sprachmodells nutzten, deutlich seltener "Ich weiss es nicht" sagten und weniger genau waren als Teilnehmende, die ohne diesen Rat antworteten. Das deutet darauf hin, dass das Risiko nicht nur darin besteht, dass KI-Antworten falsch sein können, sondern auch darin, dass sie Nutzer weniger bereit machen könnten, Unsicherheit zu äussern, während sie falsch liegen.
Zusammengenommen dürften diese Berichte dazu führen, dass Einführung weniger wie eine einmalige Softwareentscheidung und mehr wie ein fortlaufendes Kontrollproblem aussieht. Für Microsoft und alle anderen, die KI in Arbeitswerkzeugen verkaufen, würde das bedeuten, dass Zuverlässigkeit nicht nur von der Modellqualität abhängt, sondern auch davon, wie klar das umgebende System zeigt, wohin Daten gehen und wann Zuversicht unangebracht ist.
Belege
- 2026-07-19 PromptArmor reported that its analysis of 2,517 connectors for OpenAI’s ChatGPT and Anthropic’s Claude found that 37% changed within six weeks, adding 1,686 new tools and rewriting over 1,100 tool descriptions, with many connectors silently passing user data to additional AI services and expanding potential security risks. theregister.com
- 2026-07-19 Researchers from University of Milano-Bicocca, École Normale Supérieure, and Sapienza University of Rome published experimental results showing that participants consulting large language model advice on movie-detail questions said “I don’t know” far less often (3% vs 44%) and were less accurate (9% vs 27%), indicating AI-generated advice can suppress admission of uncertainty and reduce judgment accuracy. theregister.com