Nachlese: Slop oder Top? Wie sich KI auf die Software Security auswirkt mit Christoph Iserlohn
Am 21. Mai 2026 durften wir Christoph Iserlohn bei der rheinjug begrüßen. In seinem Vortrag „Slop oder Top? Wie sich KI auf die Software Security auswirkt“ gewährte er uns einen kritischen Blick auf die Schattenseiten von GenAI, berichtete dann davon, in welchen Bereichen GenAI Software Security bereits beeinflusst, und wies auf die Risiken hin, über die man sich bei ihrem Einsatz besonders bewusst sein sollte.
Nach einem entspannten Einstieg in den Abend, mit Snacks, Getränken und lockerer Konversation, startete der Vortrag.
Über die Schattenseiten von GenAI
Zu Beginn beleuchtet Christoph die zahlreichen Schattenseiten und die moralische Fragwürdigkeit der Verwendung von GenAI. Er berichtet über ihren Beitrag zu der fortschreitenden Klimakatastrophe durch stetig steigenden Energiebedarf, über die digitale Ausbeutung von unterbezahlten und überbelasteten Clickworkern, und über die Gefahr des Deskillings, also den Fähigkeitsverlust durch Arbeits-Outsourcing an die AI, und damit auch das drohende Ziel, Softwareentwickler:innen durch ebendiese AI zu ersetzen.
Auf der politischen Seite hat sich GenAI zum einen als potentes Propaganda-Werkzeug herausgestellt, mit dem riesige Mengen von immer überzeugenderen Falschinformationen erzeugt werden. Weiter kritisiert Christoph, dass die Nutzung und Finanzierung der populären GenAI-Tools auch faschistische Tech-Milliardäre im Silicon Valley, die letztlich Eigentümer dieser Tools sind, unterstützt.
Es zeigt sich immer mehr, dass GenAI nicht so funktioniert, wie man es sich erhofft hat. In vielen Unternehmen führt der Einsatz von GenAI zu Workslop, also zu Arbeit von niedriger Qualität, die von AI generiert wurde und die Produktivität insgesamt verringert. Insgesamt bleiben hochtrabende Versprechen zu den Fähigkeiten von GenAI aus der Vergangenheit in vielen Bereichen weit hinter dem zurück, was wir in der Gegenwart beobachten können.
Auch zeichnet sich ab, dass GenAI in seiner gegenwärtigen Form wohl nicht mehr lange haltbar ist. Während durch das sich mit AI Slop füllende Internet ein Model Collapse droht, steigen auch die Kosten für AI immer weiter an, und es scheint, dass GenAI schlicht zu teuer ist, um es zu einem dauerhaft rentablen Geschäft zu machen.
Und nicht zuletzt gefährden wir unsere digitale Souveränität, denn wir machen uns stark abhängig von den Eigentümern dieser Technologien. Diese haben jedoch nicht immer unser bestes Interesse im Sinn, und sind auch bereit, uns damit zu erpressen.
Risiken von GenAI in der Software Security
GenAI ist bereits weit verbreitet, ob als direktes Produktfeature oder in Form von generiertem Code, der in Produktion eingesetzt wird. Gleichzeitig bewerten Versicherungen Cybervorfälle als Nummer 1 Geschäftsrisiko in Deutschland in diesem Jahr. Dabei zeigt sich immer wieder, wie dieser Einsatz von GenAI neue Angriffsflächen bietet. Christoph geht auf die verschiedenen Ebenen ein, in denen GenAI Probleme in der Security verursacht.
Als direkter Produktbestandteil ist GenAI anfällig für Prompt Injections. Dies ist ein lange bekanntes Problem, für welches es jedoch auch weiterhin scheinbar keine Lösung gibt.
Der von GenAI erzeugte Code birgt unsichere Muster aus den Trainingsdaten. Auch werden Optimierungen eingesetzt, welche den Security-Kontext völlig außer Acht lassen, oder Security Control wird gleich ganz weggelassen.
Fehler in AI Coding Tools öffnen Tür und Tor für den Diebstahl von Benutzerdaten und Remote Code Execution Attacken.
GenAI und Zero-Days
Bei der Aufdeckung von Zero-Day Exploits hat GenAI in jüngster Zeit große Fortschritte gemacht. Inzwischen sind Modelle dazu in der Lage, solche Exploits schnell und korrekt zu identifizieren, und können sogar Lücken in bereits langjährig bestehenden Systemen aufdecken, die bislang unbekannt waren. Manche befürchten, dass dadurch Systeme nun angreifbarer sind als je zuvor, andere sagen, dass solche Sicherheitslücken nun geschlossen werden können, bevor sie überhaupt zu einer Gefahr werden. Sicher ist, dass auch diese Entwicklung bereits jetzt einige negative Effekte hatte. Einige Bug Bounties mussten ihre Einreichungen vorübergehend einstellen, da sie mit einer nie dagewesenen Anzahl an qualitativ hochwertigen Reports überflutet wurden. Außerdem erhöht diese Entwicklung den Druck auf junge Open-Source-Projekte enorm.
Worauf man beim Einsatz achten sollte
Um diese Risiken im Umgang mit GenAI Coding zu reduzieren, rät Christoph zum einen dazu, die AI Tools in Sandboxes einzusperren, um die eigenen Systeme zu schützen. Außerdem sollte man darauf achten, dass erzeugter Code die Lethal Trifecta vermeidet: Sprich, Systeme sollten niemals gleichzeitig Zugang zu privaten Daten haben, unvertrauenswürdigen Inhalten ausgesetzt sein und mit der Außenwelt kommunizieren können. Auch sollte man statische Code-Analyse einsetzen und den Code auf jeden Fall ordentlich reviewen.
Die eigentlichen Gefahren
Zuletzt weist Christoph darauf hin, dass die Sorgen um Zero-Days, die von AI aufgedeckt werden, von ganz anderen Gefahren in den Schatten gestellt werden. Malicious Extensions in beispielsweise Chrome oder VSCode stehlen Daten von Benutzer:innen, viele alte Sicherheitslücken bleiben oft weiterhin ungeschlossen, und auch Phishing ist immer noch eine sehr effektive Methode, um Systeme zu hacken. Und das alles bereits ganz ohne Probleme durch generierten Code oder neu entdeckte Zero-Day Exploits.
Fazit
GenAI schafft tatsächlich zahlreiche neue Herausforderungen im Bereich der Software Security. Jedoch nicht nur durch das Aufdecken von bislang unbekannten Exploits, sondern vor allem durch unsicheren generierten Code und angreifbare Tools. Die eigentlichen Security-Risiken lauern jedoch auch weiterhin bei den Basics.
Wir bedanken uns vielmals bei Christoph Iserlohn für seinen lehrreichen Vortrag, und auch bei allen Teilnehmenden für die angeregte Diskussions- und Fragerunde!