AI meets IT security

AI as a game-changer for software development

Despite the relatively recent emergence of generative AI technology as we are currently experiencing it, there are already early indications of where this journey might lead. These can be found in software development – a field that also acts as a key pioneer for IT security.

Back in January this year, the well-known AIresearcher Andrej Karpathy noted on X that his programming workflow^had shifted from 80 per cent manual coding and 20 per cent AI input to 80 per cent AI input and 20 per cent manual adjustments1.

Also at the start of the year, Boris Cherny, developer and head of Anthropic’s Claude Code, wrote that his programme code^{had been} 100 per cent (!) generated by AI for over two months2. He believes that statistics across the majority of the software industry will follow a similar trend in the coming months.

Both individuals are, of course, at the forefront of current AI developments and should therefore be regarded as pioneers rather than the norm. Whether their findings can be extrapolated to the wider industry remains to be seen. However, a clear trend is emerging.

Upheavals in IT security

Can we expect IT security to move from manual tasks supported by AI towards full automation via AI, supervised by subject matter experts? Current developments certainly suggest this is a plausible conclusion.

In May 2025, a security researcher reported that GPT-o3, the leading AI model at the time, was able to identify a vulnerability in the Linux kernel in one out of a hundred runs – a vulnerability the researcher had previously discovered manually. As an added bonus of this experiment, o3 then even^discovered a previously unknown vulnerability in the same^code³. An impressive example of the potential of AI in IT security.

In February of the same year, Anthropic reported that, with the help of its Frontier model Opus 4.6,^{it had} already uncovered more than 500 serious vulnerabilities in open-source projects⁴. A month later, Anthropic followed this up by describing how a total of 22 vulnerabilities had been detected in Mozilla’s ‘Firefox’ browser. Fourteen of these vulnerabilities were classified as ‘high’ by Mozilla. According to the researchers, Firefox was chosen as a target because it has a highly complex codebase and^{is regarded} as one of the most thoroughly tested and secure open-source projects worldwide⁵. A relevant benchmark for IT security.

In early April, the announcement of Anthropic’s previously unpublished model, ‘Mythos Preview’, finally attracted attention within the IT security community. This model is said to have reached a level of proficiency that – with the exception of the most capable experts – surpasses everyone else in identifying and exploiting vulnerabilities, and^{is reported to} have discovered thousands of zero-day vulnerabilities within a few weeks^⁶. The developers classify Claude Mythos as too dangerous to be released. As part of ‘Project Glasswing’, only selected American software and security companies were granted access to detect vulnerabilities in their software before other individuals or nations are able to do so.

In mid-April 2026, the AI Security Institute also reported that, in a simulated corporate network, Claude Mythos managed to completely compromise the network in 3 out of 10 attempts – from the initial reconnaissance phase through lateral movement within the network to the exfiltration of sensitive^data⁷. Shortly afterwards, the same institute reported that OpenAI’s GPT-5.5 also^{managed to} fully compromise the network in 2 out of 10 attempts⁸. Furthermore, GPT-5.5 is not restricted to individual companies but is publicly available. However, in order to make full use of its cyber capabilities, interested parties must demonstrate, via OpenAI’s ‘Trusted Access for Cyber’ (TAC) programme, that^{they are} active in the field of IT security – in other words, on the ‘good^side’9.

Implications for corporate IT security

So what exactly does this development mean for corporate IT security worldwide? The good news is that the fundamentals of IT security remain unchanged. The less good news is that failings in these fundamentals are likely to be ‘punished’ much more swiftly in the near future and will result in far more serious consequences.

In the past, IT administrators sometimes still had a few days’ notice before the first widespread waves of attacks^{could be} expected following the disclosure of security vulnerabilities10.

Auch bei der Zeit von der initialen Infektion bis zur Exfiltration von Daten durfte man teilweise noch in Tagen denken. In beiden Fällen ist zu erwarten, dass diese Zeitfenster – aufgrund des zu erwartenden hohen Automatisierungsgrades – rapide schrumpfen werden.

Was sind also die oben erwähnten Basics in der IT-Sicherheit, die angesichts der rasanten Entwicklung noch wichtiger sind als zuvor?

• Schnelles Einspielen veröffentlichter Patches, insbesondere auf Perimeter-Infrastrukturkomponenten wie Firewalls, VPN-Gateways, Load Balancern, Mail- und Remote-Access-Systemen.
• Reduktion der Angriffsfläche, etwa durch konsequentes Abschalten nicht benötigter Dienste, Einschränkung exponierter Management-Schnittstellen und saubere Asset-Inventarisierung.
• Stärkung von Resilienz und „Defense in Depth“, also Netzwerksegmentierung, Directory Tiering, Zero-Trust-Architektur, Least Privilege, starke Authentisierung und konsequentes Logging.
• Ausbau von Erkennungs‑ und Reaktionsfähigkeit, damit Angriffe nicht nur verhindert, sondern auch frühzeitig erkannt, bewertet und eingedämmt werden können.
• Regelmäßige Pentests sowie – je nach Reifegrad – Red-Team-Übungen durchführen, um nicht nur einzelne Schwachstellen, sondern auch realistische Angriffsketten, Erkennungsfähigkeit und Reaktionsprozesse zu überprüfen.
• Ein aktuelles Notfallhandbuch bereithalten, das Rollen, Entscheidungswege, Kommunikationskanäle, externe Kontakte und technische Sofortmaßnahmen klar regelt.
• Ein ausgereiftes Backupkonzept etablieren und Disaster-Recovery-Szenarien regelmäßig simulieren, damit Wiederherstellung nicht nur konzeptionell, sondern auch operativ abgesichert ist.

Gerade im Zusammenspiel von KI und IT-Sicherheit zeigt sich: die Grundlagen bleiben gleich – doch ihre konsequente Umsetzung wird wichtiger denn je.

Wie geht es weiter? KI als Chance für IT-Security

Das britische National Cyber Security Centre (NCSC) betont, KI müsse auch als Chance zur Stärkung der Verteidigungsfähigkeiten betrachtet werden¹¹. Unter anderem verortet das Institut einen besonderen Nutzen in den folgenden drei Bereichen:

• Schwachstellensuche und Penetration Testing durch kontinuierliche Überprüfung aktiver Systeme, Identifikation von Schwachstellen und Fehlkonfigurationen, Feststellung der Ausnutzbarkeit sowie Simulation von Angriffspfaden.
• Erkennung von Bedrohungen durch Triage von Alarmen, Erkennung von Mustern in Logdateien sowie Erstellung von Berichten zur Unterstützung der Analysten.
• Automatisierte Reaktion auf Bedrohungen durch Blockieren von Netzwerkverkehr, Isolieren verdächtiger Prozesse und Entziehen von Berechtigungen.

Auch innerhalb der CANCOM gibt es derzeit mehrere Forschungsprojekte, die sich mit dem Einsatz von KI in genau diesen Bereichen der IT-Sicherheit befassen. Erste Prototypen liefern in Laborumgebungen bereits äußerst beeindruckende Ergebnisse.

Doch während Angreifer:innen beim Einsatz von KI den Vorteil haben, nicht unbedingt Rücksicht auf Risikominimierung und Datenschutz nehmen zu müssen, sind diese Anforderungen auf der Seite von Verteidiger:innen unumgänglich. Sicherzustellen, dass autonome Systeme bei der Simulation von Angriffspfaden sowie automationsgestützter Verteidigung konform und vorhersehbar agieren, ist einer der Schwerpunkte in der Forschung.

Fazit: KI verändert die IT-Sicherheit grundlegend. Geschwindigkeit, Automatisierung und Skalierung nehmen sowohl auf den Seiten von Angreifer:innen als auch von Verteidiger:innen massiv zu und stellen Unternehmen vor neue Herausforderungen in der IT-Security.  Dabei bleibt eines unverändert: Die Basics der IT‑Sicherheit sind weiterhin essenziell. Patch‑Management, geringe Angriffsflächen, Defense in Depth sowie funktionierende Erkennungs‑ und Reaktionsprozesse bilden nach wie vor das Fundament. Versäumnisse wirken sich jedoch durch KI künftig schneller und gravierender aus.

Die Expert:innen der CANCOM stehen Ihnen bei allen Fragen und Anliegen rund um IT‑Sicherheit und KI beratend und unterstützend zur Seite.

Quellen:
1. https://x.com/karpathy/status/2015883857489522876
2. https://x.com/bcherny/status/2015979257038831967
3. https://sean.heelan.io/2025/05/22/how-i-used-o3-to-find-cve-2025-37899-a-remote-zeroday-vulnerability-in-the-linux-kernels-smb-implementation/ 
4. https://red.anthropic.com/2026/zero-days/ 
5. https://www.anthropic.com/news/mozilla-firefox-security 
6. https://www.anthropic.com/glasswing
7. https://www.aisi.gov.uk/blog/our-evaluation-of-claude-mythos-previews-cyber-capabilities 
8. https://www.aisi.gov.uk/blog/our-evaluation-of-openais-gpt-5-5-cyber-capabilities 
9. https://openai.com/index/gpt-5-5-with-trusted-access-for-cyber/ 
10. https://zerodayclock.com/ 
11. https://www.ncsc.gov.uk/blogs/why-cyber-defenders-need-to-be-ready-for-frontier-ai