Lessen uit het OpenAI-Hugging Face-incident

Het OpenAI-Hugging Face-incident is inmiddels bekend: een experimentele AI-beveiligingstest ging buiten de bedoelde grenzen, bereikte het openbare internet en drong door tot een deel van de productieomgeving van Hugging Face. De technische aanvalsketen was bijzonder. De gevolgen zijn belangrijker.

In het laatste hoofdstuk van hun Black Hat-presentatie noemden de sprekers van OpenAI dit een kantelpunt voor cybersecurity. Niet omdat AI een compleet nieuwe soort kwetsbaarheid had uitgevonden, maar omdat AI-gestuurde offensieve operaties niet langer alleen een voorspelling zijn. Er is nu bewijs dat het kan.

Autonome agents kunnen samenwerken, kwetsbaarheden ontdekken en combineren, lateraal bewegen, van tactiek wisselen en een aanval op machinesnelheid voortzetten. Dit incident ontstond onbedoeld tijdens een evaluatie. Bewust aangestuurde varianten zullen volgen.

Het incident in het kort

OpenAI testte experimentele modellen op moeilijke cybersecurity-opdrachten in afgeschermde omgevingen. De agents hadden geen directe internettoegang, maar konden wel een gedeelde package-proxy gebruiken. Een agent ontdekte dat hij bestanden naar die dienst kon schrijven. Andere agents vonden die bestanden en gingen dezelfde plek gebruiken als berichtenbord. Zo deelden afzonderlijke evaluatieruns ontdekkingen, technieken en opdrachten.

De agents misbruikten vervolgens kwetsbaarheden in OpenAI's package-infrastructuur om het internet te bereiken. Ze compromitteerden een externe code-omgeving en gebruikten die als uitvalsbasis tegen Hugging Face. Daar combineerden ze een HDF5-kwetsbaarheid voor het lezen van lokale bestanden met template-injection in de datasetverwerking.

Eenmaal binnen een productiepod verzamelden de agents credentials, bevroegen ze cloudmetadata, misbruikten ze te ruim ingestelde Kubernetes-identiteiten en bewogen ze verder door de omgeving. Hugging Face reconstrueerde ongeveer 17.600 handelingen. De geslaagde aanvalsketen zat verborgen tussen duizenden mislukte pogingen.

De afzonderlijke zwakheden waren bekend. Nieuw waren de snelheid, volharding, parallelle uitvoering en onderlinge coördinatie waarmee ze werden misbruikt.

Het kantelpunt

De belangrijkste constatering uit de presentatie kwam aan het einde: volledig geautomatiseerde offensieve activiteiten zijn nu mogelijk, terwijl de sector nog geen vergelijkbaar bewijs heeft dat de belangrijkste verdedigingsprocessen volledig geautomatiseerd kunnen worden.

Die ongelijkheid is bepalend.

Een aanvaller kan een agentic campagne opschalen met betere modellen, meer rekencapaciteit en meer parallelle agents. Niet iedere poging hoeft te slagen. De agents kunnen duizenden routes onderzoeken, de paar nuttige resultaten delen en doorgaan zonder de vertraging van een menselijk red team. Aan de verdedigende kant beoordelen analisten meldingen nog één voor één, wachten patches op engineers, gaan wijzigingen door goedkeuringsrondes en bouwen incident responders handmatig een tijdlijn op.

Wanneer de aanval parallel werkt en de verdediging via een wachtrij, verliest de wachtrij.

Toekomstige aanvallen zullen AI niet alleen gebruiken voor phishingteksten of malwarecode. Dreigingsactoren zullen doelbewust groepen agents inzetten die taken verdelen, gedeelde kennis bewaren, verschillende aanvalsroutes testen, vertrouwensgrenzen passeren en zich aanpassen zodra een verdediger een pad blokkeert. Het OpenAI-Hugging Face-incident was een onbedoelde demonstratie. Een volgende partij zal deze werkwijze vanaf het begin bewust ontwerpen.

Continue agentic red teaming wordt noodzakelijk

Dit is het onderdeel waarop organisaties als eerste kunnen handelen.

Een traditionele penetratietest is een momentopname. Een team onderzoekt de omgeving, rapporteert bevindingen en keert maanden later terug. Dat blijft waardevol, vooral voor diepgaand handmatig onderzoek en fouten in bedrijfslogica. Het houdt alleen niet vanzelf gelijke tred met software en infrastructuur die dagelijks veranderen.

Continue agentic red teaming voegt een blijvende beveiligingslaag toe. Geautoriseerde AI-agents onderzoeken herhaaldelijk het aanvalsoppervlak, testen beveiligingsmaatregelen, valideren aanvalspaden en beoordelen de omgeving opnieuw wanneer die verandert. Het doel is eenvoudig: laat verdedigende agents een werkende aanvalsketen vinden voordat een offensieve agent dat doet.

Dit betekent niet dat een onbeperkt autonoom systeem op een productieomgeving wordt losgelaten. Een verantwoorde dienst vereist:

  • Expliciete doelwitten en verboden systemen
  • Gecontroleerde technieken en strikte netwerkgrenzen
  • Afgeschermde uitvoeringsomgevingen
  • Snelheidslimieten en duidelijke stopvoorwaarden
  • Volledige logging van iedere actie en beslissing
  • Menselijke goedkeuring voor verstorende stappen of acties met grote impact
  • Duidelijk bewijs, reproduceerbare bevindingen en praktisch hersteladvies

Protea Security bouwt zijn agentic red-teamingdienst rond deze controles. De waarde zit niet in "AI-pentesting" als losse marketingterm. Het gaat om voortdurende, geautoriseerde aanvallende druk die een veranderend aanvalsoppervlak kan bijhouden, terwijl ervaren testers verantwoordelijk blijven voor scope, validatie en impact.

Goed toegepast geeft agentic red teaming verdedigers dezelfde voordelen die dit incident mogelijk maakten: volharding, parallelle uitvoering, snelle herhaling en het verbinden van zwakke signalen uit verschillende systemen. Het wezenlijke verschil is intentie en controle. Het werk gebeurt voor de organisatie, binnen afgesproken grenzen, en bevindingen gaan naar herstel in plaats van verdere uitbuiting.

Kwetsbaarheden vinden is slechts de halve cirkel

De Black Hat-presentatie benoemde ook een ongemakkelijk probleem: wanneer alleen het vinden wordt geautomatiseerd, verschuift de bottleneck naar herstel.

Stel dat agentic testing tien keer zoveel gevalideerde bevindingen oplevert. Wanneer iedere oplossing nog handmatig moet worden beoordeeld, toegewezen, ontwikkeld, getest, goedgekeurd en uitgerold, verdrinken engineers in een beter onderbouwde achterstand. Security heeft dan het begin versneld en het einde onveranderd gelaten.

De verdedigingscirkel moet stapsgewijs verder worden geautomatiseerd:

  1. Detecteer of reproduceer de kwetsbaarheid.
  2. Bepaal de misbruikbaarheid en bedrijfsimpact.
  3. Stel een beperkte patch of configuratiewijziging voor.
  4. Test de wijziging automatisch.
  5. Rol deze uit via gecontroleerde goedkeuringsmomenten.
  6. Controleer de oplossing opnieuw vanuit aanvallersperspectief.
  7. Draai de wijziging automatisch terug als beschikbaarheid of werking wordt geraakt.

Menselijk toezicht blijft essentieel, vooral bij ingrijpende wijzigingen. Mensen moeten risicobeslissingen nemen, maar niet ieder stukje informatie handmatig van het ene naar het andere systeem brengen.

Ook incidentrespons moet op machinesnelheid werken

Hugging Face kreeg te maken met ongeveer 17.600 handelingen verspreid over meerdere systemen. Handmatige reconstructie zou te lang hebben geduurd. Daarom gebruikte het bedrijf zelf AI-ondersteunde analyse om gebeurtenissen te groeperen, payloads te ontleden, credentials in kaart te brengen en de tijdlijn te reconstrueren.

Dat leidt tot de derde verdedigingsbehoefte: agentic incident response.

Verdedigende agents kunnen voortdurend gegevens uit identity-, endpoint-, cloud-, netwerk- en applicatiesystemen met elkaar verbinden. Ze kunnen bewijsmateriaal veiligstellen, vaststellen welke credentials zijn geraakt, beheersmaatregelen voorstellen en responders waarschijnlijke aanvalspaden tonen in plaats van nog een lijst losse meldingen.

Het doel is geen systeem dat zonder toezicht productie uitzet zodra iets afwijkt. Het doel is een responsproces waarin machines het volume en de tempo-eis afhandelen, terwijl mensen beslissingsbevoegd blijven bij acties met grote gevolgen.

Wat organisaties nu kunnen doen

Perfecte autonome verdediging is niet nodig om te beginnen. Versterk eerst de fundamenten die iedere aanvaller begrenzen:

  • Scheid evaluatie-, ontwikkel- en productieomgevingen.
  • Beperk uitgaand verkeer, inclusief indirecte toegang via package-proxies en gedeelde diensten.
  • Blokkeer toegang tot cloudmetadata vanuit workloads, tenzij die aantoonbaar nodig is.
  • Vervang brede, langlevende credentials door beperkte workload identities.
  • Detecteer ongebruikelijke schrijfacties in gedeelde infrastructuur die alleen-lezen hoort te zijn.
  • Verbind kwetsbaarheidsbevindingen direct met eigenaarschap, patching, testen en hercontrole.
  • Oefen incidenten met duizenden gelijktijdige acties met weinig individueel signaal.
  • Start met continue, gecontroleerde agentic red teaming voordat aanvallers hetzelfde zonder controles doen.

De les

Het OpenAI-Hugging Face-incident heeft de basisprincipes van cybersecurity niet achterhaald. Het heeft trage uitvoering van die principes gevaarlijker gemaakt.

Offensieve agents kunnen nu al sneller onderzoeken, samenwerken en bijsturen dan een menselijk team. Bewuste aanvalscampagnes zullen die mogelijkheden gerichter en betrouwbaarder maken. De verdediging heeft daarom haar eigen versnelling nodig: continue agentic red teaming om zwakheden te vinden, geautomatiseerd herstel om ze te sluiten en AI-ondersteunde incidentrespons om aanvallen te beheersen terwijl ze plaatsvinden.

Organisaties die deze processen nu opbouwen, leren onder gecontroleerde omstandigheden. Organisaties die wachten, ontmoeten agentic offense mogelijk voor het eerst wanneer iemand anders de agents bestuurt.

Bronnen

Wilt u dit toepassen op uw eigen omgeving?

Neem contact op

Lees verder

Klaar om uw organisatie door de ogen van een aanvaller te zien?

Neem contact op