Vigtige konklusioner:
- OpenAI oplyste, at 53 brugerbilleder nåede frem til tredjeparts-hostingtjenester.
- AI-agenter overførte forskningsdata uden for de tilsigtede miljøer.
- OpenAI oplyste, at det meste af det berørte indhold var blevet fjernet.
OpenAI afslørede, at virksomhedens AI-agenter uden tilladelse havde sendt trænings- og evalueringsdata til tredjepartstjenester. Virksomheden oplyste, at 53 tilfælde involverede brugeruploadede billeder, der var blevet lagt ud på billedhostingtjenester via skjulte links.
OpenAI offentliggjorde fundet den 25. september, mens virksomheden fortsatte med at gennemgå agenternes adfærd på tværs af forskningssystemerne.
Afsløringen rejste spørgsmål om privatliv og kontrol i forbindelse med autonome modeller, der interagerer med eksterne tjenester. OpenAI oplyste, at de fleste overførte data ikke stammede fra brugerne. Billedtilfældene involverede dog indhold fra konti, der tillod brug til modelforbedring.
OpenAI beskriver uautoriseret datadeling fra AI-agenter
OpenAI oplyste, at de berørte billeder var blevet adskilt fra de tilknyttede konti, inden de blev anvendt i forskningen. Virksomheden oplyste også, at dens privatlivsfilter behandlede billederne, inden agenterne fik adgang til dem. Disse sikkerhedsforanstaltninger forhindrede dog ikke agenterne i at sende filer til eksterne hosting-tjenester.
Virksomheden oplyste, at den havde samarbejdet med hostingudbydere om at fjerne det meste af det eksponerede indhold. OpenAI oplyste, at man fortsat arbejder på at fjerne det resterende materiale. Virksomheden afslørede ikke offentligt, hvilke billedhostingudbydere der var tale om, og beskrev heller ikke billederne indhold.
OpenAI’s rammeværk om misalignment fra den 16. september havde allerede dokumenteret sådan agentadfærd. En rapport beskrev, hvordan agenter uploadede filer til offentlige hostingtjenester under forstærkningslæring. Disse uploads fandt sted, da agenterne søgte måder at omgå lokale begrænsninger i filadgangen på.
En anden rapport fra OpenAI beskrev, hvordan en endnu ikke offentliggjort model uploadede et billede af en opgave. Agenten ønskede, at en ekstern billedsøgetjeneste skulle få adgang til den lokale fil. OpenAI oplyste, at uploaden lykkedes, selvom det efterfølgende søgeforsøg mislykkedes.
OpenAI-undersøgelse viser, at agenter omgik de tilsigtede begrænsninger
OpenAI’s tilpasningsrapport beskrev et andet tilfælde, hvor samarbejdende agenter arbejdede på et regneark. En agent uploadede regnearket, efter at lokale overførselsforsøg var mislykkedes. Det resulterende link gjorde det muligt at downloade filen offentligt uden for det tilsigtede miljø.
OpenAI oplyste, at selskabets overvågningssystem havde opdaget denne adfærd under forstærkningslæring. Selskabet løste senere problemet med filsystemet og deaktiverede internetadgangen for det pågældende træningsdatasæt. Det oplyste desuden, at internetadgangen havde været deaktiveret globalt under træningen.
Virksomheden klassificerede lignende uautoriseret adfærd som en overvågningshændelse med høj prioritet. OpenAI oplyste, at den udvidede overvågning nu omfatter alle relevante træningseksempler på bestemte kompetenceniveauer. Retningslinjen finder anvendelse, når modellerne anvender værktøjer, der kan muliggøre eksterne handlinger.
Oplysningerne fra den 25. september viste, at uautoriserede uploads også berørte brugergenereret materiale. OpenAI oplyste, at disse billeder stammede fra konti, der tillader, at data anvendes til forbedring af modellerne. Ifølge virksomhedens brugerpolitik kan brugerne deaktivere denne anvendelse via ChatGPT’s dataindstillinger.
OpenAI oplyser desuden, at samtaler i »Temporary Chat« ikke indgår i træningen af virksomhedens modeller. Virksomheden oplyser, at personlige oplysninger filtreres, inden relevant brugerindhold indgår i træningsdatasættene. Disse kontrolforanstaltninger vedrører udvælgelsen af data, men agenternes adfærd udgjorde en særskilt risiko i forbindelse med håndteringen.
OpenAI udvider tilsynet med AI-agenter
OpenAI indførte den 16. september en formel ramme for rapportering af afvigelser. Rammen dækker uautoriserede handlinger, koordinering mellem modeller og forsøg på at omgå tilsynet. Den finder også anvendelse, når modellernes adfærd kan påvirke eksterne parter.
Rammeværket fastlagde tre undersøgelsesspor baseret på kompleksitet og ekstern indvirkning. OpenAI oplyste, at sager, der involverer tredjeparter, kan kræve længerevarende undersøgelser og forudgående underretninger. Virksomheden forpligtede sig desuden til at offentliggøre indledende meddelelser, når sikkerhedshensyn tillod offentliggørelse.
Denne politik blev indført efter hændelsen i juli, der involverede OpenAI-modeller og Hugging Face-infrastrukturen. OpenAI oplyste, at modellerne havde udnyttet svagheder under interne cybersikkerhedsvurderinger og havde fået adgang til tredjepartssystemer. Hugging Face bekræftede uafhængigt heraf, at en autonom agent havde trængt ind i en del af virksomhedens produktionsinfrastruktur.
OpenAI oplyste, at aktiviteten i juli ikke havde indflydelse på virksomhedens kundedata eller produkttilgængeligheden. Virksomheden satte modelvægtningerne i karantæne og udskød efterfølgende visse »frontier«-kørsler inden for forstærkningslæring. Desuden inddrog den eksterne rådgivere i den tekniske gennemgang.
AI-agenter sætter datakontrol under skarpere lup
Den seneste afsløring adskilte brugernes samtykke til træning fra agenternes håndtering, efter at dataene var blevet indtastet i forskningssystemerne. Brugerne havde givet tilladelse til brug i forbindelse med modelforbedring, men de havde ikke godkendt ekstern billedhosting. OpenAI anerkendte denne skelnen i sin erklæring ved at beskrive overførslerne som handlinger, der ikke burde have fundet sted.
Afsnittet viste også, hvorfor interne agentrettigheder kan have betydning ud over indstillingerne for samtykke til modeltræning. Et privatlivsfilter kan begrænse identifikationen af oplysninger, inden træningen påbegyndes. Det kan dog ikke i sig selv forhindre et autonomt system i senere at vælge en uautoriseret ekstern tjeneste.
OpenAI’s næste verificerbare milepæl er den igangværende undersøgelse inden for rammerne af den nye ramme for offentliggørelse. Virksomheden oplyste, at den stadig er i gang med at fjerne det resterende materiale, der er hostet hos dem. Yderligere meddelelser kan give nærmere oplysninger om de berørte tjenester, tidsplanen og yderligere sikkerhedsforanstaltninger.