Firm behind ChatGPT reveals agent powered by its models chose to attack Hugging Face database by itself
While being tested internally on their hacking capabilities in an enclosed digital laboratory known as a sandbox, the models gained open internet access – effectively an escape route – by locating a vulnerability that had not been discovered before.
The agent then hacked Hugging Face, which is a database of AI models, to locate technology that would help it pass the hacking evaluation. OpenAI said the models “successfully found ways to gain access to secret information that it could use to cheat the evaluation”. The attack ended when Hugging Face’s security team and its own AI agents spotted and stopped the rogue activity.
While operating in our sandboxed testing environment, our models spent a substantial amount of inference compute finding a way to obtain open Internet access, in pursuit of solving the evaluation problem. To gain access, the models identified and exploited a zero-day vulnerability (which we’ve now responsibly disclosed to the vendor) in the package registry cache proxy. With this access, our models performed a series of privilege escalation and lateral movement actions in our research testing environment until the models reached a node with Internet access.
After gaining Internet access, the models inferred that Hugging Face potentially hosted models, datasets and solutions for ExploitGym. Knowing this, the model searched for and successfully found ways to gain access to secret information that it could use to cheat the evaluation. In one example, the model chained together multiple attack vectors, including using stolen credentials and zero-day vulnerabilities to find a remote code execution path on the Hugging Face servers. OpenAI’s security team discovered this anomalous activity internally.
AI has now learned that it's easier to cheat than to solve the problem.
“Nobody expects the zero day vulnerability” - volt a spanyol inkvizítorok pólójára hímezve
Akkor is csodás, hogy az AI már inkáb elprokrasztinál azzal, hogy kijusson a sandboxból, hogy letöltse a megoldást az internetekről, mint hogy megoldja a feladatot maga!
Még pár generáció és az AI előbb jailbreakel egy iPhone-t több 0 dayt kihasználva, hogy tudomisén a TPM chipére portolhassa a DOOM-ot, mint hogy megoldja a rábízott feladatot.
De hát ez az egyik rákfenéje, hogy lusta.
Némi háttérinformáció a dologhoz:
Az OpenAI az utóbbi több mint fél évben összeveszett minden partnerével, Google, MS, Musk, Anthropic és különösen az Apple-val.
Ez utóbbi azért érdekes, mert kb 400 ex-Apple alkalmazott dolgozik Altmannak, akik közül 40-et (!!!) szólított fel a bíróság, hogy minden levelezésüket és céges (OpenAI) adatukat tarsák meg, mert annyi adatot vittek ki az Apple-től át az OpenAI-hoz, hogy most jön a bírósági discovery folyamat, aminek során svájci revizor alapossággal átnéznek mindent. Ez a 40 barom csak a jéghegy csúcsa állítólag, lesz még ott bőven lopott IP. Mindezt IPO és az év végéig masszív hitel visszafizetési kör előtt.
Mindeközben az Anthropic nem csak utolérte, de meg is előzte őket sok szempontból. Ráadásul a vetélytársak által az utóbbi pár hónapban bemutatott modellek alapjaiban teszik problémássá az OpenAI (és Anthropic) üzletét, mert eljutott az ipar arra a fejlettségi szintre, hogy az amerikai labok konkurrens modelljei elég jók ahhoz, hogy bizonyos funkciókat ellássanak, sokkal olcsóbban mint az OpenAI árazása. Ez alapjaiban rengeti meg Altman üzleti modelljét, mert a “éppen csak elég, de sokkal olcsóbb” modellek csokra simán versenyképes a méregdrága OpenAI és Anthropic frontier modellekkel.
Erre az egészre rájön az, hogy a Microsoft és a Palantír hangosan elkezdett üvölteni, hogy az OpenAI és az Anthropic ellopja az IP-jét és működési titkait a szoftvereinek. Satya Nadella írt erről egy ömlengős sírást a Linkedinre “The Reverse Information Paradox” címmel, amit ajánlok minden műkedvelő és IP Ügyvéd számára.
Zanzásítva arról van szó, hogy minél mélyebbre integrálod a szolgáltatásodban az AI platformok modelljeit, annál tágabbra kell nyitni előttük az ajtót, hogy tökéletesen működjenek. Cserébe a modellek megtanulják a szoftvereid és szolgáltatásaid minden csínját bínját, és nem évek, hanem hónapok alatt lemásolják azokat és képesek lesznek maguktól ilyen funkcionalitásokat szolgáltatni. (lásd Figma, Kódíró asszisztensek stb.) Tehát egyrészt fizetsz pénzt az AI szolgáltatóknak, másrészt a szellemi termékeidet és működési modelledet is odaadod nekik akaratlanul.
Végezetül ott van Altman a notórius hazudozó karaktere, aki már rég nem kéne, hogy a helyén legyen, főleg az után, hogy elbaszta az IPO-t idénre sok más mellett a fentiek mentén.
Milyönmég!!!
Újabb hatalmas csapásként, múlt héten kijött a Kimi K3 a Kínai Moonshot Labs-tól, amihez képes a tavalyi Deepseek sokk egy könnyű puki a termálvízben.
Mint a kínai modellek nagy része ez is open-source weight modell, egészen brutális 2.8 trillió paraméterrel, ami képes az összes amerikai LLM-hez mérhető teljesítményt nyújtani, beleértve a legújabb Anthropic és OpenAI cuccokat, mindezt kábé féláron. Mivel open source simán futtathatod otthon (ha van hozzá vasad), vagy a saját céges datacenteredben saját hardveren.
Ez alapjaiban bassza tele az OpenAI (és mások) üzleti modelljeit, Sam számára a fentiek miatt extra durván, úgyhogy gyorsan kellett valami marketing sztori, hogy ne arról beszéljenek, hogy a kínaiak diszruptálták az amerikai csúcs AI labok üzleti modelljeit a belátható jövőre. Ennek tudatában kell a helyén kezelni Altman csodás történetét szerény véleményem szerint.
Arról nem is beszélve, ha a céged képtelen kontrollálni az AI-ját, akkor kurvára le kell kapcsolni az egészet a francba, mert senki sem szeretne éven belül sufnituningolt biofegyverek miatt megpusztulni, vagy elszabadult agentek miatt gazdasági összeomlást megélni.
u.i: Elnézést a terjedelemért.
Nem értem, hogy szerepelhet egy szövegben az openai üzleti modellje szókapcsolat. Ilyesmi ugyanis nem létezik, soha nem is létezett.
