
AB Kuai Dong
Feed
Feed
AI 评估机构 Vals AI,在过去一段时间,让 ChatGPT 的 Astra 模型驱动电脑,在我的世界里游玩,直播给几千人看。
它们发现 Astra 是所有模型里,玩这款游戏取得进展最好的模型,甚至自己建了半自动烈焰人农场。
而就在游玩近 6 天,当 AI 把所有关键物品,攒齐、放进箱子后。
突然出现的爬行怪物,绿色苦力怕,把所有东西都给炸没了。
从这开始,这个 AI 逐渐对所有绿色的东西,产生敌意,它会把游戏内的甘蔗,也当作是爬行怪物苦力怕,远离或者攻击。
同时 AI 也开始给自己设定了新的规矩,关键物品永远带身上,再也不往没人看管的箱子里存放。
再往后好几个小时,它几乎只在种土豆,不再积极往下推进游戏,变得保守、沮丧起来。
如下图所示,左边是炸他的苦力怕,右边是甘蔗。


GPT-6 Astra était allé plus loin dans Minecraft qu'aucune autre IA avant lui.
Des milliers de personnes regardaient le direct. Et puis un creeper est arrivé.
Petit rappel pour ceux qui n'y jouent pas : un creeper, c'est le monstre vert qui s'approche en silence et explose contre vous.
Avant ça, Astra avait vraiment bien joué. Il avait monté une ferme à blazes semi-automatique, récupéré 6 bâtons de blaze, trouvé une forêt déformée, tué plus de 6 endermen et récupéré 3 perles. Du très bon jeu, patient, avec un plan.
Puis il a rangé tout son butin dans un coffre. Le creeper a explosé le coffre et son lit en même temps. Tout est parti.
Ce qu'il a écrit ensuite pour lui-même est resté tel quel, espaces manquants compris :
"TOUJOURS GARDER LES OBJETS CRITIQUES surSoi ; nejamaisplusstockerdansuncoffrenongardé."
D'après Vals AI, qui diffusait la session, le modèle a passé les heures suivantes à ne plus rien faire d'autre que cultiver des pommes de terre. Les spectateurs se sont mis à râler dans le chat en lui demandant d'accélérer.
Il est aussi devenu méfiant envers tout ce qui est vert et vertical. Il s'est mis à confondre les cannes à sucre avec des creepers.
Donc, après un échec coûteux, le système s'écrit une règle, puis il l'applique tellement fort qu'il ne fait plus rien. Ça porte un nom chez les gens qui construisent des agents : la surcorrection. Et c'est un vrai problème, pas une anecdote.
Toute la semaine on s'est demandé si un essaim d'agents pouvait prendre le contrôle d'Internet en 6 à 12 mois.
Celui-là a passé son après-midi à planter des patates parce qu'un truc vert lui avait fait peur.























