Des chercheurs du MIT CSAIL ont demandé à un grand modèle de langage de modifier directement les « poids » — les nombres qui forment un réseau de neurones — d’un plus petit modèle ouvert.
Sans réentraînement classique, en touchant seulement 0,016 % de ces nombres, le score en maths est passé de 7,9 % à 48,1 %. L’IA a surtout retiré une direction liée à des boucles de raisonnement : le petit modèle répétait la même phrase au lieu d’arriver à une réponse.
Ce n’est pas magique. Les auteurs montrent aussi qu’on ne crée pas ainsi un savoir que le modèle n’avait pas. On ouvre surtout une façon nouvelle de réparer un défaut ciblé.
Derrière les chiffres, c’est encore un humain qui pose la question, et qui décide ce qui vaut d’être corrigé.