Ник Каммарата, исследователь из лаборатории Goodfire, опубликовал эссе, в котором заявляет, что внутренние механизмы нейросетей гораздо понятнее, чем предполагалось ранее. По его мнению, большинство нейронов выполняют четкие функции, а не смешивают несвязанные концепции, как считалось в рамках гипотезы суперпозиции. Каммарата утверждает, что около 90% нейронов в модели Qwen3-32B имеют одну основную задачу, а еще 7% — две связанные. Он полагает, что это открытие может стать прорывом для безопасности ИИ, позволяя напрямую выявлять опасное поведение или обман в схемах модели. Однако в научном сообществе нет единства. Нил Нанда из Google DeepMind назвал работу интересной, но предостерег от завышенных ожиданий. Нанда сомневается, что результаты, полученные на текущих моделях, полностью опровергают теорию суперпозиции, и ожидает, что анализ на основе нейронов может иметь серьезные ограничения. В то же время сотрудник OpenAI, известный под псевдонимом Roon, назвал работу историческим моментом, который может упростить задачу согласования ИИ с человеческими целями.
Исследователи спорят о возможности «прозрачности» нейросетей
Ник Каммарата из Goodfire утверждает, что нейросети проще для анализа, чем считалось ранее. Эксперты разделились во мнениях о значимости этого вывода.




