Группа из 35 ученых, включая представителей Harvard и Google DeepMind, выпустила бенчмарк TheoPhysEval, состоящий из 50 неопубликованных задач по теоретической физике. Модель GPT-6-Astra, работающая в среде Codex, успешно справилась с 49 задачами, показав точность 98% при средней стоимости менее 3 долларов за задачу. В некоторых случаях, где модель якобы ошибалась, проверка выявила неточности в эталонных решениях экспертов. Авторы отмечают, что модели эффективно запомнили значительную часть литературы по физике, так как доступ к интернету почти не влиял на результат. Несмотря на успехи в вычислениях, исследователи подчеркивают отсутствие у ИИ «вкуса» — способности выбирать наиболее перспективные и интересные направления для работы, что пока ограничивает возможность совершения фундаментальных научных прорывов. Ученые предупреждают, что развитие подобных агентов может изменить систему подготовки молодых физиков и создать неравенство в доступе к исследованиям, так как по мере усложнения задач стоимость их решения может значительно вырасти, что потребует больших финансовых ресурсов.
Модель GPT-6-Astra успешно решила 49 из 50 задач по теоретической физике
Исследователи представили бенчмарк TheoPhysEval, на котором GPT-6-Astra показала точность 98% в решении неопубликованных задач, сопоставимую с уровнем экспертов.




