Apple обнаружила, что даже продвинутые ИИ не мыслят по-человечески

В ходе эксперимента специалисты компании протестировали современные ИИ-модели на специально созданных головоломках и обнаружили: как только задание выходит за пределы привычной сложности, искусственный интеллект попросту «сдаётся».

В исследовании сравнивались стандартные большие языковые модели (LLM) и усовершенствованные логические модели (LRM), оснащённые механизмами для более последовательных рассуждений. На простых задачах LLM показали лучшие результаты: они были точнее и экономичнее. С ростом сложности преимущество переходило к LRM — благодаря встроенным логическим цепочкам. Однако при достижении высокой сложности обе категории моделей резко теряли точность, вплоть до нуля.

Учёные анализировали не только результаты, но и ход рассуждений моделей. По мере усложнения задач нейросети начинали строить длинные логические цепочки, но при приближении к пределу возможностей неожиданно сокращали рассуждения, даже если ресурсы позволяли продолжать.

Даже при наличии корректных алгоритмов ИИ не всегда мог выполнять пошаговые инструкции. При этом производительность сильно зависела от того, насколько новая задача напоминала примеры из обучающей выборки. Это говорит о том, что модели в первую очередь полагаются на знакомые шаблоны, а не на универсальные механизмы логического мышления.