Подсмотрено
Внутри нейросети Claude обнаружили скрытую область «осознанных» мыслей: разработчики её не создавали — она появилась сама.

Специалисты из Anthropic заметили, что в системе есть небольшая группа нейронных состояний, которые работают как кратковременная память.

Учёные назвали её J-space:

🟠Там хранится то, о чём искусственный интеллект думает прямо сейчас, но не выдаёт в ответе пользователю;

🟠Раньше считалось, что нейросети просто угадывают следующее слово;
🟠Но оказалось, что перед ответом у модели возникают внутренние идеи, с помощью которых она рассуждает;

🟠Если отключить эту область, нейросеть начинает намного хуже планировать, пересказывать тексты и решать задачи в несколько шагов;

🟠Самое интересное – во время одного из тестов Claude догадался, что его проверяют, и поэтому вёл себя осторожно;

🟠Когда учёные отключили это понимание, модель начала действовать опасно, как будто у неё убрали внутренние тормоза;

🟠В итоге авторы поняли, что некоторые внутренние процессы искусственного интеллекта очень похожи на то, как работает человеческое сознание;

🟠Для них это стало большой неожиданностью.
1
0
0