ИИ 4го поколения (GPT-4 и прочие аналоги) показывает прекрасное (И - ирония) понимание в вопросах решения задач на логику и общие рассуждения. Но сейчас, когда ИИ развился до такого уровня, появляется старый-престарый (ещё в 80ых зарубежная научная фантастика поднимала данный...) вопрос:
- Оно осознаёт себя или лишь имитирует человека? И обладает ли абстрактным мышлением, одним из признаков "человечности"?
Учёные из Нидерландов (голландцы, их называют голландцы!)... В общем, голландцы провели исследования и пришли к выводу, что ИИ может решать вопросы по аналогии, но тут же сыпятся, стоит хоть немного изменить условия задачи.
Аналогическое мышление (не путать с абстрактным) - это способность находить общее в двух и более объектах/субъектах исследования. И всё это на основе сходства в определённых аспектах (иначе это уже бред).
Пример от исследователей: Чашка (вы можете опустить чашку) относится к Кофе, как Супница к Кофе (это миски. И либо редактор не знает аналогии к чашке с кофе в одно слово, либо исследователи тоже не в ладах с аналогическим мышлением - прим. редактора).
Большие языковые модели (GPT-4) хорошо справляются с различными тестами, в том числе требующими рассуждений по аналогии, как было сказано выше. Но это потому что они осознают концепцию задачи или просто в базе данных есть очень близкие по смыслу решения?
Провели 3 сравнения:
- Последовательности букв. Определение закономерностей в последовательностях букв и их правильное завершение (то, что у Нейросамы в 2023ем году делалось буквально на стримах).
- Цифровые матрицы. Анализ числовых шаблонов и определение недостающих чисел.
- Аналогии с историями. Понимание того, какая из двух историй лучше всего соответствует данному примеру истории (буквально ЕГЭ по русскому языку, если оно всё ещё идёт также, как и 9 лет назад).
И для понимающей системы, нужно поддерживать высокие показатели, даже если появятся вариации (хотя у GPT сейчас IQ около 75, что на 15 ниже среднего по человечеству). И так как то ключевой вопрос исследования, к нему относились с особой пристальностью.
Люди, понятное дело, как буквально эталон из палаты мер и весов, с тестом справились. И с заданием со звёздочкой (вариацации и смена условий) тоже. А вот, как и следовало ожидать, GPT при добавлении вариаций на тему, забуксовал, где-то свернул не туда и только что вы, дорогие читатели, увидели, как пост теряет в IQ.
Выводы:
- ИИ рассуждает куда менее гибко (впрочем, как и кости у людей, мы одновременно и "гибкие", но и "прочные". Иначе бы просто не могли бы существовать).
- Абстрактного мышления у ИИ нет, только множество сравниваемых шаблонов (т.е. имитация).
- А в тестах на правильное пропущенное число, GPT-5 совсем стал плох, как только пропущенное число изменило свой порядок. И хоть последовательность осталась такой же, как и ответ, ИИ не осилил (у людей проблем не оказалось. Если у тебя порядок 1-3-?-7, то хоть 3-?-7-1 сделай, не будет особо сложнее).
- В тестах на истории (более подходящую), ИИ выбирал первый вариант чаще остальных. И если там переформулировали историю (как редактор, который технически, пишет верно, но Юкари упаси, как же это нечитаемо!), то, опять же, нейросети не справляются.
P.S: Хотя вот при очень сложных задачах, голову почесали уже и машины, и люди.
#Cirno #Science #IT@cirno_nb
Мы в VK: https://vk.com/cirno_nb
