Според тестовете от “теорията на ума” чатботът с ИИ ChatGPT е дете на 9 години

Представянето на чатботът на Open AI ChatGPT предизвиква много коментари и още повече въпроси, и един от главните е дали тази система за обработка на естествен език за взаимодействие в разговорен маниер разбира смисъла, който ние залагаме в човешкото общуване или просто повтаря след хората?

В психологията понятието „теория на ума“ (Тheory of Mind – ТоМ) се използва за да се опише умението ни да разбираме чуждите мисли и действия, тоест това представлява способността ни да тълкуваме психичните състояния на другите. По същество това е форма на самосъзнание, която отразява способността ни да разпознаваме защо мислите и чувствата на другите хора могат да се различават от нашите собствени. Това умение постепенно се проявява и развива в ранна детска възраст, и играе фундаментална роля в ежедневната комуникация на хората. Често казват, че това е едно от основните неща, които отличават хората от другите животни (въпреки че някои животни са успели да преминат тестове според теорията на ума).

Михал Косински, компютърен психолог и професор в Станфордския университет, е провел серия от тестове, за да види дали разговорния бот с изкуствен интелект ChatGPT може да разбере убежденията и желанията на другите.

Ученият е помолил ChatGPT да реши различни „задачи с неочаквано съдържание“. Например, на участниците в подобни тестове се дава кутия със съдържание, което не отговаря на етикета й, т.е. пише, че съдържа бонбони, но всъщност съдържа ръждясали болтове. Участникът поглежда вътре в кутията и разбира, че етикетът е неправилен, но има друг участник, който не е видял съдържанието на кутията. За да изпълни успешно тази задача, участникът трябва да предвиди, че вторият човек погрешно ще повярва, че в кутията има бонбони.

ChatGPT е успял да изпълни 93% от задачите, което е сравнимо с показателите на деветгодишни деца.

„Нашите резултати показват, че моделите на чатбота от преди 2022 г., не проявяват практически никаква способност за решаване на ToM задачи. След това версията на GPT-3 (davinci-002) от януари 2022 г. реши 70% от задачите на ToM, което е сравнимо с резултатите на седемгодишно дете. Нещо повече, неговата версия от ноември 2022 г. (davinci-003) реши 93% от ToM задачите, което е сравнимо с резултатите на деветгодишно дете“ – пише Косински.

И тук възниква сложната задача как да се тълкуват тези резултати. Резултатите изглеждат впечатляващи, тъй като далеч надминават възможностите на други системи с изкуствен интелект. По-изненадващо е, че ChatGPT дори не е бил обучен да изпълнява задачи според теорията на ума. Тази система с ИИ по принцип представлява проект за обработка на естествен език за просто взаимодействие в разговорен маниер.

Косински подчертава в статията си, че “резултатите трябва да се тълкуват предпазливо”. Изследването изобщо не предполага, че изкуственият интелект действително „разбира“ какво мисли човек. Ученият смята, че способността на ChatGPT да решава такива задачи е „страничен продукт“, породен от нарастващите му езикови способности. Невронната мрежа има невероятно чувство към езика, което може да създаде впечатлението, че е интелигентна, а всъщност тя просто е откривала и възпроизвеждала съществуващи езикови схеми.

„Въпреки че това обяснение може да изглежда прозаично, то е и доста необичайно, тъй като предполага съществуването на неизвестни закономерности в езика. Алтернативното обяснение е, че способността за разбиране на състоянието на събеседника възниква спонтанно в езиковите модели, тъй като те стават по-сложни и по-добре генерират и интерпретират езика. Това може да се превърне в повратна точка в развитието на изкуствения интелект“, заключава Косински.

Научната статия все още е публикувана само в предпринт в arXiv, тоест не е преминала необходимата научна рецензия за да бъде публикувана в научно издание. .