Изкуствен интелект за пръв път успешно реши зрелостни тестове за ученици в САЩ

Система с изкуствен интелект (ИИ) за пръв път успешно премина тестове по естествени науки за зрелостници в САЩ. Компютърът отговорил на повече от 90% от зададените му въпроси за осми клас (в повечето щати това е последния клас в средното училище) и на повече от 83% от въпросите за дванадесети клас. Резултатите на учените от Института за изкуствен интелект Ален (Allen Institute for Artificial Intelligence) са публикувани в предпринт на научна статия в arHiv.org.

Системата с изкуствен интелект с името Аристо (Aristo) е преминала тестове , проверяващи знанията по естествени науки и уменията да разсъждават за випускници от осми и дванадесети клас в училища в щата Ню-Йорк.

Изкуственият интелект е отговарял на въпроси на теста по естествени науки за осми клас (eight-grade science test) и теста по науки за околната среда (science regents test for living environment) за дванадесети клас.

Всеки от тези два теста средно ниво (intermidiate level) за 2019 година съдържа по 85 въпроса. Приблизително половината от тях имат по четири варианта на отговор и се изисква да се избере правилния. Останалите въпроси нямат отговори. Ученикът трябва самостоятелно да напиши отговора в празния ред, да начертае графика и т.н.

Както обясняват авторите, желаната цел в тази разработка е била изкуственият интелект да премине успешно подобни тестове. В разработването на системата с ИИ са задействани няколко важни аспекта на интелекта: разбиране на езика, умението да се разсъждава и наличието на достатъчен запас от знания. Важно е да се отбележи, че въпросите са имали различна степен на сложност и при решаването на тестовете са се проверявали различни знания и умения.

По информация на The Seattle Times, преди четири години повече от 700 изследователи са участвали в конкурс по създаване на „изкуствен ученик”. Наградният фонд е бил 80 000 щатски долара. Но никой от участниците не е бил премиран с тази награда. Даже най-успешната програма е отговорила само на 60% от въпросите.

Aristo е плод на шестгодишна работа на изследователите от Института Ален в Сиатъл . Той е първия ИИ справил се с подобна задача. Но е важно да се отбележи, че тестовите, които той е решавал, са били орязани.

Както обясняват авторите, задачата да получиш научна информация от илюстрации много се различава от задачата по разбиране на текст. Понастоящем има системи, които са способни да разчетат диаграми от конкретен тип (например схеми на хранителни вериги). Но в училищните тестове се срещат най-различни рисунки , от графики до географски карти и изображения на животни. Задачата да се обучи изкуствения интелект да ги разбира е била твърде сложна. Освен това са били съкратени въпросите, при които ученикът трябва самостоятелно да формулира отговор, а не да го избира между различни варианти. По принцип такива въпроси почти не са останали в теста след като са били съкратени въпросите с илюстрации. Авторите отбелязват, че такива въпроси изискват истински човешко разбиране и обобщение на информацията, което (засега) трудно може да се очаква от ИИ.

По този начин Аристо е избирал готови отговори от наличните варианти. Би било грешка да се мисли, че неговите успехи са свързани със случайно налучкване. Вероятността да се познае правилния отговор от четири възможни е 25%. Правилно да се отговори по този начин на 80-90% от въпросите е практически невъзможно.

Аристо не е хвърлял монета, а е използвал осем „мислещи” подсистеми, всяка от които се обучавала самостоятелно. При това са се използвали широк спектър от методи. В някои модули са се използвали принципите на математическата статистика и теорията на информацията. Други са се опирали на математическата логика, а трети са се базирали на методите, използвани в математическата и компютърна лингвистика.

За Аристо екипът е създал десет обучителни масива с данни и пет огромни бази знания. Към всички тях има свободен достъп и могат да бъдат използвани за обучение и функциониране на други системи с изкуствен интелект.

Авторите подчертават, че създавайки Аристо, те не са знаели на какви въпроси ще се отговаря по време на изпита. Затова, даже имайки желание, те са нямали възможност да включат тези задачи в обучаващия масив от данни или да заложат отговорите им в базите знания.

Освен това , учените съобщават, че въпросите от теста са въвеждани в системата дословно, точно в такъв вид, в който са давани и на учениците. Разработчиците не са правили никакви опити да „обяснят” на компютъра какво се изисква от него, „да му превеждат на по-разбираем език” и така нататък. В този смисъл успехите на изкуствения интелект действително са впечатляващи. Можем да се надяваме, че учениците на бъдещето няма да използват подобни системи на принципа „ИИ решава теста, а ученикът взема изпита”.