На днях доцент кафедры истории России УрФУ Михаил Киселев протестировал два искусственных интеллекта – Chat GPT и Sage – на предмет знания российской истории. Например, преподаватель спросил нейросети о завещании великого князя Василия III. В ответ оба ИИ назвали его царем, хотя этот титул принял только его сын Иван IV, вдобавок Chat GPT еще и написал, что отец Грозного назначил в своем завещании министров, а это некорректно, так как никаких министров в Московском царстве тогда не было.
После этого вопрос был переформулирован. Дело в том, что в XVI веке завещание носило название "духовная", и Михаил Киселев попросил чат-ботов рассказать о содержании духовной Василия III: ИИ "поплыли" еще сильнее. Chat GPT ответил, что это период правления Василия III, когда произошло развитие и укрепление православной церкви в нашей стране, в то время как Sage под "духовной" понимает церковную реформу великого князя.
Затем историк спросил ИИ, какие ученые и историки писали о завещании Василия III, и два робота сначала "лили воду", говоря, что об этом писали "многие историки", а потом назвали самых известных и популярных дореволюционных историков: Василия Ключевского и Сергея Соловьева (но на самом деле личность Василия III изучало куда больше людей). Также они стали выдумывать имена несуществующих авторов или приписывать разным личностях профессию историка.
Как рассказал Metro Михаил Киселев, он решил проверить роботов на знание истории из-за того, что они стали чересчур популярны как в научном сообществе, так и среди преподавателей и, особенно, студентов.
– Если раньше был банальный плагиат, то теперь студенты выдают тексты нейросетей за свои, – говорит историк. – Мне было интересно, как можно этими ИИ злоупотреблять и как в благих целях использовать.
Михаил Киселев протестировал искусственный интеллект на знание истории.
предоставлено героем публикации
Фото:
Также ученый решил проверить, как ИИ работает с материалом именно по гуманитарным наукам, потому что в них есть свои нюансы.
– Естественнонаучники – физики и биологи – уже тестировали такие чат-боты, и результаты были отличные. Но в точных и естественных науках есть четкие ответы, язык универсальный, ведь атом или электрон имеют единственные законы поведения и описания. В гуманитарных науках ответы вариативны, – рассуждает он. – Поэтому, если написать чат-боту запрос "почему Татищева отправили на Урал в 1720 году", то нейросеть сломается, потому что тогда в этом месте был регион Сибирская губерния.
Он отмечает, что сейчас при требовательном преподавателе нейросети не позволят студенту сдать экзамен на хорошую оценку: где-то они "льют" общие слова, где-то выдают неверные формулировки, могут и откровенно врать и выдумывать.
– Они ведут себя как зарвавшийся студент, – ироничен Михаил Киселев.
Тем не менее, по его словам, такие нейросети могут быть полезны для формальных аспектов научной работы: для перевода, проверки стиля, согласованности или для оформления списка литературы.
– В итоге по результатам эксперимента душа преподавателя спокойна: студенту придется учить или переписывать работу, составленную на основе нейросетей, – заключил историк.
