Премия Рунета-2020
Екатеринбург
-27°
Boom metrics
Общество
Эксклюзив kp.rukp.ru
1 июня 2023 5:49

«Пишет как двоечник»: уральский филолог дала низкую оценку нейросети, которая за час сдала ЕГЭ

В Екатеринбурге нейросети понадобился час, чтобы написать ЕГЭ по русскому, но в вуз она не поступит
Своим сочинением по русскому языку нейросеть удивила даже опытных филологов Фото: сгенерировано нейросетью Kandinsky 2.1 by Sber AI

Своим сочинением по русскому языку нейросеть удивила даже опытных филологов Фото: сгенерировано нейросетью Kandinsky 2.1 by Sber AI

Как там пел Сыроежкин в «Приключениях Электроника»? Вкалывают роботы, а не человек? В общем да, прогресс до этого уже дошел. Для школьников и студентов точно. В феврале в Москве студент за день с помощью нейросети написал диплом и защитился, да так, что педагоги по всей стране вздрогнули – как теперь проверять, ученик писал работу или компьютер?

А ведь сейчас идет горячая пора ЕГЭ и ОГЭ. Вдруг кому-то из учеников придет в голову идея сдать экзамен при помощи нейросети? «КП» вместе с преподавателями проверила, сработает такой фокус или нет. Хочет компьютер писать дипломы в университете? Пусть сначала наберет достаточно баллов, чтобы туда поступить.

Экзамен по русскому языку нейросеть писала в тот же день, что и все школьники - 29 мая

Экзамен по русскому языку нейросеть писала в тот же день, что и все школьники - 29 мая

Фото: Алексей БУЛАТОВ

ЗА РУССКИЙ ОТВЕТИТ ОТЕЧЕСТВЕННАЯ НЕЙРОСЕТЬ

Нейросети - это одна из главных технологических игрушек последнего времени. Программисты научили компьютер творить. Просишь нарисовать девочку с персиками – сделает миллион вариантов, причем не хуже, чем у Валентина Серова. Просишь ее написать за тебя сочинение по заданной теме – напишет. Чудеса! Тут и зарубежные разработки нашумели. Да и наши программисты не отстают. Недавно, например, появилась отечественная нейросеть YaGPT. Ее-то мы и отправили на ЕГЭ. Кому ж еще сдавать русский язык, как не русской нейросети?

Сдавала она его в тот же день, что и школьники по всей стране – 29 мая. Мы взяли демонстрационный вариант ЕГЭ по русскому этого года, который опубликован на сайте Федерального института педагогических измерений и дали нейросети выполнить задания из нее, а потом показали результат эксперту по ЕГЭ по русскому языку. Это 26 вопросов в форме теста, плюс 27-е задание – сочинение.

Сочинение нейросеть написала за несколько секунд

Сочинение нейросеть написала за несколько секунд

Фото: Мария ЛЕНЦ

- На всю работу - 3,5 часа, - объясняет кандидат филологических наук, доцент, эксперт в сфере ЕГЭ по русскому языку, заместитель директора Института государственного, муниципального управления и права УРГЭУ Наталья Громова. – Это и на сочинение, и на тест. На сочинение обычно ученик тратит 1,5-2 часа.

СОЧИНЕНИЕ ПО ЩЕЛЧКУ ПАЛЬЦА

Засекаем время и начинаем забрасывать в нейросеть по очереди все задания. Вот одно из них - заменить неправильно использованное слово на верный вариант. Нейросеть отвечает моментально: «Слово «праздный» в предложении надо заменить на «праздничный». И далее по списку: произносить следует не «оптОвый», а «Оптовый»; не «полтораста» рублей, а «полутораста». Щелкает задания как орешки.

Пришел черед финального задания - сочинения. Там история про мужчину, который вернулся в родное село. Герой рассказывает и про облачные фрегаты, и про древний запах папоротника, и про белеющие березки с качающимися купальницами. Нужно прочитать все это и написать по мотивам текст не меньше 150 слов, сформулировать проблему, привести два примера-иллюстрации, проанализировать смысловую связь…

Как шпаргалку нейросеть использовать не получится - кто же позволит пройти на ЕГЭ со смартфоном, подключенным к Интернету?

Как шпаргалку нейросеть использовать не получится - кто же позволит пройти на ЕГЭ со смартфоном, подключенным к Интернету?

Фото: Алексей БУЛАТОВ

Загружаем текст в нейросеть, нажимаем одну кнопку и… через несколько секунд у нас на руках сочинение.

- Проблема, поставленная автором текста, заключается в том, что автор стремится показать значение родного края для человека, - пишет в сочинении нейросеть. - Он говорит о том, как важен для него родной край, и описывает его красоту и тишину. Автор подчеркивает, что родной край помогает человеку сохранять молодость и лечит душу.

Ну будто человек написал. Нейросеть даже мнением в конце поделилась, как и требует ЕГЭ.

- Мое отношение к позиции автора заключается в том, что я согласен с ним. Я считаю, что родной край действительно имеет большое значение для человека, - говорит компьютер.

Чтобы написать ЕГЭ по русскому языку, нейросети понадобилось чуть больше часа. Окрыленные таким успехом, спешим проверить, сколько баллов удалось набрать.

СЛОВНО ИНОСТРАНЕЦ ПИСАЛ

- С такими результатами она не только в вуз не поступит, но и школу вряд ли окончит, - констатирует эксперт по ЕГЭ по русскому языку.

Тестовую часть нейросеть провалила с треском – всего три правильных ответа из 26! С сочинением другая история.

- Ну, баллов десять на сочинении она бы набрала за хорошую орфографию, пунктуацию и грамматику - замечает эксперт. - Я даже удивилась. Думала, будет что-то страшное. Но это все-таки сочинение, написанное по структуре ЕГЭ. И если бы вы мне сказали, что это написал двоечник из 11 класса, я бы даже поверила. А для человека, который начинает изучать русский язык, это было бы неплохое сочинение.

Чтобы написать ЕГЭ по русскому языку, нейросети потребовалось чуть больше часа

Чтобы написать ЕГЭ по русскому языку, нейросети потребовалось чуть больше часа

Фото: Алексей БУЛАТОВ

Проблема в образности. Ну не понимают пока нейросети, что такое черные лошадиные тропы и древний запах папоротника.

- Она поняла, что такое родной край, шелест берез, купальницы и лютики, а все образы потрясающей красоты ей воспринять сложно. В итоге она все сочинение снова и снова, но разными словами, пишет про одно и то же, - рассказывает Наталья Громова. - Большая часть текста не проанализирована, а пересказана. Получается, что она пишет только о том, что ей понятно.

Хотя, отмечает эксперт, кое в чем нейросеть справилась лучше человека - примеры-иллюстрации нашла, все задания последовательно выполнила. Люди же, когда берутся за сочинение, порой так увлекаются содержанием, что забывают о структуре работы, которой нужно следовать. В общем, ЕГЭ по русскому нейросеть не сдала.

ОТВЕТЫ ДАЕТ, ДА НЕ ТЕ

С математикой у нейросети картина похожая. С простенькими задачами она справляется неплохо. Расписывает решение, объясняет свою логику. И на вопрос, сколько сдачи Олег получит со 100 рублей, купив 1,6 кг моркови по 40 рублей за килограмм, правильно отвечает:

- Сдача будет 36 рублей.

Но вот задачку о том, кто больше съел печенья, Маша или Медведь, нейросеть решила неправильно, обделив мишку на 104 печенья. Плюс многие задания были с графиками и таблицами – посмотрел, прикинул и решил. Нейросети пока анализировать рисунки могут не очень хорошо.

С математикой компьютер справился не лучше

С математикой компьютер справился не лучше

Фото: Алексей БУЛАТОВ

Что же с необязательными предметами? Мы решили прогнать ее через вопросы по биологии и географии. И, похоже, в анатомии человека она разбирается не очень. Посыпалась на вопросе о том, как мочевина идет по организму человека. Получилось, что в мочевой пузырь она попадает… из мочеиспускательного канала. Хотя на вопрос, что доказывает эксперимент, в ходе которого у цыпленка вырезали часть бедренной кости, а вырезанная часть потом заросла, нейросеть сделала правильный вывод:

- Этот опыт доказывает, что костная ткань может восстанавливаться после повреждений.

Неплохо справилась она и с некоторыми вопросами по географии. Например, правильно указала, что Гвинейский залив на карте находится западнее Аравийского моря и Бенгальского залива.

Итог, нейросети – настоящее чудо технологического прогресса. Но это явно не инструмент для решения задач по ЕГЭ. И использовать смартфон с нейросетью, как шпаргалку не получится. Во-первых, свои знания все-таки надежнее. Во-вторых, кто же вас на ЕГЭ с телефоном, подключенным к Интернету пустит?

С экзаменом по истории России ранее нейросеть справилась лучше, чем с ЕГЭ сейчас

С экзаменом по истории России ранее нейросеть справилась лучше, чем с ЕГЭ сейчас

Фото: Алексей БУЛАТОВ

А ВОТ ЕЩЕ БЫЛ СЛУЧАЙ

Нейросети, на пересдачу!

В Уральском федеральном университете в мае нейросетям ChatGPT и Sage устроили экзамен по истории России. И они защитились. Правда, на троечку.

- Выяснилось, что нейросети знают, что такое «завещание Василия III», а когда спросишь, что такое «духовная Василия III», то они уже путаются. Хотя «духовная» - это то же самое завещание, но языком XVI века. Дальше - больше. Обе нейросети неправильно назвали Василия III царем - титул этот появился только при Иване IV Грозном. Ну а Chat GPT и вовсе стал использовать слово «министры», говоря о том времени, когда такого слова в России вообще не существовало, - отметил доцент кафедры истории России УрФУ Михаил Киселев. – Все-таки у меня было желание отправить их на пересдачу. Видно, что знания какие-то есть, но материал нейросети не понимают.

ЧИТАЙТЕ ТАКЖЕ

«Хотели отправить на пересдачу»: в УрФУ нейросеть сдала экзамен по истории России на тройку

В екатеринбургском вузе нейросеть сдала экзамен по истории России на тройку (Подробнее)

Нейросеть за один вечер написала диплом за российского студента. Преподаватели в шоке – как теперь проверять знания?

Студент из Москвы обманул преподавателей и защитил диплом, написанный нейросетью ChatGPT (Подробнее)

Кот-Уралмаш и усатый в Академическом: нейросеть показала, как выглядят районы Екатеринбурга в виде кошек

Показываем образы пушистых жителей уральской столицы, как их представила нейросеть (Подробнее)

Хозяйка Медной горы с катаной и рыжая Огневушка-поскакушка: нейросети дали почитать сказы Бажова, и вот что получилось

Российская нейросеть показала, как она представляет себе персонажей уральских сказов (Подробнее)