ЮАР отозвала проект ИИ-политики из-за сфабрикованных ссылок

Южно-Африканская Республика отозвала первый проект своей национальной политики в области искусственного интеллекта после обнаружения, что документ содержал фиктивные источники в списке литературы. По всей видимости, эти ссылки были сгенерированы искусственным интеллектом, что вызвало серьёзные вопросы к процессу разработки.

Выявление проблемы

Проблема использования искусственного интеллекта для создания фиктивных ссылок уже неоднократно проявлялась в юридических документах и даже судебных решениях. Однако уроки, казалось бы, не были усвоены всеми государственными ведомствами.

Исследователь Дэмиен Шарлотин, специализирующийся на поиске галлюцинаций искусственного интеллекта (термин, используемый для ошибок или вымышленных данных, генерируемых ИИ) с помощью специально разработанного им программного обеспечения, обнаружил тревожный факт: предлагаемая ЮАР национальная политика в области ИИ содержала как минимум четыре ссылки, которые, судя по всему, не существуют. Ирония заключается в том, что этот же документ, содержащий вымышленные цитаты, был частично посвящён опасностям дезинформации, генерируемой искусственным интеллектом.

Реакция властей и дальнейшие шаги

Спустя несколько дней после этих разоблачений ЮАР полностью отозвала свой проект политики. Министр связи и цифровых технологий Солли Малаци прокомментировал ситуацию, заявив, что «наиболее правдоподобное объяснение заключается в том, что сгенерированные ИИ цитаты были включены без надлежащей проверки. Этого не должно было произойти».

В своём сообщении в социальной сети X министр также отметил: «Этот провал — не просто техническая проблема, он подорвал целостность и авторитет проекта политики».

Анализ ситуации и пути решения

Хотя стремление разработчиков ИИ-политики использовать саму технологию искусственного интеллекта для её создания может показаться логичным, сложно представить, как можно эффективно регулировать ИИ, если отсутствует базовое понимание того, как правильно его применять (и когда вообще не стоит использовать).

По словам министра Малаци, «этот неприемлемый промах доказывает, почему бдительный человеческий контроль над использованием искусственного интеллекта имеет решающее значение. Этот урок мы принимаем со смирением».

В обзоре ситуации отмечается, что такая позиция в значительной степени перекладывает ответственность за ошибки людей на саму технологию. Хотя человеческий надзор действительно необходим, и потенциал инструментов ИИ раскрывается только тогда, когда они помогают людям, а не заменяют их, неясно, как одна лишь политика способна решить эту проблему.

Эксперты подчёркивают, что гораздо важнее повышать уровень образования людей относительно возможностей и ограничений этих инструментов. Эта задача осложняется тем, что компании, продающие такие продукты, годами агрессивно переоценивали возможности ИИ, скрывая при этом предостережения о его правильном использовании. Разрыв между обещаниями поставщиков и реальными возможностями ИИ часто приводит к его некорректному применению.

Инстинктивное желание Малаци — ужесточить регулирование — понятно, но, по мнению некоторых обозревателей, оно направлено не на ту проблему. Поведение, которое пытаются регулировать в данном случае, не является злонамеренным; это скорее проявление небрежности и недостатка информированности. Регулирование эффективно в отношении злого умысла, но гораздо менее успешно борется с невежеством. Люди будут продолжать использовать эти инструменты не по назначению, независимо от правил, поскольку удобство и излишняя самоуверенность являются мощными стимулами. Наилучший результат достигается, когда пользователи на практике осознают ограничения инструмента в определённых ситуациях, а также когда компании-разработчики честно заявляют о слабых сторонах своих продуктов.

Искусственный интеллект по-прежнему обладает множеством полезных применений, несмотря на подобные истории, которые могут создавать впечатление бесполезности технологии. Однако использование ИИ для генерации ссылок в официальных государственных документах без какой-либо проверки не входит в число таких применений.

В будущем можно ожидать появления новых стартапов, предлагающих инструменты для проверки сгенерированного ИИ контента на предмет галлюцинаций в ссылках, но, вероятно, с такой же низкой надёжностью.