Ошибочные выводы: крупное исследование о пользе ChatGPT в образовании отозвано из научного журнала

Издательство Springer Nature официально отозвало научную работу, в которой утверждалось, что использование чат-бота ChatGPT от OpenAI значительно повышает эффективность обучения студентов. Статья была удалена спустя почти год после публикации из-за выявленных несоответствий в анализе и потери доверия к результатам исследования.

Громкие заявления и реальность

Материал, опубликованный в журнале Humanities & Social Sciences Communications в мае 2024 года, вызвал широкий резонанс в социальных сетях. Многие восприняли его как первое весомое доказательство того, что генеративный искусственный интеллект приносит неоспоримую пользу учащимся. Авторы работы заявляли, что нейросеть оказывает «сильное положительное влияние» на академическую успеваемость и развитие навыков критического мышления.

Исследователи пытались количественно оценить эффект от использования ИИ, проанализировав результаты 51 предыдущей научной работы. Однако, по словам экспертов, этот метаанализ изначально вызывал сомнения. Бен Уильямсон, старший преподаватель Центра исследований цифрового образования Эдинбургского университета, отметил в обзоре ситуации, что статья объединяла данные из работ низкого качества или исследований, которые невозможно сравнивать между собой из-за разных методик и выборок.

Критика методологии и сроков

В экспертной среде подчеркивают, что появление подобного масштабного обзора спустя всего два с половиной года после выхода ChatGPT в ноябре 2022 года выглядит подозрительно. По словам обозревателей, за такой короткий срок физически невозможно провести, отрецензировать и опубликовать десятки высококачественных исследований, которые могли бы стать базой для достоверного метаанализа.

В ходе повторной проверки были обнаружены следующие проблемы:

• существенные расхождения в статистических расчетах;
• смешивание данных из несопоставимых групп учащихся;
• использование сомнительных первоисточников.

Последствия для научного сообщества

Несмотря на отзыв, публикация успела оставить значительный след в научной среде. К моменту удаления на нее сослались в 262 рецензируемых работах, а общее число цитирований из различных источников превысило 500. Статью прочитали почти полмиллиона человек, что вывело ее в верхний сегмент самых популярных академических материалов мира по метрикам внимания.

Специалисты выражают обеспокоенность тем, что ложные выводы уже интегрированы в другие научные труды, и эффект от этого «информационного шума» может сохраняться долгое время после официального признания ошибок в исходном материале.