Исследователи из MIT выявили, что использование LLM снижает когнитивные способности человека.
В исследовании участвовали 54 студента университетов восточного побережья США, — люди привычные к экзаменам и цифровым технологиям. Их разделили на три группы: первая использовала ChatGPT, вторая — поиск Google, а третья полагалась только на собственные знания.
Участники должны были за 20 минут написать короткое эссе в стиле стандартного американского теста для школьников (SAT). На студентах при этом были специальные шапочки с электродами — устройства для снятия электроэнцефалограммы (ЭЭГ), фиксирующие активность различных областей мозга во время работы. Анализируя паттерны такой активности, ученые пытались понять, какие части мозга наиболее активно «общаются» друг с другом и как интенсивность/”география” этой коммуникации изменяется в зависимости от условий. В итоге получается картина общего ритма и связности мозговой активности.
После трех раундов исследователи произвели «рокировку» и в рамках четвертой, дополнительной сессии группы поменялись инструментами: те, кто пользовался ChatGPT, должны были писать эссе сами, а те, кто прежде не имел доступа к AI, впервые получили его. Рокировка эта была призвана ответить на вопрос о том, сохраняются ли эффекты использования AI после отказа от технологии? И наоборот — сразу ли новички демонстрируют те же паттерны, что и опытные пользователи?
Задача эксперимента сводилась к одному: понять, как меняется мышление, память и мозговая активность, когда человек пишет с AI и без него. И остаются ли эти изменения, когда инструмент больше не используется.
В результате, между группами были выявлены резкие различия. Самая обсуждаемая находка касалась памяти и “ощущения авторства”. Через несколько минут после окончания эксперимента 83% пользователей ChatGPT не смогли вспомнить ни одной строчки из своего текста, – при том, что из десяти студентов, писавших самостоятельно, девять процитировали себя вполне точно. Авторы интерпретировали это как признак слабого «владения» текстом (text ownership) у пользователей AI: слова текут легко, почти не оставляя следа в памяти.
Из самоотчетов предстает похожая картина: те, кто использовал ChatGPT, описывают чувство слабой связи с собственной работой и говорят о «делегировании» письма и ощущении себя пассивными получателями, а не активными создателями текста.
Мало того, все это подкрепляется и более объективными данными: из ЭЭГ видна меньшая степень связности мозговой активности у пользователей AI, — особенно применительно к зонам, отвечающим за извлечение смыслов, запоминание и глубокую переработку информации. У студентов, писавших самостоятельно, синхронность нейронных процессов оказалась гораздо выше.
В том, что касается качества письма, результаты оказались менее однозначными. Эссе, написанные с помощью AI оказались стилистически более гладкими и грамматически правильными, — но люди (оценивавшие работы параллельно с экспертным алгоритмом) оценили тексты, написанные самостоятельно как более личные и оригинальные.
Наиболее интересный и провокационный результат показала четвертая сессия: студенты, ранее писавшие с ChatGPT, даже после отказа от него демонстрировали ухудшение памяти и снижение мозговой активности.
https://www.media.mit.edu/publications/your-brain-on-chatgpt/
Но ведь работать без LLM уже почти невозможно: конкуренты с их помощью с большой вероятностью выполнят ту же работу быстрее. Как быть?
