Точность воспоминаний упала с 83,6% до 44,8%: ИИ-пересказ с ошибками переписывает память очевидца

Расшифровки рабочих встреч, записи врачебных приёмов, журналы нагрудных камер полицейских — организации всё чаще сжимают это до короткого пересказа силами больших языковых моделей.

А человеческая память, как давно известно психологам, устроена не как видеозапись, а как пересборка — и податлива к сведениям, полученным после события.

Что будет, если эти две вещи сложить, проверили в Джорджтаунском университете и Университете Вашингтона. Работу представили на конференции по этике искусственного разума.

Сначала проверили сами пересказы

ChatGPT и Gemini попросили пересказать рисованные ролики с дорожными происшествиями — взятые из классических опытов о надёжности свидетельских показаний.

Итог оказался хуже ожидаемого. В среднем модели не упомянули 51,6% ключевых событий ролика.

А в 95% случаев пропускали самое главное из показанного: что машина сбила переходившего дорогу пешехода.

«Меня поразило, насколько плохи эти пересказы даже на нынешней ступени развития, — говорит соавтор работы Яэль Айгер. — Тревожит, что полицейские управления могут применять такие средства без строгой проверки и без понимания, насколько неверным может быть итог».

Потом проверили людей

331 участник смотрел рисованный ролик: красная машина подъезжает к перекрёстку — со знаком «стоп» или «уступи дорогу», — поворачивает и сбивает пешехода.

Через сутки или двое им давали прочесть пересказ происшествия. Одним — точный, другим — с изменёнными подробностями.

Вдобавок участникам по-разному сообщали, кто этот пересказ составил: в одних случаях говорили, что его написал искусственный разум, в других — что человек-расшифровщик.

Память просела вдвое

Когда участников проверили на припоминание увиденного, разрыв оказался таким:

• 83,6% верных ответов у тех, кто прочитал точный пересказ;
• 44,8% — у тех, кто прочитал искажённый.

Ошибки из пересказа люди присваивали как собственные воспоминания.

Предупреждение не помогло

Главная находка — в том, что не сработало.

Знание, что текст написан машиной, не дало никакой защиты. Доля принятых ложных воспоминаний была одинаковой независимо от того, считал ли человек автором пересказа машину или человека.

Не помогли и личные особенности: ни степень доверия к искусственному разуму, ни знакомство с ним не уберегли память от искажения.

Удар по «человеку в контуре»

Отсюда следует возражение против расхожего довода об осторожности.

Обычно рассуждают так: пусть ИИ ошибается, но в цепочке стоит человек, который ошибки поправит. Работа показывает обратный ход — ошибки машины искажают память самого проверяющего.

«Хотя от человека в контуре ожидают исправления ошибок ИИ, наша работа говорит, что вместо этого может исказиться его память, — пишут авторы. — ИИ способен порождать ложные сведения даже без всякого злого умысла, и это заметно сказывается на человеческой памяти».

В работе следователя или свидетеля это выглядит так: человек читает неверный пересказ происшествия перед тем, как дать показания, — и невзначай принимает чужие ошибки за собственные воспоминания.

«ИИ — новый способ доставки ложных сведений, и он способен создавать у читающих такие ложные воспоминания, — говорит Маттеа Сим, возглавлявшая работу. — Думаю, стоит всерьёз и придирчиво обсуждать, следует ли вообще применять ИИ для сжатия сведений и как именно — особенно там, где ставки высоки».

Где это касается обычной работы

Ставки в опыте были судебные, но приём распространён шире.

Пересказ встречи, собранный помощником, читают перед тем, как вспомнить, о чём договорились. Выжимка переписки заменяет саму переписку. Краткое изложение разговора с клиентом ложится в заметки вместо услышанного.

Во всех этих случаях порядок тот же, что в опыте: сначала событие, потом чужой пересказ, потом собственное припоминание. И если пересказ неточен, поправит его не память — он поправит память.

Границы выводов

Ролики были рисованные, а не настоящие записи. Следующий шаг авторы видят как раз в переходе к съёмкам с нагрудных камер, чтобы посмотреть, как средства сжатия меняют служебные отчёты и показания.

Проверяли одно происшествие определённого вида — дорожное. Как всё устроено с другими событиями, из этой работы не следует.

И оценивались две крайности: точный пересказ против искажённого. Насколько портит память пересказ неполный — без выдуманного, но с пропусками, — отдельный вопрос, тем более что пропуски в проверке моделей оказались правилом.