Израильские ученые разработали метод выявления "галлюцинаций" искуственного интеллекта

Технология исследователей Техниона поможет распознавать недостоверные ответы ИИ и может повысить безопасность его применения в медицине

Исследователи из Хайфского Техниона разработали новый метод обнаружения «галлюцинаций» больших языковых моделей - когда искусственный интеллект создает убедительные, но недостоверные ответы.

Разработка может иметь особое значение для медицины, где ИИ все чаще используется для анализа медицинских данных, подготовки заключений, поиска научной информации и поддержки врачебных решений. В таких условиях выдуманный факт, неверно указанное противопоказание или ошибочная интерпретация симптомов могут представлять реальную опасность для пациента.

Работа проводится исследовательской группой под руководством доктора Хагая Марона совместно с компанией NVIDIA. Последние результаты ученые планируют представить на конференции AAAI-2026 в Сингапуре.

Почему ИИ может выдавать недостоверную информацию

Большие языковые модели уже применяются для перевода и анализа текстов, создания программного кода и поиска информации. Одновременно с этим им по-прежнему свойственны серьезные недостатки: предвзятость, неправильное выполнение инструкций и генерация вымышленных данных.

Проблема заключается в том, что ИИ способен формулировать ошибочные ответы уверенно и правдоподобно. Пользователю бывает сложно отличить достоверную информацию от текста, который модель создала без достаточных оснований.

В медицине это особенно критично. Например, система может указать несуществующий результат исследования, предложить неподходящую дозировку препарата, пропустить важное противопоказание или неверно описать взаимодействие лекарств. Поэтому внедрение ИИ в здравоохранение требует не только высокой производительности моделей, но и надежных инструментов контроля их ответов.

Как работает новый метод

Полностью расшифровать процессы, происходящие внутри больших языковых моделей, пока невозможно. Во время генерации текста такие системы обрабатывают огромное количество числовых параметров и внутренних сигналов.

Исследователи предложили более практичный подход. Когда большая модель генерирует очередной токен - слово или часть слова, - ученые собирают данные с ее скрытых слоев. Для человека эти массивы чисел выглядят как цифровой шум, однако в них могут содержаться признаки того, насколько надежным окажется ответ.

Полученные сигналы анализирует небольшая и экономичная нейросеть. Ее обучают отличать внутренние состояния, возникающие при генерации достоверной информации, от состояний, характерных для «галлюцинаций».

Ученые обнаружили, что геометрия внутренних активаций модели меняется, когда она начинает выдумывать факты. Человек не способен самостоятельно распознать эту математическую закономерность, но дополнительная нейросеть может научиться замечать ее достаточно быстро.

Как технология может применяться в медицине

Новый метод потенциально позволяет контролировать ИИ непосредственно во время формирования ответа. Система сможет предупреждать пользователя, если модель начинает генерировать информацию, которая с высокой вероятностью может оказаться недостоверной.

В медицинских сервисах механизм может использоваться как дополнительный уровень безопасности. Например, он сможет отмечать сомнительные фрагменты в автоматически подготовленном заключении, предупреждать врача о ненадежном ответе или направлять спорную информацию на дополнительную проверку.

Технология может быть полезна при создании систем поддержки принятия врачебных решений, медицинских чат-ботов, инструментов анализа научной литературы и программ, работающих с электронными медицинскими картами.

При этом подобные алгоритмы не заменяют врача и не подтверждают истинность ответа автоматически. Их задача - своевременно обнаруживать признаки возможной ошибки и показывать, в каких случаях результат работы ИИ требует особенно тщательной проверки специалистом.

Перспективы дальнейших исследований

По словам доктора Хагая Марона, полученные результаты открывают возможности для внедрения искусственного интеллекта в сложные и ответственные структуры.

Разработанные алгоритмы делают шаг к созданию более надежных ИИ-систем, способных предупреждать пользователей о возможных ошибках и отклонениях от заданной задачи.

Дальнейшие исследования должны показать, насколько точно метод работает с разными языковыми моделями и типами запросов. Для применения в медицине технологию также потребуется испытать на специализированных данных и подтвердить, что она действительно снижает риск опасных ошибок.

В перспективе такие системы контроля могут стать обязательной частью медицинских ИИ-инструментов - наряду с клинической проверкой, защитой данных и обязательным участием квалифицированного специалиста.