Ошибочный совет ИИ может привести в больницу, а врачи не узнают причину

ИИ-чатботы всё чаще используют для получения медицинских рекомендаций. Однако ошибки искусственного интеллекта могут оставаться незамеченными, поскольку врачи зачастую не имеют доступа к перепискам пациентов с нейросетями. Об этой проблеме предупреждают исследователи из нескольких американских университетов. Подробнее – в материале El.kz.

Когда советы ИИ опасны для здоровья

Авторы исследования приводят случай мужчины, который по рекомендации ChatGPT заменил поваренную соль бромидом натрия. В результате он оказался в больнице с отравлением, галлюцинациями и паранойей. Врачи не могли ознакомиться с перепиской, что затруднило установление причин произошедшего.

Исследователи отмечают, что медицинские рекомендации врачей фиксируются в документации, а сведения о побочных эффектах лекарств попадают в специальные системы наблюдения. Переписки с чатботами часто остаются доступными только пользователям и самим ИИ-компаниям, поэтому выявлять повторяющиеся ошибки значительно сложнее.

Как предлагают решить проблему

Учёные призывают разработчиков предоставить пользователям доступ к истории диалогов и создать системы выявления потенциально опасных медицинских советов. Это поможет специалистам разбирать подобные случаи и обнаруживать закономерности.

Кроме того, авторы предлагают обсудить возможность привлечения ИИ-компаний к юридической ответственности за вред, причинённый медицинскими рекомендациями чатботов. По их мнению, правила ответственности необходимо адаптировать к рискам, возникающим при использовании искусственного интеллекта в здравоохранении.

El.kz также писал о том, чем ещё опасны медицинские советы ИИ.