Los hospitales utilizan una herramienta de transcripción impulsada por un modelo OpenAI propenso a alucinaciones

Hace unos meses, mi médico mostró una herramienta de transcripción de inteligencia artificial que utilizaba para registrar y resumir las reuniones de sus pacientes. En mi caso, el resumen estaba bien, pero los investigadores citados por ABC Noticias He descubierto que ese no es siempre el caso con Whisper de OpenAI, que impulsa una herramienta que utilizan muchos hospitales; a veces simplemente inventa las cosas por completo.

Whisper es utilizado por una empresa llamada Nabla para una herramienta de transcripción médica que estima ha transcrito 7 millones de conversaciones médicas, según ABC Noticias. Más de 30.000 médicos y 40 sistemas de salud lo utilizan, escribe el medio. Según se informa, Nabla es consciente de que Whisper puede tener alucinaciones y está “abordando el problema”.

Un grupo de investigadores de la Universidad de Cornell, la Universidad de Washington y otros descubrieron en un estudio que Whisper alucinaba en aproximadamente el 1 por ciento de las transcripciones, inventando oraciones enteras con sentimientos a veces violentos o frases sin sentido durante los silencios en las grabaciones. Los investigadores, que recopilaron muestras de audio del AphasiaBank de TalkBank como parte del estudio, notaron que el silencio es particularmente común cuando habla alguien con un trastorno del lenguaje llamado afasia.

Una de las investigadoras, Allison Koenecke de la Universidad de Cornel, publicó ejemplos como el siguiente en un hilo sobre el estudio.

Los investigadores descubrieron que las alucinaciones también incluían condiciones médicas inventadas o frases que se podrían esperar de un vídeo de YouTube, como “¡Gracias por mirar!”. (Según se informa, OpenAI utilizó para transcribir más de un millón de horas de videos de YouTube para entrenar GPT-4).

El estudio fue presentado en junio en la conferencia FAccT de la Asociación de Maquinaria de Computación en Brasil. No está claro si ha sido revisado por pares.

La portavoz de OpenAI, Taya Christianson, envió una declaración por correo electrónico a El borde:

Nos tomamos este problema en serio y trabajamos continuamente para mejorar, incluida la reducción de las alucinaciones. Para el uso de Whisper en nuestra plataforma API, nuestras políticas de uso prohíben el uso en ciertos contextos de toma de decisiones de alto riesgo, y nuestra tarjeta modelo para uso de código abierto incluye recomendaciones contra el uso en dominios de alto riesgo. Agradecemos a los investigadores por compartir sus hallazgos.