Las empresas se ven sometidas a una presión cada vez mayor para implantar la inteligencia artificial rápidamente, pero los responsables de TI son conscientes de que la rapidez tiene sus pros y sus contras. Garantizar la precisión, la seguridad y la fiabilidad de la IA orientada al cliente es igualmente importante para el éxito a largo plazo.
Las empresas están actuando con rapidez para incorporar la inteligencia artificial (IA) en chatbots, asistentes virtuales y otras herramientas de atención al cliente. Pero esto conlleva un riesgo para los directores de sistemas de información (CIO): si la tecnología proporciona a los clientes información errónea, ofrece recomendaciones sesgadas o gestiona mal los datos, puede dañar de inmediato la confianza que las empresas se han esforzado tanto en construir.
A diferencia del software convencional, la IA generativa no siempre da la misma respuesta a la misma pregunta. Una respuesta puede parecer segura y convincente, aunque sea errónea. Y cuando los clientes confían en la IA para obtener información sobre sus finanzas, seguros o salud, un error puede tener consecuencias mucho más graves.
Sumit Johar, CIO de la empresa de software en la nube BlackLine, entiende que las respuestas inexactas de la IA perjudican la experiencia del cliente, obligan a las empresas a gastar dinero y recursos para solucionar problemas, dañan la marca y generan riesgos normativos. Los sistemas de IA también pueden exponer información confidencial, por lo que es importante que las empresas comprendan las fuentes de datos que hay detrás de sus respuestas.
Para Johar, “un fallo de la IA genera un enorme problema de confianza en torno a la solución principal que se ofrece”. De hecho, “un mal asesoramiento o unos resultados erróneos de la IA en el secxtor financiero pueden comprometer la precisión del balance y dar lugar a graves responsabilidades legales y personales”.
Para Daniel Wang, director técnico de Citizen Health, lo que está en juego es especialmente importante, ya que entre los usuarios de la empresa se encuentran pacientes con enfermedades raras y sus cuidadores.
Citizen Health trabaja para garantizar que la información importante proporcionada por su IA pueda rastrearse hasta su fuente original, como historiales de pacientes, información clínica o estudios médicos. La empresa también recuerda a los pacientes que deben consultar con sus profesionales sanitarios antes de tomar decisiones médicas.
Wang afirma que una de sus mayores preocupaciones no es sólo que la IA pueda cometer un error, sino que una respuesta errónea pueda parecer correcta.
“Un sistema de IA puede presentar una respuesta que parezca atenta, informativa y fidedigna, incluso cuando la información subyacente sea inexacta”, afirma.
Ese riesgo ha influido en la forma en que Citizen Health lanza sus productos de IA. Ha retrasado algunos lanzamientos cuando la empresa necesitaba más tiempo para comprender cómo la tecnología llegaba a sus respuestas o para asegurarse de que estas fueran precisas. Así pues, en lugar de poner en marcha nuevas herramientas de IA para todo el mundo a la vez, es posible que primero se prueben con grupos más reducidos de pacientes y que sus comentarios se utilicen para introducir mejoras antes de un lanzamiento más amplio.
Citizen Health también prueba sus herramientas de IA antes de lanzarlas utilizando preguntas con respuestas conocidas, y recurre tanto a pruebas automatizadas como a revisiones humanas; y vigila las respuestas inusuales de la IA, limita lo que esta puede responder y ofrece a los pacientes formas de dar su opinión.
Avanzar al ritmo de la confianza
Otros líderes tecnológicos están adoptando un enfoque igualmente cauteloso. Jonathan Tushman, director técnico y director de IA (CAIO) de Hi Marley, especialista en tecnología aplicada a los seguros, afirma que llevaban años con una tecnología lista para su lanzamiento, pero que optaron por dedicar más tiempo a las pruebas, la observabilidad, la revisión legal y la formación antes de ponerla en marcha.
“Si no fuera por ese listón de confianza y gobernanza, habríamos puesto en marcha el servicio un año antes y habríamos logrado una adopción más rápida, pero decidimos no hacerlo”, afirma.
Hi Marley denomina a este enfoque “trabajar a la velocidad de la confianza”. Para Tushman, lanzar una IA dirigida al cliente también requiere la capacidad de ver qué hace el sistema una vez que está en funcionamiento. Esto incluye supervisar conversaciones individuales, así como buscar patrones en decenas de miles de interacciones. Las empresas también necesitan “interruptores de emergencia” que puedan apagar un sistema, y la capacidad de revertir los cambios si algo sale mal.
Pero la tecnología por sí sola no basta. Los equipos de atención al cliente, TI, DevOps y CloudOps necesitan procedimientos para responder a los problemas relacionados con la IA, añade Tushman.
Udaya Bhaskar, analista sénior de seguridad de aplicaciones en la empresa agrícola global Corteva Agriscience, afirma que un error que cometen las empresas es actuar con demasiada precipitación tras ver una impresionante demostración de IA sin probar a fondo cómo funcionará la tecnología con clientes reales.
Añade que las empresas también pueden encontrarse con problemas cuando confían excesivamente en las afirmaciones de los proveedores, o cuando lanzan herramientas de IA sin ofrecer a los clientes una forma sencilla de ponerse en contacto con una persona cuando algo sale mal.
El coste oculto de los errores de la IA
La presión para implementar la IA suele estar ligada a la promesa de una mayor eficiencia. Un chatbot que gestione más consultas de los clientes, por ejemplo, puede reducir la carga de trabajo de los empleados. Pero ese ahorro de tiempo y costes puede reducirse rápidamente si los empleados tienen que dedicar su tiempo a revisar y corregir la IA, lo que se conoce como el “impuesto de las alucinaciones”.
Las empresas pueden presupuestar el desarrollo de la tecnología sin tener plenamente en cuenta los costes continuos de su funcionamiento y supervisión.
Jess Lampe, jefe global de Tecnología de Launch Consulting, afirma que esos costes ocultos pueden incluir el tiempo que los empleados dedican a revisar las respuestas de la IA y a rehacer el trabajo cuando la tecnología comete un error, así como los riesgos normativos y legales. Otro coste puede ser más difícil de cuantificar: la pérdida de confianza de los clientes.
Chris Slovak, director técnico global de campo de la plataforma gestionada de IA empresarial Unframe, considera que el daño resultante para la reputación de una empresa es uno de los mayores costes ocultos.
“Cualquier elemento de cara al cliente es una representación de tu marca”, afirma Slovak, quien tiene claro que “sí, las implementaciones deficientes que provocan malas experiencias tienen un coste material desde el punto de vista de los tokens. Sin embargo, el impacto en tu marca es mucho más costoso. A menudo, las empresas incorporan la IA para desviar la atención del servicio de atención al cliente. Imagina que tienes un cliente que ya está frustrado y que, al interactuar con la IA, su situación empeora. La pérdida de confianza puede ser enorme”.
Pero Kevan Yalowitz, responsable global de software y plataformas en Accenture, afirma que los errores van a ocurrir, independientemente de si el trabajo lo realizan personas o la tecnología.
“El verdadero coste oculto es la pérdida de confianza de los usuarios cuando se producen errores, independientemente de su origen”, afirma Yalowitz. A su juicio, “las organizaciones más exitosas admiten rápidamente cuando se producen estos errores, ofrecen una explicación transparente y aclaran cómo han aprovechado la situación como una oportunidad para aprender y garantizar que el error no vuelva a ocurrir”.
La supervisión humana sigue siendo fundamental
Para los CIO, prevenir esos problemas implica establecer controles sobre la IA antes de que llegue a los clientes.
Johar señala que la supervisión humana es especialmente importante para las decisiones críticas. En sectores altamente regulados, como el financiero, la IA no debería tomar de forma independiente decisiones en las que la precisión sea esencial. Las empresas también necesitan datos fiables para alimentar sus sistemas de IA, así como la capacidad de auditar lo que ocurre cuando algo sale mal.
Lampe afirma que el nivel de supervisión debería depender de lo que se permita hacer a un sistema de IA. Una herramienta de IA que resuma información, por ejemplo, no supone el mismo riesgo que otra que pueda tomar medidas relacionadas con el dinero o la cuenta de un cliente.
Las empresas también deberían seguir realizando pruebas tras el lanzamiento. El comportamiento de la IA puede cambiar con el tiempo, lo que significa que un sistema que funcionaba bien cuando se lanzó por primera vez puede que no siga rindiendo al mismo nivel más adelante.
Toyan Espeut, directora de atención al cliente de Smartsheet, plataforma de gestión del trabajo y colaboración basada en la nube, afirma que las empresas también necesitan normas estrictas en torno a los datos de los clientes.
En su opinión, “no se pueden mezclar entre distintos usuarios ni utilizarse para entrenar modelos de terceros, y la IA nunca puede operar fuera de la estructura de permisos existente del cliente”. Para este experto, “si una persona no puede acceder a algo, la IA que actúa en su nombre tampoco debería poder hacerlo. Cada acción de la IA debe ser totalmente auditable, y los clientes deben tener siempre transparencia sobre cuándo interviene la IA, así como la capacidad de revisar o validar los resultados generados por la IA”.
¿Quién es responsable cuando la IA comete un error?
Incluso con controles exhaustivos, las empresas deben estar preparadas para que su IA cometa errores, pero no se puede culpar únicamente a la propia IA.
En Citizen Health, Wang explica que un problema relacionado con la confianza de los clientes se convierte rápidamente en un asunto que afecta a toda la empresa. Ésta cuenta con procedimientos de asistencia y de guardia, pero las preocupaciones graves también se remiten a la dirección. Citizen Health también mantiene canales directos para que los usuarios notifiquen los problemas, de modo que puedan investigarse rápidamente.
Tushman, de Hi Marley, distingue entre la persona que gestiona inicialmente un problema relacionado con la IA y el ejecutivo que es el responsable último del mismo. Puede que un equipo de atención al cliente o de asistencia técnica reciba la primera queja, pero él afirma que la responsabilidad de la IA orientada al cliente recae en él, como director técnico. “No es algo que se externalice al sistema o se delegue al proveedor”, afirma.
Bhaskar, de Corteva Agriscience, reconoce de manera similar que la empresa que implementa la IA sigue siendo responsable de lo que esta hace, ya que la IA es una herramienta y no un responsable de la toma de decisiones, y las empresas no pueden trasladar la responsabilidad a la tecnología cuando algo sale mal.
Y Lampe añade que todo sistema de IA de cara al cliente debería contar con una persona designada responsable de su comportamiento y rendimiento, junto con un proceso claro para escalar los problemas, y permitir a los clientes cuestionar los resultados incorrectos y ponerse en contacto con una persona.
La velocidad: solo una medida del éxito
Es poco probable que se frene el impulso hacia la adopción de la IA. Sin embargo, los líderes tecnológicos afirman que las empresas deben ser cautelosas con respecto a los criterios que rigen esas inversiones. Limitarse a contar cuántos clientes utilizan una herramienta de IA puede no decir mucho sobre si está mejorando su experiencia.
Espeut afirma que las empresas deberían analizar si los clientes resuelven los problemas más rápidamente, toman mejores decisiones y obtienen mejores resultados empresariales.
Para este experto, “las empresas también deberían esperar un menor número de tickets de asistencia, ya que eso indica que los clientes realmente están sacando partido a la herramienta, y no sólo utilizándola., Y dice para concluir: “Una mayor implicación en toda la organización también es un indicador, en lugar de quedarse aislados en un único centro de compras. También deberían prestar atención a la calidad de los comentarios de los clientes y a las solicitudes de nuevas funciones. Cuando los clientes ayudan activamente a dar forma a tu producto, es una señal clara de que confían en la tecnología y ven su valor a largo plazo”.
Fuente: CIO