La Academiadel CIO

Concepto · Inteligencia artificial

Gobierno de la IA

Las reglas, los responsables y los controles que deciden qué inteligencia artificial se usa en una organización, para qué, con qué datos y quién responde cuando se equivoca. No es lo contrario de adoptarla: es lo que permite extenderla sin perder el control.

9 voces ·5 conversaciones ·5 organizaciones

Por qué no es tan simple

El punto de partida que comparten quienes lo han implantado es aceptar el error. Todas las herramientas alucinan, también las especializadas por las que se paga más. Por eso un gobierno útil no consiste en encontrar la herramienta que no falla, sino en decidir qué se hace cada vez que falla.

La práctica más concreta del ciclo viene de un despacho de abogados certificado en ISO/IEC 42001, la norma de sistemas de gestión de la IA: cada fallo se anota. Quien recibe una respuesta que no le cuadra no reformula la pregunta y sigue: entrega el prompt y la respuesta, que alimentan un registro propio y, si la herramienta es de un proveedor, vuelven a él para que la corrija. Es la misma lógica con la que una fundación exige un canal para que quien usa su modelo reporte «cualquier cosa que vea rara»: los sesgos que nadie previó al diseñarlo aparecen en el uso.

La segunda pieza es una persona responsable con nombre. En un banco, cada agente de IA tiene un responsable de operaciones y, cuando duda, escala en lugar de equivocarse. En una farmacéutica, la IA trabaja como copiloto, siempre validada por un humano. Cambia el sector, no el patrón: la máquina propone y alguien identificable responde.

Y la tercera es gobernar el uso, no solo el riesgo. Una licencia que nadie usa también es un fallo de gobierno. En el mismo despacho, quien no llega a un mínimo de interacciones recibe un aviso y después pierde la licencia, sea socio o no, y la herramienta pasa a quien sí la va a usar.

Por qué le importa a un CIO

Porque los clientes y los reguladores ya preguntan qué se hace con la IA y con sus datos, y sin gobierno una organización no puede demostrarlo: solo puede asegurarlo. Con él, la confianza se convierte en algo que se puede auditar, y eso pesa más en los negocios cuya materia prima es precisamente la confianza.

En qué no hay acuerdo

Si gobernar obliga a frenar primero. Nuria Fuentes lo hizo: dio un paso «un poco atrás y a un lado» para tener gobierno, oficina de IA y guardarraíles antes de escalar. Rubén Andrés Priego pone el acento en lo contrario: que el cumplimiento, bien entendido, no frena, y que «el compliance ha sido una excusa para no innovar». Los dos acaban con un órgano de gobierno —ella una oficina de IA, él un comité—; donde difieren es en si eso se vive como un freno.

Qué dicen quienes lo viven

No una definición de manual: lo que responsables de tecnología con cuentas que rendir dicen sobre este término, con su nombre, su cargo y el minuto exacto.

  • Cómo gobiernan los errores de la IA bajo la ISO 42001: registro propio de cada fallo y, si la herramienta es de un proveedor, se le devuelve para que la mejore.

    Si te da una cosa que no te cuadra, le vuelves a preguntar de otra manera y ya está. No la apuntas, no tomas nota. Nosotros les pedimos que nos pasaran el prompt, que nos pasaran la respuesta
  • El patrón de gobierno más maduro del lote: cada agente tiene una persona responsable. Hacen conciliaciones cada cinco minutos donde antes eran cada hora.

    Cuando los agentes tienen dudas, no es que se equivoquen: es que lo escalan a su responsable, que es una persona de operaciones
    Rubén Andrés Priego

    Director General de Tecnología, Operaciones e Innovación (CIO & COO), Singular Bank & SelfBank

    min 33:18 →
  • Incluidas las herramientas legales especializadas, más caras que las generalistas: pagas por sus guardarraíles y por «esa tranquilidad», no por la ausencia de errores.

    Todas, sin excepción, todas tienen alucinaciones
  • Habían quitado raza, edad y género. El sesgo entró por el nombre. Después descubrieron otro por código postal.

    Empezamos a detectar que, para ciertas posiciones, el modelo prefería Pepes y Juanes que Marías y Evas
  • Cómo aplica la IA en un entorno regulado: dividiendo la cadena de valor y usándola donde todavía no se toca el medicamento.

    La IA como copiloto, siempre validada por un humano
  • Su KPI de la IA es el uso real, con un sistema de tarjetas amarillas y rojas. Al ponerlo en marcha, muchos socios dijeron que no la iban a usar y pidieron dársela a alguien de su equipo.

    Si sigues sin llegar al mínimo de interacciones que tienes que tener, se te quita la licencia. Es así de fácil y de duro. Seas socio, seas abogado, seas asociado, seas director legal, da igual
  • Su decisión más contraintuitiva: frenar para montar gobierno, oficina de IA y guardarraíles antes de escalar.

    Parece que estoy destransformando. He dado un paso, no diría atrás; un poco atrás y a un lado. ¿Para qué? Para empezar por tener un buen gobierno
  • Lo dice advirtiendo que «va a ir en contra de muchos de mis compañeros que trabajan en banca». Y distingue: la regulación es una virtud; el problema es entenderla mal internamente.

    El compliance ha sido una excusa para no innovar. Una excusa que hemos puesto los propios equipos internos
    Rubén Andrés Priego

    Director General de Tecnología, Operaciones e Innovación (CIO & COO), Singular Bank & SelfBank

    min 31:19 →
  • Su consejo a quien lidera la adopción de IA: no temer a las herramientas generalistas, porque casi todas tienen una versión para particulares y otra corporativa, y la diferencia es que «en una los datos no están tan seguros».

    Si no tiene parte corporativa, como profesional te recomiendo no probarlo, salvo que sea un open source y lo pongas aislado en tu propio sistema

Esta ficha de concepto la mantiene Eugenio Ramírez, director editorial. Toda cita se verifica contra la transcripción del episodio antes de publicarse.

Cada lunes · 1.500+ suscriptores

El radar semanal que leen los que deciden en tecnología

Quien busca «gobierno de la ia» está trabajando, no entreteniéndose. El Radar de la Consultoría Tecnológica es lo que leen los lunes quienes toman las decisiones que aquí se discuten.

Suscríbete gratis

El alta se hace en la web de Xpecializa, donde nace y se gestiona el Radar.

Suscribirme al Radar