Una empresa no se juega la ética de la IA en un laboratorio. Se la juega el lunes, cuando un cliente reclama, un candidato recibe una respuesta errónea o un equipo aprueba una decisión que nadie ha revisado bien.
La discusión útil no es “usar o no usar IA”, sino “qué decisión puede tomar sola y cuál no”.
Mi tesis es simple: en una empresa seria, la IA no debería decidir sola sobre personas, dinero o acceso a servicios cuando el coste de equivocarse es alto. Puede acelerar, ordenar o priorizar. Pero si la decisión tiene impacto real, hace falta revisión humana, criterio documentado y una vía clara para corregir errores.
El caso realista que obliga a pensar
Imaginemos una pyme de servicios con 40 personas. Quiere usar IA para clasificar solicitudes de clientes, priorizar incidencias y prefiltrar candidaturas. Sobre el papel parece razonable: menos tiempo de respuesta, más orden y menos carga administrativa. En la práctica, aparecen tres preguntas incómodas.
La primera es la privacidad. ¿Qué datos entran en el sistema? ¿Son necesarios todos o estamos alimentando la herramienta con información que no haría falta para decidir? La segunda es el sesgo: si el modelo aprende de decisiones pasadas, puede copiar errores antiguos y presentarlos como eficiencia. La tercera es la responsabilidad: cuando una decisión sale mal, ¿quién responde, quién la revisa y cómo se corrige?
Aquí conviene distinguir con claridad entre obligación legal y buena práctica. La normativa aplicable exige cumplir con protección de datos, transparencia y, según el uso, obligaciones específicas del marco europeo de IA. La empresa, además, puede decidir ser más prudente que el mínimo legal: por ejemplo, limitar datos, marcar casos dudosos para revisión y registrar por qué se aceptó o rechazó una recomendación.
Privacidad: menos datos, mejor criterio
En la mayoría de procesos, el error no es “usar demasiados datos” en abstracto, sino no saber para qué sirve cada dato. Si una clasificación se puede hacer con el tipo de solicitud y el historial operativo, no hay razón para mezclar campos sensibles o información que no aporta valor. Menos datos no significa peor decisión; a menudo significa menos exposición y menos ruido.
La pregunta práctica es esta: si mañana una persona pide que se revise una decisión, ¿podemos reconstruir qué vio el sistema y por qué llegó a esa salida? Si la respuesta es no, hay un problema de trazabilidad, no de modelo.
NIST insiste en gestionar los riesgos de la IA de forma sistemática, y su marco AI RMF 1.0 se apoya precisamente en gobernar, medir, gestionar y vigilar el riesgo a lo largo del ciclo de vida del sistema. En paralelo, la Unión Europea ya aplica el marco general del AI Act, con obligaciones que dependen del tipo de uso y de su riesgo. Eso significa que una empresa no debería tratar la IA como una simple herramienta ofimática. (nist.gov)
Sesgos: el problema no siempre está en el algoritmo
Un sesgo no aparece solo porque el sistema “sea malo”. Muchas veces aparece porque los datos de entrada reflejan decisiones previas, excepciones mal registradas o criterios que nunca fueron homogéneos. Si un equipo de ventas, soporte o RR. HH. ya trabajaba con criterios inconsistentes, la IA puede convertir esa inconsistencia en algo más rápido, no en algo mejor.
Por eso conviene revisar tres señales operativas: diferencias sistemáticas entre grupos comparables, casos que la IA clasifica con baja confianza y errores que se repiten en los mismos puntos del proceso. Si no medimos eso, solo tendremos intuiciones. Y las intuiciones son caras cuando el sistema escala.
La Agencia Española de Protección de Datos también ha insistido en que el uso de IA no elimina las obligaciones de protección de datos ni el análisis de sesgos asociados a la calidad del dato. En otras palabras: la responsabilidad no desaparece porque la decisión la sugiera una máquina. (aepd.es)
La decisión incómoda: dejar intervenir a una persona de verdad
Aquí está la parte menos cómoda para muchas organizaciones: la revisión humana no puede ser decorativa. No basta con que alguien “haga clic en aprobar” después de que el sistema ya haya guiado el caso. La persona revisora debe tener tiempo, contexto y capacidad real de cambiar la salida.
Eso cambia el diseño del proceso. Puede significar menos automatización total y más cola de revisión. Puede significar aceptar que ciertas decisiones serán un poco más lentas para evitar un error caro. Y puede significar renunciar a la promesa de “todo automático” en favor de algo menos vistoso pero más defendible.
La medida útil no es cuántos casos pasan por IA, sino cuántos se corrigen, cuántos se explican y cuántos generan queja. Si el sistema acelera la operación pero aumenta las reclamaciones, la empresa no ha ganado eficiencia; ha cambiado el problema de sitio.
Qué medir para saber si funciona de verdad
Tres métricas bastan para empezar sin complicar el proyecto:
- porcentaje de decisiones revisadas manualmente en casos sensibles;
- tasa de corrección o reversión de decisiones recomendadas por IA;
- número de incidencias, reclamaciones o excepciones ligadas al proceso.
A partir de ahí, se puede añadir una cuarta pregunta: ¿podemos auditar la decisión dentro de una semana, no dentro de un mes? Si la respuesta es sí, el sistema empieza a ser operable.
Tres preguntas para esta semana
- ¿Qué decisiones de tu empresa no debería tomar la IA sin revisión humana?
- ¿Sabes qué datos usa hoy cada proceso automatizado y cuáles sobran?
- ¿Tu equipo puede explicar una decisión impugnada con evidencias, no con intuiciones?
Si tu organización quiere usar IA con prudencia, el objetivo no es frenar la adopción, sino darle límites claros. En Codefuente solemos empezar por ahí: menos promesa, más criterio y un proceso que aguante una auditoría, una queja y un lunes cualquiera.