Qué son los guardrails en IA y cómo funcionan

Un guardrail es una regla o un control que limita cómo entra información a un sistema de IA, cómo se genera una respuesta y qué acciones se pueden ejecutar después. Puede ser un filtro, un esquema, una política de permisos, una revisión humana o una combinación de varias capas.

También puede servirte: Observabilidad: qué es y cómo usar logs, métricas y trazas

El modelo puede producir una salida plausible y aun así equivocarse, revelar información o proponer una acción fuera de alcance. El guardrail no transforma esa salida en verdad: agrega una comprobación independiente antes de mostrarla, guardarla o usarla para cambiar un sistema.

La ubicación importa. Un filtro sólo al final puede llegar tarde si el modelo ya recibió un secreto; una validación sólo al principio no detecta una respuesta peligrosa. Diseñar controles en distintos puntos ayuda a reducir el impacto de un fallo, pero cada capa debe tener un objetivo comprobable.

El control de entrada puede rechazar formatos inesperados, limitar tamaño, eliminar datos que no hacen falta y clasificar contenido de riesgo. También puede comprobar que la persona tenga permiso para enviar un documento o pedir una acción. La validación debe ocurrir antes de incluir el dato en el contexto del modelo.

El control de salida puede revisar categorías de contenido, detectar datos sensibles, exigir un formato JSON o comparar la respuesta con reglas del producto. Los filtros de seguridad de los proveedores suelen trabajar con categorías y umbrales configurables; el equipo debe saber qué cubren y qué casos quedan fuera.

Una salida que pasa el filtro puede seguir siendo incorrecta. Para tareas que requieren evidencia, conviene exigir citas, recuperar información de fuentes permitidas o enviar el resultado a una revisión. El sistema debe expresar incertidumbre en vez de rellenar un dato que no pudo verificar.

Si el modelo puede llamar a una herramienta, el guardrail debe validar el nombre, los argumentos y la identidad antes de ejecutar. Un esquema correcto no otorga permisos. La aplicación debe aplicar autorización, límites de frecuencia, registros y una confirmación adicional cuando la acción sea irreversible o tenga costo.

Las herramientas de lectura y de escritura merecen políticas diferentes. Una búsqueda puede devolver información para redactar una respuesta; una función que cambia un pedido, borra datos o envía dinero necesita una barrera más fuerte. Separar ambos tipos hace visible qué parte del sistema puede producir un efecto externo.

Los datos recuperados también pueden contener instrucciones que intenten cambiar el objetivo del sistema. La aplicación debe tratar documentos y mensajes como datos, aislar las instrucciones confiables y limitar qué campos llegan a una herramienta. La defensa se evalúa con ejemplos de inyección, documentos maliciosos y permisos insuficientes.

Un guardrail necesita pruebas que representen cómo se usará el sistema. OpenAI recomienda combinar pruebas adversariales, monitoreo y revisión humana en escenarios de riesgo. Las pruebas deben incluir entradas normales, casos ambiguos, intentos de evasión y respuestas que parecen útiles pero no tienen respaldo.

NIST AI RMF propone organizar el trabajo en gobernar, mapear, medir y gestionar riesgos. Ese ciclo evita tratar un filtro como una solución permanente: una nueva fuente, un modelo actualizado o un cambio de producto puede modificar el riesgo y exigir otra evaluación.

La revisión humana no significa leer cada respuesta. Puede ser una muestra, una aprobación para acciones sensibles o una escalada cuando la confianza es baja. El criterio debe quedar documentado: qué se revisa, quién decide, qué se hace ante una alerta y cómo se incorpora lo aprendido a las pruebas.

Definí el daño que querés evitar y el momento en que puede ocurrir. Clasificá entradas, salidas y herramientas, y fijá qué datos no deben llegar al modelo. Elegí una señal observable para cada control: una categoría, un campo inválido, un permiso faltante o una respuesta sin evidencia.

Probá el sistema con ejemplos reales anonimizados y casos adversariales. Medí falsos positivos, falsos negativos, latencia y costo de cada capa. Si un filtro bloquea una tarea legítima, el equipo debe poder diagnosticar por qué y ajustar la política sin desactivar toda la protección.

Por último, registrá cambios de modelo, reglas, fuentes y umbrales. Revisá incidentes y actualizá el conjunto de pruebas. Los guardrails reducen riesgos previsibles; la seguridad del sistema también depende de permisos, observabilidad, capacitación y una respuesta operativa que funcione cuando una capa falla.