Microsoft refuerza sus reglas para controlar a los agentes autónomos de IA

 

Microsoft cambia sus reglas para los agentes de IA

Microsoft actualizó su Estándar de IA Responsable para reforzar los controles aplicados a los sistemas de inteligencia artificial, especialmente aquellos capaces de ejecutar tareas de manera autónoma.

La modificación forma parte del Informe de Transparencia sobre IA Responsable 2026, documento en el que la compañía describe las medidas adoptadas durante el último año ante el desarrollo de tecnologías con mayores capacidades y niveles de autonomía.

El nuevo enfoque busca que la gestión de riesgos no se limite a la etapa de creación de los modelos, sino que continúe durante la implementación y el funcionamiento de las herramientas en entornos reales.

Microsoft señala que el incremento de las capacidades de estos sistemas también puede ampliar riesgos relacionados con fraude, suplantación de identidad e ingeniería social.

¿Qué son los agentes autónomos de IA?

A diferencia de un chatbot tradicional, que principalmente genera respuestas a partir de las instrucciones de un usuario, los agentes autónomos de IA pueden conectar modelos con herramientas, servicios y fuentes de información para completar procesos que requieren múltiples pasos.

Esta autonomía implica que los sistemas pueden recibir permisos para acceder a determinados datos, utilizar herramientas externas o interactuar con otros servicios.

Por ello, el estándar actualizado contempla riesgos asociados con elementos como los permisos otorgados, la información disponible, la memoria del sistema y el nivel de autonomía asignado.

Nuevas evaluaciones antes del lanzamiento

Microsoft estableció responsabilidades diferenciadas para quienes participan en el desarrollo y uso de estas tecnologías.

Las nuevas reglas contemplan requisitos para desarrolladores de modelos, proveedores de plataformas y organizaciones que implementan aplicaciones de IA, con el objetivo de determinar los riesgos de acuerdo con el papel que desempeña cada actor.

La compañía también incorporó prácticas de modelado de amenazas enfocadas específicamente en sistemas agenciales.

Entre las medidas se encuentran evaluaciones internas, mecanismos de defensa frente a ataques de inyección de instrucciones y clasificadores destinados a identificar comportamientos considerados de riesgo.

La vigilancia continuará después de implementar la IA

Uno de los principales cambios consiste en ampliar la supervisión más allá del momento en que una herramienta es lanzada.

Las organizaciones que implementen sistemas de IA deberán analizar previamente sus capacidades y limitaciones, además de estudiar los riesgos relacionados con el contexto específico en el que serán utilizados.

También tendrán que establecer mecanismos para supervisar su funcionamiento una vez que comiencen a operar.

Este enfoque busca que los controles puedan mantenerse durante el ciclo de vida del sistema, especialmente en aplicaciones donde la IA cuenta con capacidad para ejecutar acciones o utilizar herramientas sin intervención constante de una persona.

Microsoft busca adaptar sus controles a una IA más autónoma

La actualización refleja el cambio en la forma en que se utilizan los sistemas de inteligencia artificial. Mientras algunas herramientas se limitan a generar contenido o responder preguntas, los agentes pueden participar en procesos más complejos y tomar acciones dentro de determinados entornos.

Por ello, las nuevas reglas de Microsoft buscan considerar no solo las respuestas que produce un modelo, sino también qué puede hacer un sistema, a qué información puede acceder y qué herramientas tiene permitido utilizar.

La compañía plantea así un esquema de evaluación y supervisión que contempla tanto la etapa previa al lanzamiento como el comportamiento de los sistemas una vez implementados.

Entradas relacionadas

Leave a Comment