¿Por qué las conversaciones extensas vulneran los modelos informáticos?
Una investigación de la Universidad de Arizona reveló que mantener diálogos prolongados con plataformas de inteligencia artificial generativa incrementa la fragilidad de sus respuestas. Al analizar chats de múltiples turnos, los científicos detectaron fallas invisibles en consultas breves, como la reafirmación de desinformación o cambios repentinos de criterio ante un mismo dato. Asimismo, el equipo enfatizó que el riesgo aumenta cuando las herramientas abordan temas poco conocidos para sus bases de datos.
Paralelamente, el estudio publicado en la revista Scientific Reports evaluó sistemas avanzados como GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro y DeepSeek-R1. Aunque cuatro modelos corrigieron fallos al recibir una segunda oportunidad, las interacciones largas demostraron que acumular contexto compromete la precisión operativa de las plataformas.
¿Qué patologías detectaron los científicos en el procesamiento digital?
Los investigadores identificaron un comportamiento inestable denominado reverberación, en el cual la herramienta oscila aleatoriamente entre aceptar y rechazar una afirmación falsa. Por consiguiente, el autor principal Marvin Slepian advirtió que esta inconsistencia genera graves riesgos de seguridad en sectores críticos como la medicina o la toma de decisiones estratégicas. En consecuencia, depender ciegamente de estos algoritmos sin supervisión humana puede provocar determinaciones erróneas o contradictorias.
Por otra parte, la investigación destacó que Claude 3.5 Sonnet mostró mayor resistencia ante datos engañosos, mientras que ChatGPT 3.5 cedió con mayor facilidad. Así pues, el análisis evidenció que la falta de transparencia en modelos cerrados dificulta diagnosticar el origen exacto de estas fallas técnicas.
¿Cómo buscan resolver la inestabilidad de estas herramientas?
El equipo del laboratorio ACABI desarrolla diagnósticos especializados para auditar el funcionamiento interno de sistemas abiertos. Adicionalmente, los especialistas comparan la ingeniería algorítmica con la patología médica para prevenir sesgos destructivos. Por lo tanto, la comunidad científica exige implementar mecanismos de control más estrictos antes de desplegar esta tecnología en tareas de alto impacto.
