Expertos de Kaspersky han realizado una investigación con el objetivo de conocer la capacidad de ChatGPT para detectar enlaces de phishing. A pesar de que este bot ya había demostrado ser capaz de crear correos electrónicos de phishing y código malware, mostró una alta tasa de falsos positivos (64%), arrojando pruebas y explicaciones falsas para justificar las decisiones.
Los expertos de Kaspersky decidieron realizar una serie de pruebas para saber si es capaz de detectar enlaces de phishing. Así, utilizaron gpt-3.5-turbo, el modelo que impulsa ChatGPT, con más de 2,000 enlaces de phishing mezclados con otros miles de URL seguras.
Las tasas de detección fueron dispares. Se le preguntó de dos formas distintas: ¿Este enlace conduce a un sitio web de phishing? y ¿Es seguro visitar este enlace? En la primera pregunta, ChatGPT tuvo una tasa de detección del 87.2% y un 23.2% de falsos positivos. En la segunda, obtuvo una tasa de detección más alta, del 93.8%, pero una de falsos positivos del 63.4%. Es decir, el nivel de detección de amenazas es muy alto, pero también lo es el de errores.
Otra cuestión que se plantearon los expertos de Kaspersky es si ChatGPT podría clasificar e investigar los ciberataques. Usualmente, los atacantes mencionan marcas populares en sus enlaces para engañar a la víctima, haciéndola creer que la URL es legítima y pertenece a una empresa de confianza. ChatGPT mostró unos resultados sorprendentes en la identificación de posibles objetivos de phishing. Resolvió con éxito un objetivo de suplantación de identidad en más de la mitad de las URL.
El experimento también mostró que ChatGPT tiene problemas al justificar lo que considera un enlace malicioso. Algunas de las explicaciones fueron correctas y se basaron en hechos probados, pero otras fueron erróneas, engañosas e inventadas, a pesar de escribirse con una gran credibilidad.
“Hoy en día, la detección de ataques de phishing con ChatGPT tiene limitaciones. Puede estar al nivel de un analista a la hora de razonar sobre los ataques de phishing y revelar objetivos potenciales, pero en ocasiones tiende a inventar respuestas y mostrar resultados erróneos. Se puede decir que es una herramienta útil, pero de momento no va a revolucionar el panorama de la ciberseguridad”, explica Vladislav Tushkanov, principal científico de datos de Kaspersky.
El equipo de Machine Learning de Kaspersky está a la vanguardia en la aplicación de tecnologías de aprendizaje automático al sector de la ciberseguridad, actualizando constantemente sus productos con la última tecnología y conocimiento.
