El uso de modelos creador con Machine Learning es una de las herramientas que más ha cobrado popularidad en la década más reciente de desarrollo. Por ejemplo, está la idea que en un futuro muchos proyectos cuenten con ‘co programadores IA’ que ayudan a crear código de manera más rápida y efectiva.
Sin embargo, cuando se plantean estos modelos a menudo la duda está en si estos programadores AI producen más o menos errores que los humanos. Y la buena noticia es que un estudio comprobó que, contrario a lo esperado, estos modelos producen incluso menos bugs.
El estudio se llevó a cabo utilizando como sujeto de prueba el Codex OpenAI que sirve como motor del GitHub Copilot (uno de los modelos más populares de este tipo).
¿Cuál era el reto? La principal inquietud que generan la mayoría de estos modelos LLM es que son entrenados a través de cantidades masivas de código y text data. El problema está en que todos estos recursos fueron creados por humanos y, por lo tanto, la pregunta está en si los programadores AI pueden también reproducir estos mismos errores. Un problema importante, pues un programador no detectaría estas fallas, sino hasta después de insertar el código creado dentro de sus propios proyectos.
El segundo problema está en la seguridad. La idea de estos ‘co-pilotos’ es que creen código que sea seguro. El problema está en que este concepto requiere de mucho más contexto del que se podría imaginar. Cualquier desarrollador sabe, por ejemplo, que código aislado puede ser seguro, pero ejecutado dentro de otro software puede que no.
Te puede interesar: ¡Atención a estas becas para estudiar Desarrollo de Software en Antioquia!
¿La respuesta? Poco conclusiva. Hay demasiadas variantes y el problema está precisamente en esto. Se debe considerar el lenguaje utilizado y el software en el que es desplegado, por ejemplo. Otro factor importante es con qué se le está comparando. En este caso los sujetos de prueba fueron estudiantes, no programadores expertos.
“El análisis actual de los resultados de nuestro estudio de usuarios no ha encontrado ninguna diferencia estadísticamente significativa; todavía estamos analizando esto, incluso cualitativamente, por lo que no sacaría conclusiones sólidas de esto, particularmente porque fue un estudio pequeño (58 usuarios en total)”.
La conclusión rápida es que falta mucho para que las máquinas remplacen a quienes las programan. Para empezar, porque estamos en un punto en el que la manera en la que educamos a estos modelos supone que tienen los mismos errores base de un humano (o al menos, el potencial de que los cometan). Pero además porque el contexto sigue siendo clave en el desarrollo de software… algo en lo que los programadores AI todavía necesitan apoyo de humanos.
Imágenes: Foto de Pixabay
