A raíz de un post de @nixCraft, empecé a pensar en la paradoja de Stack Overflow.
La IA funciona tan bien en programación porque se ha entrenado con miles de preguntas y respuestas de usuarios reales, resolviendo problemas con los que se han topado... Pero la gente está dejándolo porque la IA lo ha destilado todo y nos lo presenta listo para comer... ¿Pero si Stack Overflow se abandona... ¿quién entrenará a los futuros modelos? Con el tiempo, la IA empeorará, y entonces, qué?
@kastwey @nixCraft No es tan sencillo, cada vez que le haces una pregunta y corriges su respuesta, cada vez que aceptas una solución… Estás entrenando al modelo con información hasta cierto punto nueva. Por otro lado, aunque los datos sintéticos no sean lo mismo, esos datos sintéticos también mejoran los modelos, el tema es mucho más complejo de lo que parece
@kastwey Hay formas de transferir o destilar el conocimiento de un Modelo de IA para entrenar a otro modelo de IA. No creo que eso pueda ser un problema.
@kastwey mi interpretación de la gráfica de ese artículo es que el declive de StackOverflow comenzó entre 2014-2018 y no parece que haya acelerado demasiado.
Y uno de los mayores inversores en LLM es el propietario de GitHub, donde es posible que haya más preguntas y respuestas (en issues/discussions) activas que en StackOverflow.
Y las preguntas que no se puedan resolver mediante el uso de los LLM, se resolverán en otros sitios públicos.
@kastwey (estoy mayormente en contra de los LLM, o más bien de sus mayores impulsores corporativos)
Curiosamente, lo que me da más pena de la muerte de StackOverflow (tengo una cuenta donde acumulé un montón de karma) es... ¡la encuesta anual!
Ahora mismo me parece un recurso mucho más valioso y con muy pocas alternativas.
@developelx el problema es que las herramientas avanzan, y por tanto lo que hoy vale mañana no. Ese conocimiento de lo actualizado, de problemas reales encontrados con las herramientas, no lo puede dar la IA sola.
@kastwey @nixCraft Bueno, es cierto que en teoría tus preguntas y respuestas no se utilizan para entrenar los nuevos modelos, pero creo que eso solo es válido para las versiones de pago. Lo de que no le des el código corregido es dudoso, porque rara vez terminas la sesión tras corregir el código, sino que sigues haciéndole preguntas en las que buena parte de ese código se envía como contexto