“Hemos mirado mucho por encima del hombro a OpenAI. ¿Quién cruzará el próximo hito? ¿Cuál será el próximo movimiento? Pero la verdad incómoda es que no estamos posicionados para ganar esta carrera armamentista y OpenAI tampoco”, así de tajantes se muestra un empleado de Google con respecto a su futuro en el sector de la inteligencia artificial.
Esta tremenda frase viene de un documento filtrado recientemente por una persona anónima en un servidor público de Discord y, según el portal SemiAnalysis, “tiene su origen en un investigador dentro de Google” y se ha “verificado su autenticidad”. Como es lógico, el texto solo es el reflejo de la opinión de un trabajador, aunque puede servir muy mucho para hacerse una idea de cómo están los ánimos por Mountain View.
¿Y de dónde sale todo ese pesimismo? “Mientras nos peleamos, una tercera facción ha estado comiendo nuestro almuerzo en silencio”, dice el empleado anónimo. Está hablando de código abierto.
El documento cita varias tareas del día a día que ya se han resuelto con soluciones de este tipo, como por ejemplo implementar modelos de lenguaje en móviles o ajustar una IA personalizada a un ordenador
“Si bien nuestros modelos aún tienen una ligera ventaja en términos de calidad”, continúa diciendo el empleado de Google, “la brecha se está cerrando sorprendentemente rápido”. Y añade: “Los modelos de código abierto son más rápidos, más personalizables, más privados y, libra por libra, más capaces. Están haciendo cosas con 100 dólares y 13.000 millones de parámetros que a nosotros nos cuestan 10 millones y 540.000 millones de parámetros. Y lo hacen en semanas, no en meses”.
Esto, dice, tiene profundas implicaciones para la compañía:
- “No tenemos salsa secreta. Nuestra mejor esperanza es aprender y colaborar con lo que otros están haciendo fuera de Google. Deberíamos priorizar la habilitación de integraciones 3P”.
- “La gente no pagará por un modelo restringido cuando las alternativas gratuitas y sin restricciones son comparables en calidad. Deberíamos considerar dónde está realmente nuestro valor añadido”.
- “Los modelos gigantes nos están frenando. Giant models are slowing us down. A la larga, los mejores modelos son los que se puede iterar rápidamente. Deberíamos hacer pequeñas variantes más que una ocurrencia tardía”.
¿Cómo ha ocurrido todo esto?
Según se explica en el documento, a principios de marzo, la comunidad de código abierto consiguió su primer modelo de base realmente capaz, ya que LLaMA de Meta se filtró al público. “No tenía instrucciones, ni sintonización de conversación, ni RLHF. Sin embargo, la comunidad entendió de inmediato el significado de lo que se les había dado”, dice.
Y señala cómo solo un mes después hay decenas de variantes con diversas aplicaciones. Innovaciones que se fueron sucediendo “con solo días entre los principales desarrollo”.
Lo único que parece comentar en tono positivo es que se ha resuelto el problema de la escala “en la medida en que cualquiera puede modificarlo”. “Muchas de las nuevas ideas provienen de la gente común. La barrera de entrada para la capacitación y la experimentación se ha reducido de la producción total de una importante organización de investigación a una persona, una noche y una computadora portátil robusta”.
Hay una sección que habla sobre en qué se han “despistado”. Allí se cita LoRA (Low-Rank Adaptation), una técnica que se aplica a los LLM (Large Language Models) y que busca reducir el coste de adaptar esos modelos a tareas específicas. “Parte de lo que hace que LoRA sea tan eficaz es que, al igual que otras formas de ajuste, es apilable. Mejoras como el ajuste de las instrucciones pueden aplicarse y luego aprovecharse a medida que otros colaboradores añaden diálogo, razonamiento o uso de herramientas.(...) Esto significa que, a medida que se disponga de nuevos y mejores conjuntos de datos y tareas, el modelo podrá actualizarse a bajo coste, sin tener que pagar nunca el coste de una ejecución completa”.
"Competir directamente con el código abierto es una propuesta perdedora"
“¿Quién pagaría por un producto de Google con restricciones de uso si existe una alternativa gratuita y de alta calidad sin ellas?”, se pregunta el empleado en la conclusión del documento, asegurando que “competir directamente con el código abierto es una propuesta perdedora” y que las grandes tecnológicas necesitan más este tipo de tecnología de lo que ellos les necesitan.
“Mantener nuestra tecnología en secreto siempre fue una propuesta tenue. Los investigadores de Google se están yendo a otras empresas, por lo que podemos suponer que saben todo lo que sabemos, y continuarán haciéndolo mientras esa tubería esté abierta. (...) Las instituciones de investigación de todo el mundo se basan en el trabajo de los demás, explorando el espacio de soluciones de una manera amplia que supera con creces nuestra propia capacidad. Podemos tratar de aferrarnos a nuestros secretos mientras la innovación externa diluye su valor, o podemos intentar aprender unos de otros”, finaliza.
Y sobre OpenAI...
Al final, subraya, “OpenAI no importa. Están cometiendo los mismos errores que nosotros en su postura en relación con el código abierto”. “Las alternativas de código abierto pueden y eventualmente les eclipsarán a menos que cambien su postura. En este sentido, al menos, podemos dar el primer paso”.
Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.
Comentarios
Hemos bloqueado los comentarios de este contenido. Sólo se mostrarán los mensajes moderados hasta ahora, pero no se podrán redactar nuevos comentarios.
Consulta los casos en los que 20minutos.es restringirá la posibilidad de dejar comentarios