Uno de los gigantes tecnológicos que está apostando de lleno por el desarrollo de inteligencia artificial (IA), está siendo Meta, la empresa matriz de algunas de las redes sociales más utilizadas en España, como WhatsApp, Facebook, Instagram y Threads. Desde hace meses, sus desarrolladores trabajan en LLaMA, una familia de modelos de IA de generación de texto que está comenzando a dar sus frutos.
El pasado domingo, 29 de enero, la marca anunció el lanzamiento de Code LLaMA 70B, entrenado con 70 mil millones de parámetros y ya disponible dentro de las licencias de Llama 2. Según cuentan en una nota de prensa, esta versión está especializada en generar código de programación.
Tres versiones gratuitas de Code LLaMA 70B
Meta ha habilitado tres versiones a las que los usuarios pueden acceder gratis para tareas de investigación y comercialización. Son modelos que ya existían anteriormente, pero, ahora, serán más capaces, puesto que Code LLaMA es el modelo más grande y de mejor rendimiento que la firma estadounidense haya creado hasta la fecha.
- Code LLaMA – 70B: el modelo de código fundamental, el paquete más básico.
- Code LLaMA – 70B – Python: está especializado en el código de programación Python.
- Code LLaMA –70B – Instruct: está optimizado para comprender instrucciones en leguaje natural. Sobresale por su puntuación de 67,8 en el índice de evaluación humana (HumanEval), que supera por 0,8 al rendimiento de GPT-4, de OpenAI.
¿Cómo funciona Code LLaMA de Meta?
La propia compañía explica que Code LLaMA es un modelo de IA especializado de Llama 2 que se creó entrenando a su modelo de lenguaje grande (LLM) con conjuntos de datos específicos de código, muestreando más información de dicho conjunto durante más tiempo. Así, Meta ha logrado desarrollar una IA con capacidades de codificación optimizadas, construidas sobre Llama 2, capaz de generar código y lenguaje natural sobre código.
Según sus creadores, es compatible con varios de los códigos de programación más populares de la actualidad:
- Python.
- C++.
- Java.
- PHP.
- Typescript (Javascript).
- C#.
- Bash.
La empresa de Mark Zuckerberg ha preparado cuatro tamaños distintos de tamaños de Code LLaMA. De 7B, 13B, 34B y 70B. Cada uno de ellos han sido entrenados con 500 mil millones de tokens de código y datos relacionados con el código. Aparte, han utilizado 70 mil millones de parámetros que se han entrenado con tokens de 1 TB.
Según detalla Meta, los distintos modelos abordan diferentes requisitos de servicio y latencia. Por ejemplo, los modelos 34B y 70B ofrecen mejores resultados y permiten una mejor asistencia de codificación, pero los modelos 7B y 13B son más rápidos y adecuados para tareas de baja latencia, como la finalización de código en tiempo real. En suma, el modelo 7B solo necesita una GPU para funcionar.
Los desarrolladores cuentan que Code LLaMA es interesante para generar programas más largos. Los usuarios pueden proporcionar al modelo más contexto desde su código base para generar resultados más relevantes, o también pueden servir para depurar códigos grandes.
A pesar de que la nueva versión sea gratuita y cualquier marca o programador individual puede descargarla (pidiéndola a través de este formulario), el uso libre para grandes firmas es limitado.
Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.
Comentarios