Hace tan solo 2 semanas, Meta lanzó por fin la actualización de su IA llamada Llama 3, quien se convertirá en su campeón para rivalizar contra ChatGPT de OpenAI y contra Gemini de Google. Sin embargo, hay una diferencia muy importnte: está disponible gratuitamente para que casi cualquier persona la use con fines comerciales y de investigación. O sea, básicamente todas sus funciones están libres.
Esto ha hecho que la gente enloquezca con lo que es capaz de hacer y aquí te dejamos 10 ejemplos increíbles
¿Qué es Llama 3 de Meta?
Llama 3 es una familia de LLM, como GPT-4 o Google Gemini. Si bien existen algunas diferencias técnicas con otros LLM, son aspecto en los que hay que profundizar demasiado como para que presenten un cambio significativo.
Cuando se ingresa un mensaje de texto o se le proporciona una entrada de alguna otra manera, intenta predecir el texto siguiente más plausible usando su red neuronal: un algoritmo en cascada con miles de millones de variables conocidos o como parámetros, los cuales se modelan a partir del cerebro humano. Al asignar distintos pesos a todos los diferentes parámetros y agregar algo más de aleatoriedad, Llama 3 desarrolla respuestas muy humanas.
Dicho esto, te damos 10 ejemplos diferentes que han hecho que la gente se vuelva loca por esta nueva IA.
Contexto de más de 1M
Algo que muy pocas IA son capaces de hacer, pero Llama 3 en su versión de 8B es capaz de generar una longitud de contexto de 1M. Es quiere decir que el modelo es capaz de recordar y procesar información en grandes volúmenes, lo cual es fundamental para el desarrollo de aplicaciones más inteligentes y útiles, desde la automatización de tareas, hasta la generación de contenido y la personalización de la experiencia del usuario.
Para entenderlo mejor, mira el hilo de Gradiant, donde anuncian su lanzamiento y lo que es capaz de hacer.
Asistente de codificación
La codificación asistida por IA libera todo el poder de los modelos de aprendizaje automático para generar código de manera rápida y eficaz. Con Llama, se puede escribir de forma natural lo que quiere que la IA haga con el código y el modelo traducirá la descripción directamente a código, incluyendo sugerencias y para mejorarlo aún más.
Un ejemplo claro de esto es lo que ha conseguido el usuario @paulabartabajo_ de la red social X, quien explica a profundidad el desarrollo de su asistente de codificación.
Es capaz de correr en Replicate
Para el que no lo sepa, Replicate es una plataforma que recopila diferentes modelos de lenguajes grandes, o LLM por sus siglas en inglés, de código abierto y puede considerarse la base de la IA de código abierto. Ya sea modelos de generación de texto, de imágenes, videos o cualquier otro modelo de IA, puede encontrarse el modelo apropiado en Replicate.
El usuario @lucataco93 publicó en la red social X como funciona Llama en Replicate:
Llama 3 70B con 128k de contexto de Abacus AI
Uno de los mayores problemas que tenía Llama y todos sus modelos cuando salió, es que tenía contextos bastante pequeños. Esto era un problema ya que, aunque tenía un rendimiento similar a GPT-4 en puntos de referencia críticos, no se podía emplear en el mundo real sin un contexto mayor.
Sin embargo, con Llama 3 70B, se pude alcanzar un contexto largo de 128K, lo que efectivamente lo coloca a la par de GPT-4 en cuanto a soporte de longitud de contexto y uso en el mundo real.
Bindu Reddy, CEO de Abacus AI, explicó que ya están usando Llama 3 en algunas cargas de trabajo de producción e incluso, lo aplicaron durante sus versiones tempranas y esperan ampliar su contexto a 1M a medida que mejore su rendimiento.
Aplicación RAG con Llama 3 ejecutándose de forma local
La Generación Mejorada por Recuperación, o RAG por sus siglas en inglés, es el proceso de optimización de salida de un modelo lingüístico de gran tamaño, de forma que haga referencia a una base de conocimientos autorizados, fuera de los orígenes de datos de entrenamiento antes de generar una respuesta.
Los modelos de lenguaje de gran tamaño o LLM, se entrenan con enormes cantidades de datos y usan miles de millones de parámetros para generar resultados en tareas, ya sea responder preguntas, traducir a cualquier idioma o completar frases.
RAG extiende las ya poderosas capacidades de los LLM a dominios específicos o a la base de conocimientos interna de una organización, todo ello sin la necesidad de volver a entrenar el modelo. Es un método rentable para mejorar los resultados de los LLM de modo que sigan siendo relevantes, precisos y útiles en distintos contextos.
El usuario @Saboo_Shubham_, mostró en X como desarrolló una aplicación RAG que ejecuta localmente en su computadora.
Resúmenes en vídeo totalmente locales con Llama 3
Usando ollama, se puede resumir videos totalmente locales con Llama 3. Divide los videos más largos en partes y proporciona un resumen claro y conciso, además de solucionar errores en tiempo real. El usaurio @ashpreetbedi responde todas las preguntas sobre este aspecto.
Champion con Llama 3 70B
Se encontró una nueva herramienta llamada Champion Llama 3 70B en Groq Inc, con la cual se puede extraer información financiera. Se le pueden solicitar tareas sencillas, las cuales resuelve de manera rápida y eficaz. Puedes mirar con mucha más profundidad y con un ejemplo gráfico en el siguiente tweet.
Ampliando Llama-3 8B Instruct de 8K a 80K mediante el ajuste fino de QLoRA
QLoRA es la versión extendida de LoRA que funciona cuantificando la precisión de los parámetros de peso en el LLM entrenado previamente con una precisión de 4B. Por lo general, los parámetros de los modelos entrenados se almacenan en formatos de 32B, pero QLoRA los comprime. Esto reduce la huella de memoria LLM, lo que permite ajustarlo en una sola GPU.
Es posible ampliar hasta diez veces el contexto de Llama 3 8B Instruct, yendo de 8K a 80K a través de un sencillo ajuste de QLoRA. Todo el ciclo de entrenamiento es muy eficaz y solo conlleva un lapso de 8 horas usando un GPU 8xA800 (80G).
Meditron impulsado por Llama 3 por investigadores
Los investigadores de EPFL Computer and Communicat y la Escuela de Medicina de Yale, se unieron para crear Meditron, una suite de LLM enfocada a entornos médicos de bajos recursos. Utilizando Llama 3, el modelo supera a la mayoría de modelos abiertos existentes en su clase de parámetros en puntos de referencias, como MedQA y MedMCQA.
LLaVa Llama-3 en MLX
Para el que no lo sepa, MLX es el código abierto de Apple para que los desarrolladores puedan crear modelos de aprendizaje. Se inspiró en otros frameworks populares, pero a diferencia de estos, el de Apple se puede ejecutar en los chips Apple Silicon y se beneficia de la memoria unificada de estos procesadores, que ya demostraron sus altas capacidades de procesamiento.
Gracias a esa base en la que se ejecuta el modelo es fácil de usar, sin renunciar a la potencia suficiente para el desarrollo de modelos IA. Es por ello que ahora se puede usar la versión LLaVA Llama-3
En general, Llama de Meta ha sorprendido a propios y extraños con su enorme versatilidad y la potencia de la IA para realizar tareas que otros modelos pueden hacer, pero pagando suscripciones o cargos extras. Sin duda, Meta quiso competir a la par de las compañías que dominan el mercado de la IA.