Mejora tus aplicaciones con acceso a la API de Llama 3

Aspectos Destacados

• Descripción general del modelo Llama 3: La familia Llama 3 de Meta incluye modelos de lenguaje grandes (LLM) avanzados en tamaños de 8B y 70B, optimizados para tareas de diálogo y generación de texto.
• Evaluación de rendimiento: Llama 3 supera a modelos de código abierto como Mistral 7B y Gemini 1.5 en puntos de referencia clave, demostrando capacidades mejoradas de razonamiento y manejo de contexto.
• Utilidad de la API: Las API son conectores cruciales para que los desarrolladores integren de manera eficiente LLM avanzados en sus aplicaciones, permitiendo escalabilidad y personalización de respuestas.
• Proveedores de API destacados: Proveedores líderes como Lepton, Fireworks, Novita AI y Together AI ofrecen soluciones de IA robustas y rentables para diversas aplicaciones.
• Proceso fácil de usar: Novita AI proporciona a los desarrolladores herramientas y recursos para implementar la API de Llama 3, incluyendo un campo de pruebas experimental y un sistema optimizado de gestión de claves.

Introducción

Los modelos de lenguaje grandes (LLM) como Llama 3 de Meta han revolucionado el procesamiento del lenguaje natural, permitiendo interacciones avanzadas y una comprensión más profunda del software. Llama 3 destaca en tareas de diálogo y en el manejo de desafíos lingüísticos complejos. Este artículo profundiza en las características de Llama 3, su integración a través de API y el papel de proveedores de API como Novita AI en la implementación fluida de estos modelos.

¿Qué es el modelo Llama 3?

Meta desarrolló la familia Llama 3 de modelos de lenguaje grandes (LLM), que incluye modelos generativos de texto preentrenados y ajustados por instrucciones en tamaños de 8B y 70B. Estos modelos ajustados por instrucciones están optimizados para tareas de diálogo y superan a muchos modelos de chat de código abierto en puntos de referencia clave de la industria. Además, Meta priorizó optimizar tanto la utilidad como la seguridad durante el proceso de desarrollo.

Evaluación de Llama 3

A continuación, encontrarás una lista de modelos y sus puntuaciones en el Open LLM Leaderboard. Esta lista no es exhaustiva; te animamos a explorar el leaderboard completo. Ten en cuenta que el LLM Leaderboard es especialmente útil para evaluar modelos preentrenados, mientras que otros puntos de referencia se centran en modelos conversacionales.

¿Cómo usar Llama 3?

Este repositorio incluye dos versiones de Meta-Llama-3–8B: una diseñada para usarse con Transformers y otra compatible con el código base original de Llama 3.

Uso con Transformers

Consulta el fragmento a continuación para usar con Transformers:

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B"

pipeline = transformers.pipeline(
pipeline("Hey how are you doing today?")

Uso con Llama 3

Sigue las instrucciones en el repositorio.

Para descargar los checkpoints originales, consulta el comando de ejemplo a continuación usando huggingface-cli:

huggingface-cli download meta-llama/Meta-Llama-3-8B --include “original/*” --local-dir Meta-Llama-3-8B

Para soporte de Hugging Face, los desarrolladores de Meta-Llama recomiendan usar Transformers o TGI, pero un comando similar también funcionará.

Meta’s Llama 3 es el doble de grande que Llama 2

Llama 3 presenta capacidades de razonamiento mejoradas y admite una ventana de contexto más grande de hasta 8,000 tokens, lo que aumenta su eficacia para tareas complejas de procesamiento de lenguaje natural en el desarrollo de software. Meta’s Llama 3 fue entrenado en un conjunto de datos extenso que comprende más de 15 billones de tokens.

Frente a Mistral 7B y Gemma 7B

Se dice que el modelo Llama 3 8B de Meta supera a otros modelos de código abierto como Mistral 7B y Gemma 7B en varios puntos de referencia, incluidos MMLU, ARC y DROP.

Frente a Gemini 1.5

Meta’s Llama 3 70B ha mostrado un rendimiento superior en comparación con Gemini 1.5 Pro en varios puntos de referencia, incluidos MMLU, HumanEval y GSM-8K.

Frente a GPT-3.5

Meta’s Llama 3 70B ha demostrado un rendimiento impresionante frente a GPT-3.5 en un conjunto de pruebas personalizado diseñado específicamente para evaluar habilidades de codificación, escritura, razonamiento y resumen.

¿Qué es una API?

Las API, o Interfaces de Programación de Aplicaciones, son conectores digitales que permiten que diferentes aplicaciones de software se comuniquen y compartan datos. Actúan como intermediarios, facilitando interacciones fluidas entre varios programas y sistemas.

Las API son ubicuas en nuestra vida diaria — ya sea usando aplicaciones de viajes compartidos, realizando pagos móviles o controlando dispositivos inteligentes del hogar de forma remota. Cuando interactúas con estas aplicaciones, dependen de API para intercambiar información con servidores, procesar solicitudes y presentar resultados en un formato fácil de usar en tu dispositivo.

¿Por qué necesitamos una API de LLM?

Las API proporcionan a los desarrolladores una interfaz estandarizada para integrar modelos de lenguaje grandes en sus aplicaciones. Esta estandarización no solo simplifica el proceso de desarrollo, sino que también garantiza el acceso a las últimas mejoras del modelo. Permite escalar tareas de manera eficiente y seleccionar LLM adecuados para diversas aplicaciones. Además, la flexibilidad de las API permite personalizar las respuestas del LLM para cumplir con requisitos específicos, mejorando su adaptabilidad y relevancia en diferentes escenarios.

Principales proveedores de API de LLM para desarrolladores en 2024

Los proveedores de API son plataformas en la nube rentables que facilitan la implementación eficiente de modelos de aprendizaje automático. Ofrecen acceso sin infraestructura a IA avanzada a través de API fáciles de usar, escalabilidad robusta y precios competitivos, haciendo que la IA sea accesible para empresas de todos los tamaños. En esta sección, exploraremos algunos de los principales proveedores de API en la industria.

Tomando como ejemplo el modelo Llama 3 70B, aquí hay algunos proveedores de API, cada uno con métricas de rendimiento y rentabilidad distintas. Proporcionaremos descripciones detalladas de cada opción para ayudar a los desarrolladores a tomar decisiones informadas.

Lepton

Lepton es un proveedor de API que también admite una salida máxima de 8,192 tokens. Sus costos de entrada y salida son ambos de $0.80, con una latencia de 0.15 segundos y un rendimiento de 26.02 t/s.

• Ventajas: Lepton cuenta con una latencia muy baja, lo que lo hace ideal para aplicaciones donde el tiempo de respuesta es crítico.
• Desventajas: Sin embargo, su rendimiento es relativamente más bajo, lo que podría no ser adecuado para aplicaciones que requieren procesar grandes volúmenes de datos.

Fireworks

Fireworks es otro proveedor de API que puede manejar solicitudes con una salida máxima de 8,192 tokens. Sus costos de entrada y salida son de $0.90, con una latencia de 0.24 segundos y un rendimiento de 142.6 t/s.

• Ventajas: Fireworks ofrece un rendimiento excepcionalmente alto, lo que lo hace ideal para usuarios que necesitan manejar grandes cantidades de datos sin preocuparse demasiado por el costo.
• Desventajas: La latencia es relativamente más alta, y sus costos son los más altos entre los cuatro proveedores de API, lo que podría no ser adecuado para usuarios con presupuestos ajustados.

Novita AI

Novita AI es una plataforma en la nube que respalda ambiciones de IA con API integradas, computación sin servidor e instancias de GPU. Proporciona herramientas asequibles para el éxito, ayudando a los usuarios a iniciar proyectos sin costo y convertir sus sueños de IA en realidad de manera eficiente.

Novita AI es un proveedor de API que ofrece una solución rentable para manejar grandes volúmenes de solicitudes, lo que lo hace adecuado para usuarios con presupuesto limitado que necesitan procesar cantidades sustanciales de datos.

• Ventajas: Novita AI tiene costos más bajos al gestionar una gran cantidad de solicitudes, ideal para usuarios conscientes del presupuesto que requieren un manejo extenso de datos.
• Desventajas: En comparación con otros proveedores, Novita AI tiene una latencia de 1.10 segundos, lo que puede presentar desafíos para aplicaciones que requieren tiempos de respuesta rápidos.

Together AI

Together AI es otro proveedor de API capaz de manejar solicitudes con una salida máxima de 8,192 tokens. Sus costos de entrada y salida son ambos de $0.792, con una latencia de 0.36 segundos y un rendimiento de 47.16 t/s.

• Ventajas: Together ofrece menor latencia y mayor rendimiento, lo que lo hace muy adecuado para aplicaciones que requieren un procesamiento rápido de solicitudes.
• Desventajas: Sus costos son ligeramente más altos que los de Novita AI, lo que puede ser una consideración para usuarios con presupuestos muy ajustados.

Al elegir un proveedor de API, considera el costo, la latencia y el rendimiento. Novita AI es perfecto para proyectos con presupuesto limitado y grandes necesidades de datos. Lepton destaca en aplicaciones de baja latencia, mientras que Fireworks maneja grandes volúmenes de datos con costos y latencia más altos. En general, Novita AI se destaca por el manejo de datos a gran escala a bajo costo.

Ampliando las API de LLM, la API de Llama 3 ofrece a los desarrolladores acceso a capacidades avanzadas de procesamiento de lenguaje a través de una API estandarizada. Esto permite una integración fluida de funciones lingüísticas en diversas aplicaciones, mejorando sus características interactivas y analíticas. Aprende cómo usar la API de Llama 3 en la plataforma de API de LLM de Novita AI.

Ejecuta Meta’s Llama 3 con la API de LLM de Novita AI

Sigue estos pasos estructurados cuidadosamente para construir potentes aplicaciones de procesamiento de lenguaje utilizando la API de Llama 3 en Novita AI. Esta guía detallada garantiza un proceso fluido y eficiente, cumpliendo con las expectativas de los desarrolladores modernos en busca de una plataforma de IA avanzada.

Paso 1: Ve a Novita AI e inicia sesión.

Puedes iniciar sesión usando tu cuenta de Google o GitHub, lo que creará una nueva cuenta para ti en tu primer inicio de sesión.

Alternativamente, puedes registrarte con tu dirección de correo electrónico.

Paso 2: Administra la clave API.

Novita AI utiliza autenticación Bearer para verificar el acceso a la API, requiriendo una clave API en el encabezado de la solicitud, como “Authorization: Bearer {API Key}”.

Para administrar tus claves, navega a “Key Management” en la configuración.

Se crea automáticamente una clave predeterminada al iniciar sesión por primera vez, y puedes generar claves adicionales haciendo clic en “+ Add New Key”.

Paso 3: Elige tu modelo

Novita AI proporciona una variedad de modelos, incluyendo múltiples versiones de Llama. Selecciona el modelo que mejor se adapte a las necesidades de tu aplicación, ya sea para completar chats, generar texto u otras tareas.

Aquí tienes lo que ofrecemos para Llama 3:

• meta-llama/llama-3.1–8b-instruct
• meta-llama/llama-3.1–70b-instruct
• meta-llama/llama-3.1–405b-instruct
• meta-llama/llama-3–8b-instruct
• meta-llama/llama-3–70b-instruct

Para explorar la lista completa de modelos disponibles, puedes visitar la Lista de Modelos LLM de Novita AI.

Paso 4: Explora la Referencia de la API LLM para descubrir las API y los modelos disponibles ofrecidos por Novita AI.

Paso 5: Elige el modelo que mejor se adapte a tus necesidades, luego configura tu entorno de desarrollo. Configura opciones como contenido, rol, nombre y prompt para personalizar tu aplicación.

Paso 6: Realiza múltiples pruebas para verificar que la API funcione de manera consistente y cumpla con los requisitos de tu aplicación.

Antes de implementar la API de Llama 3 en la API LLM de Novita AI, puedes probarla primero en el LLM Playground. Ofrecemos a los desarrolladores créditos de uso gratuitos para experimentar con la plataforma. Si tienes alguna sugerencia, no dudes en compartirla en Discord. Ahora, déjame guiarte a través de los pasos para comenzar:

Paso 1: Accede al Playground navegando a la pestaña Products, selecciona Model API y comienza tu exploración de la API LLM.

Paso 2: Elige un modelo seleccionando el modelo Llama que mejor se adapte a tus necesidades de evaluación.

Paso 3: Ingresa tu prompt escribiéndolo en el campo de entrada para generar una respuesta del modelo seleccionado.

Ejemplo con Cliente Python

pip install 'openai>=1.0.0'

API de Chat Completions:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Obtén la clave de API de Novita AI consultando: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<TU Clave API de Novita AI>",
)

model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True  # o False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Actúa como si fueras un asistente útil.",
        },
        {
            "role": "user",
            "content": "¡Hola!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

API de Completions:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Obtén la clave de API de Novita AI consultando: https://docs/get-started/quickstart.html#_2-manage-api-key
    api_key="<TU Clave API de Novita AI>",
)

model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True  # o False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="A chat between a curious user and an artificial intelligence assistant.\
You are a cooking assistant.\
Be edgy in your cooking ideas.\
USER: How do I make pasta?\
ASSISTANT: First, boil water. Then, add pasta to the boiling water. Cook for 8-10 minutes or until al dente. Drain and serve!\
USER: How do I make it better?\
ASSISTANT:",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

Precios de la API de Llama 3

Con Novita AI, puedes acceder y utilizar fácilmente modelos de código abierto líderes en la industria, incluyendo modelos de lenguaje grandes, así como modelos de imagen, audio y video. Paga solo por lo que usas, sin costos fijos ni tarifas ocultas. Selecciona el plan de precios de Novita AI que mejor se adapte a tus necesidades.

Conclusión

El modelo Llama 3 de Meta representa un avance significativo en los modelos de lenguaje grandes, mejorando las capacidades de diálogo y razonamiento. Integrado a través de API, este modelo mejora las experiencias del usuario en diversas aplicaciones. Novita AI se destaca como un proveedor clave de API, ofreciendo la API de Llama 3 junto con herramientas esenciales para un desarrollo efectivo de IA. Plataformas como Novita AI son cruciales para satisfacer la creciente demanda de soluciones avanzadas de IA y empoderar a los desarrolladores para innovar en este espacio.

Preguntas Frecuentes

¿Cómo mejora Llama 3 el rendimiento de las aplicaciones?

Llama 3 mejora el rendimiento de las aplicaciones con algoritmos eficientes y uso de recursos, asegurando cálculos más rápidos para una mejor experiencia de usuario y eficiencia operativa.

¿Puede la API de Llama 3 integrarse con cualquier aplicación?

La API de Llama 3, una versión especializada de la API LLM, ofrece procesamiento de lenguaje avanzado para desarrolladores. Puede requerir personalización para una integración óptima.

¿Cómo acceder a Llama 3 de forma gratuita?

Si prefieres una configuración local, herramientas como Ollama facilitan la implementación de modelos Llama 3 en tu máquina local, permitiendo su uso gratuito para proyectos personales.

¿Cuál es la diferencia entre Llama 3.1 y 3?

Llama 3.1 supera a Llama 3 en habilidades matemáticas y de razonamiento. Por ejemplo, en un blog técnico de Meta, Llama-3.1 (8B) obtiene 73.0 en MATH (0-shot, CoT), superando la puntuación de Llama-3 de 68.4 en MATH (5-shot).

Publicado originalmente en Novita AI

Novita AI es la plataforma integral en la nube que impulsa tus ambiciones de IA. API integradas, computación sin servidor, instancias de GPU: las herramientas rentables que necesitas. Elimina la infraestructura, comienza gratis y haz realidad tu visión de IA.

Lecturas Recomendadas

1.Introducción a Code Llama: Un modelo de lenguaje grande de última generación para generación de código.

2.Presentamos Llama3 405B: Lanzamientos de LLM disponibles abiertamente

3.Mejora tus proyectos con la integración de la API de Llama 3.1