Portkey AI Gateway ha revolucionado la forma en que los desarrolladores interactúan con diversos modelos de IA, incluido Novita AI. Esta potente herramienta ofrece una interfaz unificada para acceder a múltiples modelos de lenguaje, garantizando un enrutamiento rápido, confiable y seguro. En esta guía completa, exploraremos cómo aprovechar Portkey AI Gateway para acceder a la API de Novita AI, optimizando su proceso de desarrollo de IA y mejorando el rendimiento de su aplicación.
1. Entendiendo Portkey AI Gateway
Portkey AI Gateway actúa como un intermediario robusto entre su aplicación y varios modelos de IA, incluido Novita AI. Está diseñado para simplificar el proceso de integración, ofreciendo una API unificada compatible con más de 1600 modelos de lenguaje, visión, audio e imagen. Gracias a su naturaleza ligera y de código abierto, Portkey permite integrar cualquier modelo de lenguaje en menos de dos minutos.
Las características clave de Portkey AI Gateway incluyen:
- Rendimiento ultrarrápido con menos de 1 ms de latencia
- Huella mínima de solo 122 kb
- Infraestructura probada que procesa más de 10 mil millones de tokens al día
- Funcionalidades listas para empresas, incluyendo seguridad mejorada e implementaciones personalizadas
2. Características y beneficios clave
Portkey AI Gateway ofrece una gran cantidad de funciones que mejoran significativamente el desarrollo y la implementación de aplicaciones de IA:
- API unificada: Integre múltiples proveedores de IA, incluido Novita AI, a través de una única interfaz coherente.
- Reintentos y fallbacks automáticos: Evite tiempos de inactividad y garantice una alta disponibilidad de sus servicios de IA.
- Balanceo de carga y enrutamiento condicional: Escale sus aplicaciones de IA de manera eficiente distribuyendo las solicitudes entre múltiples proveedores o modelos.
- Guardrails: Implemente filtros de contenido y validación de salida para mantener los estándares de calidad y seguridad.
- Capacidades multimodales: Amplíe más allá de los modelos basados en texto para incluir procesamiento de visión, audio e imágenes.
- Integraciones de flujos de trabajo agentivos: Explore marcos de agentes de IA avanzados para aplicaciones complejas.
Estas características contribuyen colectivamente a ciclos de desarrollo más rápidos, mayor confiabilidad y un mejor rendimiento de las aplicaciones impulsadas por IA.
3. Configuración de Portkey AI Gateway
Configurar Portkey AI Gateway es un proceso sencillo que implica tres pasos principales: configurar la puerta de enlace, realizar su primera solicitud y ajustar el enrutamiento y los guardrails.
Configure su AI Gateway
Para ejecutar la puerta de enlace localmente, necesitará Node.js y npm instalados. Luego, ejecute el siguiente comando:
npx @portkey-ai/gateway
Una vez en ejecución, verá dos URL importantes:
- La puerta de enlace:
http://localhost:8787/v1 - La consola de la puerta de enlace:
http://localhost:8787/public/
Realice su primera solicitud
Primero, instale la biblioteca de Python de Portkey AI:
pip install -qU portkey-ai
Luego, use el siguiente código Python para realizar su primera solicitud:
from portkey_ai import Portkey
# Cliente compatible con OpenAI
client = Portkey(
provider="openai", # o 'anthropic', 'bedrock', 'groq', etc.
Authorization="sk-***" # la clave API del proveedor
)
# Realice una solicitud a través de su AI Gateway
client.chat.completions.create(
messages=[{"role": "user", "content": "¿Cómo está el clima?"}],
model="gpt-4o-mini"
)
Puede monitorear todos sus registros locales en un solo lugar usando la Consola de la puerta de enlace en http://localhost:8787/public/.
Enrutamiento y Guardrails
Portkey AI Gateway le permite establecer reglas de enrutamiento, agregar funciones de confiabilidad e implementar guardrails. Aquí hay un ejemplo de configuración:
config = {
"retry": {"attempts": 5},
"output_guardrails": [{
"default.contains": {"operator": "none", "words": ["Apple"]},
"deny": True
}]
}
# Adjunte la configuración al cliente
client = client.with_options(config=config)
client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Responde aleatoriamente con Apple o Bat"}]
)
# En este ejemplo, el guardrail rechaza todas las respuestas que contengan "Apple", por lo que la respuesta siempre será "Bat". La configuración de reintento intentará la solicitud hasta 5 veces antes de rendirse.
4.Integración de la API de Novita AI con Portkey
Para acceder a la API de Novita AI a través de Portkey AI Gateway, siga estos pasos:
Instale el SDK de Portkey
Agregue el SDK de Portkey a su aplicación para interactuar con la API de Novita AI a través de la puerta de enlace de Portkey.
Node.JS
npm install --save portkey-ai
Python
pip install portkey-ai
Inicialice Portkey con la clave virtual
Para usar Novita AI con Portkey, obtenga su clave API de LLM de Novita AI, luego agréguela a Portkey para crear la clave virtual.
SDK de Node.JS
import Portkey from 'portkey-ai'
const portkey = new Portkey({
apiKey: "PORTKEY_API_KEY", // Reemplace con su clave API de Portkey
virtualKey: "VIRTUAL_KEY" // Reemplace con su clave virtual para Novita AI
})
SDK de Python
from portkey_ai import Portkey
portkey = Portkey(
api_key="PORTKEY_API_KEY", // Reemplace con su clave API de Portkey
virtual_key="VIRTUAL_KEY" // Reemplace con su clave virtual para Novita AI
)
Invocar completaciones de chat con Novita AI
Use la instancia de Portkey para enviar solicitudes a Novita AI. También puede sobrescribir la clave virtual directamente en la llamada a la API si es necesario.
SDK de Node.JS
const chatCompletion = await portkey.chat.completions.create({
messages: [{ role: 'user', content: 'Di que esto es una prueba' }],
model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});
console.log(chatCompletion.choices);
SDK de Python
completion = portkey.chat.completions.create(
messages= [{ "role": 'user', "content": 'Di que esto es una prueba' }],
model= 'reka-core'
)
print(completion)
5. Recursos útiles
Para mejorar aún más su comprensión y uso de Portkey AI Gateway con Novita AI, considere explorar estos valiosos recursos:
- Repositorio de GitHub de Portkey AI Gateway: Manténgase actualizado con las últimas solicitudes de extracción, funciones y mejoras.
- Documentación de Portkey AI para la integración con Novita AI: Guía completa sobre la integración de Novita AI con Portkey, incluyendo el uso del SDK y los modelos compatibles.
- Blog de Portkey AI: Acceda a artículos informativos, tutoriales y actualizaciones relacionadas con la integración de IA y las mejores prácticas.
- Documentación de la API de Novita AI: Consulte la documentación oficial de Novita AI para obtener información detallada sobre su API de LLM y especificaciones de modelos.
Estos recursos brindan una gran cantidad de información para ayudarlo a maximizar el potencial de Novita AI a través de Portkey AI Gateway, asegurando que se mantenga a la vanguardia de la integración y el desarrollo de IA.
6.Conclusión
Integrar la API de Novita AI con Portkey AI Gateway ofrece una forma eficiente y sin problemas de mejorar sus aplicaciones de IA. Siguiendo los pasos descritos en esta guía, puede aprovechar las potentes funciones de Portkey AI Gateway para optimizar su proceso de desarrollo, mejorar el rendimiento y garantizar la confiabilidad. Ya sea que esté trabajando con modelos de texto, visión, audio o imágenes, Portkey AI Gateway proporciona una interfaz unificada que simplifica la integración de múltiples proveedores de IA.
Al mantenerse actualizado con los últimos recursos y mejores prácticas, puede continuar optimizando sus aplicaciones de IA y mantenerse a la vanguardia en el campo en rápida evolución de la integración y el desarrollo de IA. Aproveche las capacidades de Portkey AI Gateway y Novita AI para construir soluciones de IA innovadoras y robustas.
Novita AI es una plataforma en la nube de IA que ofrece a los desarrolladores una forma sencilla de implementar modelos de IA usando nuestra API simple, al mismo tiempo que proporciona la nube de GPU asequible y confiable para construir y escalar.
