Usando Portkey com Novita AI: Um Guia Completo

O Portkey AI Gateway revolucionou a forma como os desenvolvedores interagem com vários modelos de IA, incluindo Novita AI. Essa ferramenta poderosa oferece uma interface unificada para acessar múltiplos modelos de linguagem, garantindo roteamento rápido, confiável e seguro. Neste guia completo, exploraremos como aproveitar o Portkey AI Gateway para acessar a API Novita AI, simplificando seu processo de desenvolvimento de IA e melhorando o desempenho da sua aplicação.

1. Entendendo o Portkey AI Gateway

O Portkey AI Gateway atua como um intermediário robusto entre sua aplicação e vários modelos de IA, incluindo Novita AI. Ele foi projetado para simplificar o processo de integração, oferecendo uma API unificada que suporta mais de 1600 modelos de linguagem, visão, áudio e imagem. Com sua natureza leve e de código aberto, o Portkey permite que desenvolvedores integrem qualquer modelo de linguagem em menos de dois minutos.

Principais características do Portkey AI Gateway:

• Desempenho extremamente rápido com menos de 1ms de latência
• Pegada pequena de apenas 122kb
• Infraestrutura testada processando mais de 10 bilhões de tokens diariamente
• Recursos prontos para empresas, incluindo segurança aprimorada e implantações personalizadas

2. Principais Recursos e Benefícios

O Portkey AI Gateway oferece uma infinidade de recursos que aprimoram significativamente o desenvolvimento e a implantação de aplicações de IA:

1. API Unificada: Integre múltiplos provedores de IA, incluindo Novita AI, através de uma única interface consistente.
2. Tentativas Automáticas e Fallbacks: Evite paralisações e garanta alta disponibilidade dos seus serviços de IA.
3. Balanceamento de Carga e Roteamento Condicional: Escalone suas aplicações de IA de forma eficiente distribuindo requisições entre múltiplos provedores ou modelos.
4. Guardrails: Implemente filtros de conteúdo e validação de saída para manter padrões de qualidade e segurança.
5. Capacidades Multimodais: Vá além dos modelos baseados em texto para incluir processamento de visão, áudio e imagem.
6. Integrações com Fluxos de Trabalho Agenticos: Explore frameworks avançados de agentes de IA para aplicações complexas.

Esses recursos contribuem coletivamente para ciclos de desenvolvimento mais rápidos, confiabilidade melhorada e desempenho aprimorado de aplicações baseadas em IA.

3. Configurando o Portkey AI Gateway

Configurar o Portkey AI Gateway é um processo simples que envolve três etapas principais: configurar o gateway, fazer sua primeira requisição e configurar roteamento e guardrails.

Configure seu AI Gateway

Para executar o gateway localmente, você precisará ter Node.js e npm instalados. Em seguida, execute o seguinte comando:

npx @portkey-ai/gateway

Uma vez em execução, você verá duas URLs importantes:

• O Gateway: http://localhost:8787/v1
• O Console do Gateway: http://localhost:8787/public/

Faça sua primeira requisição

Primeiro, instale a biblioteca Python do Portkey AI:

pip install -qU portkey-ai

Em seguida, use o seguinte código Python para fazer sua primeira requisição:

from portkey_ai import Portkey

# Cliente compatível com OpenAI
client = Portkey(
    provider="openai", # ou 'anthropic', 'bedrock', 'groq', etc
    Authorization="sk-***" # a chave da API do provedor
)

# Faça uma requisição através do seu AI Gateway
client.chat.completions.create(
    messages=[{"role": "user", "content": "Qual é o clima?"}],
    model="gpt-4o-mini"
)

Você pode monitorar todos os seus logs locais em um só lugar usando o Console do Gateway em http://localhost:8787/public/.

Roteamento e Guardrails

O Portkey AI Gateway permite que você defina regras de roteamento, adicione recursos de confiabilidade e implemente guardrails. Aqui está um exemplo de configuração:

config = {
  "retry": {"attempts": 5},

  "output_guardrails": [{
    "default.contains": {"operator": "none", "words": ["Apple"]},
    "deny": True
  }]
}

# Anexe a configuração ao cliente
client = client.with_options(config=config)

client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Responda aleatoriamente com Apple ou Bat"}]
)

# Neste exemplo, o guardrail nega todas as respostas que contenham "Apple", então a resposta seria sempre "Bat". A configuração de retry tentaria a requisição até 5 vezes antes de desistir.

4.Integrando a API Novita AI com Portkey

Para acessar a API Novita AI através do Portkey AI Gateway, siga estas etapas:

Instale o SDK do Portkey

Adicione o SDK do Portkey à sua aplicação para interagir com a API Novita AI através do gateway do Portkey.

Node.JS

npm install --save portkey-ai

Python

pip install portkey-ai

Inicialize o Portkey com a Chave Virtual

Para usar Novita AI com o Portkey, obtenha sua chave da API LLM da Novita AI e adicione-a ao Portkey para criar a chave virtual.

SDK Node.JS

import Portkey from 'portkey-ai'

const portkey = new Portkey({
  apiKey: "PORTKEY_API_KEY",  // Substitua pela sua chave da API Portkey
  virtualKey: "VIRTUAL_KEY"   // Substitua pela sua chave virtual para Novita AI
})

SDK Python

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  // Substitua pela sua chave da API Portkey
    virtual_key="VIRTUAL_KEY"   // Substitua pela sua chave virtual para Novita AI
)

Invoque Chat Completions com Novita AI

Use a instância do Portkey para enviar requisições para Novita AI. Você também pode substituir a chave virtual diretamente na chamada da API, se necessário.

SDK Node.JS

const chatCompletion = await portkey.chat.completions.create({
  messages: [{ role: 'user', content: 'Diga que isso é um teste' }],
  model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});

console.log(chatCompletion.choices);

SDK Python

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Diga que isso é um teste' }],
    model= 'reka-core'
)

print(completion)

5. Recursos Úteis

Para aprofundar seu entendimento e uso do Portkey AI Gateway com Novita AI, considere explorar estes recursos valiosos:

1. Repositório GitHub do Portkey AI Gateway: Mantenha-se atualizado com os últimos pull requests, recursos e melhorias.
2. Documentação do Portkey AI para Integração Novita AI: Guia completo sobre integração do Novita AI com Portkey, incluindo uso do SDK e modelos suportados.
3. Blog do Portkey AI: Acesse artigos informativos, tutoriais e atualizações relacionadas à integração de IA e melhores práticas.
4. Documentação da API Novita AI: Consulte a documentação oficial do Novita AI para informações detalhadas sobre sua API LLM e especificações dos modelos.

Esses recursos fornecem uma vasta gama de informações para ajudá-lo a maximizar o potencial do Novita AI através do Portkey AI Gateway, garantindo que você se mantenha na vanguarda da integração e desenvolvimento de IA.

6.Conclusão

Integrar a API Novita AI com o Portkey AI Gateway oferece uma maneira simples e eficiente de aprimorar suas aplicações de IA. Seguindo as etapas descritas neste guia, você pode aproveitar os recursos poderosos do Portkey AI Gateway para simplificar seu processo de desenvolvimento, melhorar o desempenho e garantir confiabilidade. Seja trabalhando com modelos de texto, visão, áudio ou imagem, o Portkey AI Gateway fornece uma interface unificada que simplifica a integração de múltiplos provedores de IA.

Ao se manter atualizado com os recursos e melhores práticas mais recentes, você pode continuar otimizando suas aplicações de IA e se manter à frente no campo em rápida evolução da integração e desenvolvimento de IA. Abrace as capacidades do Portkey AI Gateway e do Novita AI para construir soluções de IA inovadoras e robustas.

Novita AIé uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, ao mesmo tempo que fornece a nuvem GPU acessível e confiável para construir e escalar.