English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

Usando Langfuse com Novita AI: Um Guia Completo

Por / / Parcerias / 4 minutos de leitura
Usando Langfuse com Novita AI: Um Guia Completo
Índice
  1. O que é Langfuse?
  2. Principais Recursos
  3. Pré-requisitos
  4. Etapas de Integração
  5. Links e Recursos Úteis
  6. Conclusão
  7. Perguntas Frequentes

A Novita AI revolucionou o desenvolvimento de aplicações LLM por meio da sua integração estratégica com o Langfuse. Ao combinar a Novita AI com as capacidades de monitoramento do Langfuse, os desenvolvedores agora têm acesso a uma solução abrangente para implantar e analisar aplicações de IA. Este artigo demonstra como as organizações podem aproveitar os endpoints de API compatíveis com OpenAI da Novita AI enquanto utilizam as ferramentas analíticas poderosas do Langfuse para otimizar seu fluxo de trabalho de desenvolvimento e acelerar a inovação em diversos setores.

O que é Langfuse?

Langfuse é uma plataforma de engenharia LLM de código aberto. Ela ajuda equipes a desenvolver, monitorar, avaliar e depurar aplicações de IA de forma colaborativa. O Langfuse pode ser auto-hospedado em minutos e é testado em batalha.

Principais Recursos

  1. Inferência de Alto Desempenho: A Novita AI utiliza o inovador algoritmo PagedAttention do vLLM para fornecer capacidades de inferência otimizadas para grandes modelos de linguagem.
  2. Infraestrutura em Nuvem: A plataforma oferece aos desenvolvedores acesso a recursos computacionais de alto desempenho por meio de sua infraestrutura de GPU em nuvem escalável.
  3. Suporte a Open-Source: A Novita AI apoia ativamente o ecossistema de código aberto, permitindo a implantação fácil de modelos como LLaMA 3.1 e fomentando a inovação tecnológica.
  4. Ferramentas para Desenvolvedores: Os desenvolvedores se beneficiam de um fluxo de trabalho simplificado por meio da estrutura de API simples da Novita AI e ferramentas abrangentes de benchmark.
  5. Eficiência de Custos: A plataforma oferece uma solução de GPU em nuvem acessível e confiável para construir e escalar aplicações de IA de forma eficiente.
  6. Integração Empresarial: As organizações podem aproveitar a infraestrutura da Novita AI para criar e escalar aplicações de IA inovadoras em diversos setores.

Pré-requisitos

Antes de começar, certifique-se de ter o seguinte:

1. Chave de API LLM da Novita AI:

  • Visite o site da Novita AI e crie uma conta.
  • Após fazer login, vá para a página de Gerenciamento de Chaves para gerar sua Chave de API. Essa chave é necessária para conectar os modelos da Novita AI ao Langfuse.

2. Conta no Langfuse:

  • Inscreva-se em uma conta do Langfuse em Langfuse para começar a construir aplicações de IA.

Etapas de Integração

Etapa 1: Instalar Dependências

  • Certifique-se de ter instalado os pacotes Python necessários.
pip install openai langfuse

Etapa 2: Configurar Variáveis de Ambiente

import os

# Obtenha as chaves do seu projeto na página de configurações do projeto
# https://cloud.langfuse.com

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # CHAVES DE EXEMPLO DA DOCUMENTAÇÃO
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # CHAVES DE EXEMPLO DA DOCUMENTAÇÃO
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 Região UE
# os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 Região EUA

# Obtenha sua chave de API da Novita AI na página de configurações do projeto
os.environ["NOVITA_API_KEY"] = "..."

Etapa 3: Substituição Direta do OpenAI pelo Langfuse

  • Nesta etapa, usamos a substituição direta nativa do OpenAI importando de langfuse.openai import openai.
  • Para começar a usar a Novita AI com as bibliotecas cliente do OpenAI, passe sua chave de API da Novita AI para a opção api_key e altere o base_url para https://api.novita.ai/v3/openai:
# em vez de import openai:
from langfuse.openai import openai

client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

Nota: A substituição direta do OpenAI é totalmente compatível com os SDKs Python de Baixo Nível do Langfuse e o decorador @observe() para rastrear todas as partes da sua aplicação.

Etapa 4: Executar um Exemplo

  • A célula a seguir demonstra como chamar o modelo de chat da Novita AI usando o cliente OpenAI rastreado. Todas as chamadas de API serão automaticamente rastreadas pelo Langfuse.
client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

response = client.chat.completions.create(
  model="meta-llama/llama-3.1-70b-instruct",
  messages=[
    {"role": "system", "content": "Aja como se fosse um assistente útil."},
    {"role": "user", "content": "Quais são as atrações famosas em São Francisco?"},
  ]
)

print(response.choices[0].message.content)
São Francisco, uma das cidades mais icônicas do mundo, abriga uma infinidade de atrações famosas que atendem a todos os interesses e idades. Aqui estão algumas das atrações mais populares em São Francisco:

1. **Golden Gate Bridge**: Uma maravilha da engenharia e um símbolo de São Francisco, a Golden Gate Bridge é uma atração imperdível. Faça uma caminhada ou um passeio de bicicleta pela ponte para ter vistas espetaculares da cidade e da baía.
2. **Ilha de Alcatraz**: Explore a infame antiga prisão transformada em parque nacional, que já abrigou prisioneiros notórios como Al Capone. Pegue uma balsa para a ilha e desfrute de uma visita guiada pela prisão e seus arredores.
3. **Fisherman's Wharf**: Um movimentado distrito à beira-mar, Fisherman's Wharf é famoso por seus restaurantes de frutos do mar, artistas de rua e vistas deslumbrantes da Bay Bridge e da Ilha de Alcatraz. Não perca os leões-marinhos no Pier 39!
4. **Chinatown**: A Chinatown de São Francisco é uma das maiores e mais antigas dos Estados Unidos. Explore as ruas coloridas, experimente a autêntica culinária chinesa e compre lembranças únicas.
5. **Golden Gate Park**: Um vasto parque urbano que abriga várias atrações, incluindo o de Young Museum, a California Academy of Sciences e o Japanese Tea Garden.
6. **Bondes (Cable Cars)**: Uma experiência clássica em São Francisco, os bondes oferecem uma maneira divertida e histórica de explorar a cidade. Pegue a linha Powell-Mason até Fisherman's Wharf ou a linha Powell-Hyde até a Lombard Street.
7. **Lombard Street**: Conhecida como a "rua mais tortuosa do mundo", a Lombard Street é uma estrada cênica e sinuosa que oferece vistas deslumbrantes da cidade.
8. **Union Square**: Uma vibrante praça pública no coração da cidade, a Union Square é cercada por opções de compras, restaurantes e entretenimento. Assista a um show no histórico Curran Theatre ou dê um passeio pela praça.
9. **The Painted Ladies**: Uma fileira de casas vitorianas coloridas na Alamo Square, as Painted Ladies são um símbolo icônico da arquitetura de São Francisco. Tire uma foto em frente a essas deslumbrantes casas.
10. **Exploratorium**: Um museu de ciência, arte e percepção humana, o Exploratorium é um ótimo lugar para aprender e se divertir. Com exposições interativas e vistas deslumbrantes da baía, é uma visita obrigatória para famílias e entusiastas da ciência.
11. **Pier 39**: Um destino popular de compras e restaurantes, o Pier 39 oferece vistas deslumbrantes da Bay Bridge, da Ilha de Alcatraz e dos leões-marinhos que chamam o píer de lar.
12. **de Young Museum**: Um museu de belas artes localizado no Golden Gate Park, o de Young Museum apresenta uma coleção diversificada de exposições de arte e cultura de todo o mundo.

Estas são apenas algumas das muitas atrações famosas em São Francisco. Se você está interessado em história, cultura, ciência ou entretenimento, São Francisco tem algo para todos.

Etapa 5: Ver os Rastreamentos no Langfuse

  • Após executar a chamada de modelo de exemplo, você pode ver os rastreamentos no Langfuse. Você verá informações detalhadas sobre suas chamadas de API da Novita AI, incluindo:
    • Parâmetros da requisição (modelo, mensagens, temperatura, etc.)
    • Conteúdo da resposta
    • Estatísticas de uso de tokens
    • Métricas de latência

Para aprimorar ainda mais seu entendimento e uso do Langfuse com a Novita AI, considere explorar estes recursos valiosos:

Conclusão

A Novita AI e o vLLM formaram uma parceria estratégica que revoluciona a implantação de IA por meio de tecnologia de ponta. A parceria demonstra o compromisso de ambas as empresas em avançar a tecnologia de IA de código aberto e fomentar a inovação durante todo o ciclo de vida de desenvolvimento.

Perguntas Frequentes

A estrutura de API da Novita AI é compatível com as capacidades de monitoramento do Langfuse?

Sim, a Novita AI fornece uma estrutura de API simples, o que a torna ideal para implementar os recursos de observabilidade do Langfuse.

A integração é adequada para aplicações de IA em escala empresarial?

Sim, a combinação da infraestrutura da Novita AI com as capacidades de monitoramento do Langfuse é projetada especificamente para ajudar organizações a escalar suas soluções de IA de forma eficiente em diversos setores.

A integração da Novita AI com o Langfuse requer modificações complexas na API?

Não, a plataforma da Novita AI é projetada com uma estrutura de API simples.

Oferta por Tempo Limitado

A Novita AI agora oferece um Programa de Indicação que pode beneficiar os usuários do Helicone: Se alguém estiver interessado, os usuários podem compartilhar seu link/código de convite, e tanto eles quanto seus indicados receberão $20 em créditos para usar com as APIs DeepSeek R1 e V3.

Sobre a Novita AI

Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer uma GPU em nuvem acessível e confiável para construir e escalar.

Posts relacionados