Portkey AI Gateway 彻底改变了开发者与包括 Novita AI 在内的各种 AI 模型进行交互的方式。这个强大的工具提供了一个统一的接口，用于访问多种语言模型，确保快速、可靠且安全的路由。在本全面指南中，我们将探索如何利用 Portkey AI Gateway 访问 Novita AI API，从而简化您的 AI 开发流程并提升应用的性能。
1. 了解 Portkey AI Gateway
Portkey AI Gateway 作为您的应用与各种 AI 模型（包括 Novita AI）之间的强大中介。它旨在简化集成过程，提供支持超过 1600 种语言、视觉、音频和图像模型的统一 API。凭借其轻量级、开源的性质，Portkey 允许开发者不到两分钟即可集成任何语言模型。
Portkey AI Gateway 的主要特点包括：
- 极速性能，延迟低于 1ms
- 仅 122kb 的微小体积
- 经过实战考验的基础设施，每天处理超过 100 亿个 token
- 企业级功能，包括增强的安全性和自定义部署
2. 关键特性与优势
Portkey AI Gateway 提供了大量功能，显著增强了 AI 应用的开发和部署：
- 统一 API：通过单一、一致的接口集成多个 AI 提供商，包括 Novita AI。
- 自动重试与回退：防止停机，确保 AI 服务的高可用性。
- 负载均衡与条件路由：通过在多个提供商或模型之间分配请求，高效扩展 AI 应用。
- 防护栏：实施内容过滤和输出验证，以维护质量和安全标准。
- 多模态能力：超越仅文本模型，扩展到视觉、音频和图像处理。
- 智能体工作流集成：探索高级 AI 代理框架，用于复杂应用。
这些功能共同促进了更快的开发周期、更高的可靠性以及 AI 驱动应用性能的提升。
3. 设置 Portkey AI Gateway
设置 Portkey AI Gateway 是一个直接的过程，包含三个主要步骤：设置网关、发送第一个请求，以及配置路由和防护栏。
设置您的 AI 网关
要本地运行网关，您需要安装 Node.js 和 npm。然后执行以下命令：
npx @portkey-ai/gateway
运行后，您将看到两个重要的 URL：
- 网关：
http://localhost:8787/v1 - 网关控制台：
http://localhost:8787/public/
发送第一个请求
首先，安装 Portkey AI Python 库：
pip install -qU portkey-ai
然后使用以下 Python 代码发送第一个请求：
from portkey_ai import Portkey
# OpenAI 兼容客户端
client = Portkey(
provider="openai", # 或 'anthropic', 'bedrock', 'groq' 等
Authorization="sk-***" # 提供商的 API 密钥
)
# 通过您的 AI 网关发送请求
client.chat.completions.create(
messages=[{"role": "user", "content": "今天天气怎么样？"}],
model="gpt-4o-mini"
)
您可以使用网关控制台 http://localhost:8787/public/ 在统一位置监控所有本地日志。
路由与防护栏
Portkey AI Gateway 允许您设置路由规则、添加可靠性功能并实施防护栏。以下是一个示例配置：
config = {
"retry": {"attempts": 5},
"output_guardrails": [{
"default.contains": {"operator": "none", "words": ["Apple"]},
"deny": True
}]
}
# 将配置附加到客户端
client = client.with_options(config=config)
client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "随机回复 Apple 或 Bat"}]
)
# 在此示例中，防护栏拒绝所有包含 "Apple" 的回复，因此响应始终为 "Bat"。重试配置将最多尝试请求 5 次，然后放弃。
4. 将 Novita AI API 集成到 Portkey
要通过 Portkey AI Gateway 访问 Novita AI API，请执行以下步骤：
安装 Portkey SDK
将 Portkey SDK 添加到您的应用中，以便通过 Portkey 网关与 Novita AI 的 API 交互。
Node.JS
npm install --save portkey-ai
Python
pip install portkey-ai
使用虚拟密钥初始化 Portkey
要使用 Portkey 使用 Novita AI，请从 Novita AI 获取您的 LLM API 密钥，然后将其添加到 Portkey 以创建虚拟密钥。
Node.JS SDK
import Portkey from 'portkey-ai'
const portkey = new Portkey({
apiKey: "PORTKEY_API_KEY", // 替换为您的 Portkey API 密钥
virtualKey: "VIRTUAL_KEY" // 替换为您的 Novita AI 虚拟密钥
})
Python SDK
from portkey_ai import Portkey
portkey = Portkey(
api_key="PORTKEY_API_KEY", # 替换为您的 Portkey API 密钥
virtual_key="VIRTUAL_KEY" # 替换为您的 Novita AI 虚拟密钥
)
使用 Novita AI 调用聊天完成
使用 Portkey 实例向 Novita AI 发送请求。如有需要，您还可以在 API 调用中直接覆盖虚拟密钥。
Node.JS SDK
const chatCompletion = await portkey.chat.completions.create({
messages: [{ role: 'user', content: '说这是一个测试' }],
model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});
console.log(chatCompletion.choices);
Python SDK
completion = portkey.chat.completions.create(
messages= [{ "role": 'user', "content": '说这是一个测试' }],
model= 'reka-core'
)
print(completion)
5. 实用资源
为了进一步加深您对使用 Portkey AI Gateway 与 Novita AI 的理解和使用，可以考虑探索以下有价值的资源：
- Portkey AI Gateway GitHub 仓库: 随时了解最新的拉取请求、功能和改进。
- Portkey AI 针对 Novita AI 集成的文档: 关于将 Novita AI 与 Portkey 集成的全面指南，包括 SDK 使用和受支持的模型。
- Portkey AI 博客: 访问有关 AI 集成和最佳实践的深刻文章、教程和更新。
- Novita AI API 文档: 参考 Novita AI 官方文档，获取其 LLM API 和模型规格的详细信息。
这些资源提供了丰富的信息，帮助您通过 Portkey AI Gateway 最大化 Novita AI 的潜力，确保您始终处于 AI 集成和开发的前沿。
6. 结论
将 Novita AI API 集成到 Portkey AI Gateway 中，为增强您的 AI 应用提供了一种无缝而高效的方式。通过遵循本指南中概述的步骤，您可以利用 Portkey AI Gateway 的强大功能来简化开发流程、提高性能并确保可靠性。无论您是在处理文本、视觉、音频还是图像模型，Portkey AI Gateway 都提供了一个统一的接口，简化了多个 AI 提供商的集成。
通过随时了解最新的资源和最佳实践，您可以持续优化 AI 应用，并在快速发展的 AI 集成与开发领域中保持领先。拥抱 Portkey AI Gateway 和 Novita AI 的能力，构建创新且稳健的 AI 解决方案。
Novita AI 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的简便方法，同时也提供经济实惠且可靠的 GPU 云用于构建和扩展。
