Novita AI 通过与 Langfuse 的战略集成，彻底改变了 LLM 应用开发。通过将 Novita AI 与 Langfuse 的监控能力相结合，开发人员现在拥有了一个用于部署和分析 AI 应用的全面解决方案。本文展示了组织如何利用 Novita AI 的 OpenAI 兼容 API 端点，同时使用 Langfuse 强大的分析工具来简化开发工作流，并加速各行业的创新。
什么是 Langfuse？
Langfuse 是一个开源的 LLM 工程平台。它帮助团队协作开发、监控、评估和调试 AI 应用。Langfuse 可以在几分钟内完成自托管，并经过实战检验。
关键特性
- 高性能推理：Novita AI 利用 vLLM 创新的 PagedAttention 算法，为大语言模型提供优化的推理能力。
- 云基础设施：该平台通过可扩展的 GPU 云基础设施，为开发者提供高性能计算资源。
- 开源支持：Novita AI 积极支持开源生态系统，可轻松部署 LLaMA 3.1 等模型，促进技术创新。
- 开发者工具：开发者通过 Novita AI 简洁的 API 结构和全面的基准测试工具，享受简化的工作流程。
- 成本效率：该平台提供经济可靠的 GPU 云解决方案，用于高效构建和扩展 AI 应用。
- 企业集成：组织可以利用 Novita AI 的基础设施，在各行业创建并扩展突破性的 AI 应用。
前提条件
开始之前，请确保您已具备以下条件：
-
Novita AI LLM API 密钥：
- 访问 Novita AI 网站并创建账户。
- 登录后，前往“密钥管理”页面生成您的 API 密钥。该密钥用于将 Novita AI 的模型连接到 Langfuse。
-
Langfuse 账户：
- 在 Langfuse 注册 Langfuse 账户，开始构建 AI 应用。
集成步骤
步骤 1：安装依赖
- 确保已安装必要的 Python 包。
pip install openai langfuse
步骤 2：设置环境变量
import os
# Get keys for your project from the project settings page
# https://cloud.langfuse.com
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # DOCS EXAMPLE KEYS
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # DOCS EXAMPLE KEYS
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 EU region
# os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 US region
# Get your Novita AI API key from the project settings page
os.environ["NOVITA_API_KEY"] = "..."
步骤 3：Langfuse OpenAI 直接替代
- 在此步骤中，我们通过
from langfuse.openai import openai使用原生的 OpenAI 直接替代。 - 要开始将 Novita AI 与 OpenAI 的客户端库一起使用，请将 Novita AI API 密钥传递给
api_key选项，并将base_url更改为https://api.novita.ai/v3/openai：
# instead of import openai:
from langfuse.openai import openai
client = openai.OpenAI(
api_key=os.environ.get("NOVITA_API_KEY"),
base_url="https://api.novita.ai/v3/openai",
)
注意： OpenAI 直接替代与 低层级 Langfuse Python SDK 和 @observe() 装饰器 完全兼容，可追踪应用的所有部分。
步骤 4：运行示例
- 以下单元格演示了如何使用已追踪的 OpenAI 客户端调用 Novita AI 的聊天模型。所有 API 调用将被 Langfuse 自动追踪。
client = openai.OpenAI(
api_key=os.environ.get("NOVITA_API_KEY"),
base_url="https://api.novita.ai/v3/openai",
)
response = client.chat.completions.create(
model="meta-llama/llama-3.1-70b-instruct",
messages=[
{"role": "system", "content": "Act like you are a helpful assistant."},
{"role": "user", "content": "What are the famous attractions in San Francisco?"},
]
)
print(response.choices[0].message.content)
旧金山是世界上最知名的城市之一，拥有众多著名景点，适合各种兴趣和年龄段的人群。以下是旧金山最受欢迎的一些景点：
1. **金门大桥**：工程奇迹和旧金山的象征，金门大桥是必游景点。步行或骑行过桥，欣赏城市和海湾的壮丽景色。
2. **恶魔岛**：探索这座臭名昭著的前监狱——如今已成为国家公园，曾关押过阿尔·卡彭等臭名昭著的囚犯。乘渡轮上岛，参加监狱及周边区域的导览游。
3. **渔人码头**：繁华的海滨区，以海鲜餐厅、街头艺人以及海湾大桥和恶魔岛的绝美景色闻名。别忘了看 39 号码头的海狮！
4. **唐人街**：旧金山唐人街是美国最大、最古老的唐人街之一。探索色彩缤纷的街道，品尝地道中餐，购买独特纪念品。
5. **金门公园**：广阔的市区公园，内有多个景点，包括德扬博物馆、加州科学馆和日本茶园。
6. **缆车**：经典的旧金山体验，缆车是一种有趣且富有历史意义的城市探索方式。乘坐鲍威尔-梅森线前往渔人码头，或乘坐鲍威尔-海德线前往伦巴第街。
7. **伦巴第街**：被称为“世界上最弯曲的街道”，伦巴第街风景如画，蜿蜒曲折，可欣赏城市壮丽景色。
8. **联合广场**：市中心充满活力的公共广场，周边遍布购物、餐饮和娱乐场所。在历史悠久的柯伦剧院看一场演出，或在广场漫步。
9. **彩绘女士**：阿拉莫广场上一排色彩缤纷的维多利亚式房屋，是旧金山建筑标志。在这些美丽住宅前拍照留念。
10. **探索博物馆**：科学、艺术和人类感知的博物馆，是学习和娱乐的好去处。互动展品和海湾美景使其成为家庭和科学爱好者的必游之地。
11. **39 号码头**：热门的购物和餐饮目的地，可欣赏海湾大桥、恶魔岛和码头海狮的绝美景色。
12. **德扬博物馆**：位于金门公园的美术馆，收藏来自世界各地的多元艺术和文化展品。
这只是旧金山众多著名景点中的一部分。无论您对历史、文化、科学还是娱乐感兴趣，旧金山都能满足您的需求。
步骤 5：在 Langfuse 中查看追踪
- 运行示例模型调用后，您可以在 Langfuse 中查看追踪。您将看到 Novita AI API 调用的详细信息，包括：
- 请求参数（模型、消息、温度等）
- 响应内容
- Token 使用统计
- 延迟指标
Langfuse 中的公开示例追踪链接
实用链接与资源
为了进一步加深对 Langfuse 与 Novita AI 的理解和使用，请探索以下宝贵资源：
结论
Novita AI 与 vLLM 建立了战略合作，通过尖端技术彻底改变了 AI 部署。此次合作彰显了两家公司推动开源 AI 技术并在整个开发生命周期中促进创新的承诺。
常见问题
Novita AI 的 API 结构是否与 Langfuse 的监控能力兼容？
是的，Novita AI 提供了简洁的 API 结构，非常适合实现 Langfuse 的可观测性功能。
该集成是否适用于企业级 AI 应用？
是的，Novita AI 的基础设施与 Langfuse 的监控能力相结合，专门用于帮助组织跨行业高效扩展 AI 解决方案。
将 Novita AI 与 Langfuse 集成是否需要复杂的 API 修改？
不需要，Novita AI 的平台设计有简洁的 API 结构。
限时优惠
Novita AI 现在推出 推荐计划，对 Helicone 用户有利：如果有人感兴趣，用户可以分享其邀请链接/代码，双方都将获得 20 美元积分，用于 DeepSeek R1 和 V3 API。
关于 Novita AI
Novita AI 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的便捷方式，同时提供经济可靠的 GPU 云用于构建和扩展模型。
