Novita AI는 Langfuse와의 전략적 통합을 통해 LLM 애플리케이션 개발에 혁명을 일으켰습니다. Novita AI와 Langfuse의 모니터링 기능을 결합함으로써 개발자는 이제 AI 애플리케이션을 배포하고 분석하기 위한 포괄적인 솔루션을 사용할 수 있게 되었습니다. 이 문서에서는 조직이 Novita AI의 OpenAI 호환 API 엔드포인트를 활용하면서 Langfuse의 강력한 분석 도구를 사용하여 개발 워크플로우를 간소화하고 산업 전반의 혁신을 가속화하는 방법을 보여줍니다.
Langfuse란 무엇인가?
Langfuse는 오픈소스 LLM 엔지니어링 플랫폼입니다. 팀이 협력하여 AI 애플리케이션을 개발, 모니터링, 평가, 디버깅할 수 있도록 도와줍니다. Langfuse는 몇 분 안에 자체 호스팅이 가능하며 이미 실전에서 검증되었습니다.
주요 기능
- 고성능 추론: Novita AI는 vLLM의 혁신적인 PagedAttention 알고리즘을 활용하여 대규모 언어 모델에 최적화된 추론 기능을 제공합니다.
- 클라우드 인프라: 이 플랫폼은 확장 가능한 GPU 클라우드 인프라를 통해 개발자에게 고성능 컴퓨팅 리소스에 대한 액세스를 제공합니다.
- 오픈소스 지원: Novita AI는 LLaMA 3.1과 같은 모델의 손쉬운 배포를 지원하고 기술 혁신을 촉진함으로써 오픈소스 생태계를 적극적으로 지원합니다.
- 개발자 도구: 개발자는 Novita AI의 간단한 API 구조와 포괄적인 벤치마킹 도구를 통해 간소화된 워크플로우를 활용할 수 있습니다.
- 비용 효율성: 이 플랫폼은 AI 애플리케이션을 효율적으로 구축하고 확장할 수 있는 경제적이고 신뢰할 수 있는 GPU 클라우드 솔루션을 제공합니다.
- 엔터프라이즈 통합: 조직은 Novita AI의 인프라를 활용하여 다양한 산업 분야에서 획기적인 AI 애플리케이션을 만들고 확장할 수 있습니다.
사전 요구 사항
시작하기 전에 다음 사항을 확인하세요.
- Novita AI LLM API 키:
- Novita AI 웹사이트를 방문하여 계정을 만드세요.
- 로그인 후 Key Management 페이지로 이동하여 API 키를 생성하세요. 이 키는 Novita AI의 모델을 Langfuse에 연결하는 데 필요합니다.
2. Langfuse 계정:
- Langfuse에서 Langfuse 계정에 가입하여 AI 애플리케이션 구축을 시작하세요.
통합 단계
1단계: 종속성 설치
- 필요한 Python 패키지를 설치했는지 확인하세요.
pip install openai langfuse
2단계: 환경 변수 설정
import os
# 프로젝트 설정 페이지에서 키를 가져옵니다.
# https://cloud.langfuse.com
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # DOCS EXAMPLE KEYS
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # DOCS EXAMPLE KEYS
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 EU 지역
# os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 US 지역
# 프로젝트 설정 페이지에서 Novita AI API 키를 가져옵니다.
os.environ["NOVITA_API_KEY"] = "..."
3단계: Langfuse OpenAI 대체(drop-in) 사용
- 이 단계에서는
langfuse.openai import openai에서 가져와서 네이티브 OpenAI 대체(drop-in)를 사용합니다. - Novita AI를 OpenAI 클라이언트 라이브러리와 함께 사용하려면
api_key옵션에 Novita AI API 키를 전달하고base_url을https://api.novita.ai/v3/openai로 변경하세요.
# import openai 대신:
from langfuse.openai import openai
client = openai.OpenAI(
api_key=os.environ.get("NOVITA_API_KEY"),
base_url="https://api.novita.ai/v3/openai",
)
참고: OpenAI 대체(drop-in)는 로우레벨 Langfuse Python SDK 및 @observe() 데코레이터와 완벽하게 호환되어 애플리케이션의 모든 부분을 추적할 수 있습니다.
4단계: 예제 실행
- 다음 셀은 추적된 OpenAI 클라이언트를 사용하여 Novita AI의 채팅 모델을 호출하는 방법을 보여줍니다. 모든 API 호출은 Langfuse에 의해 자동으로 추적됩니다.
client = openai.OpenAI(
api_key=os.environ.get("NOVITA_API_KEY"),
base_url="https://api.novita.ai/v3/openai",
)
response = client.chat.completions.create(
model="meta-llama/llama-3.1-70b-instruct",
messages=[
{"role": "system", "content": "Act like you are a helpful assistant."},
{"role": "user", "content": "What are the famous attractions in San Francisco?"},
]
)
print(response.choices[0].message.content)
San Francisco, one of the most iconic cities in the world, is home to a plethora of famous attractions that cater to all interests and ages. Here are some of the most popular attractions in San Francisco:
1. **Golden Gate Bridge**: An engineering marvel and a symbol of San Francisco, the Golden Gate Bridge is a must-visit attraction. Take a walk or bike ride across the bridge for spectacular views of the city and the Bay.
2. **Alcatraz Island**: Explore the infamous former prison turned national park, which once housed notorious inmates like Al Capone. Take a ferry to the island and enjoy a guided tour of the prison and its surroundings.
3. **Fisherman's Wharf**: A bustling waterfront district, Fisherman's Wharf is famous for its seafood restaurants, street performers, and stunning views of the Bay Bridge and Alcatraz Island. Don't miss the sea lions at Pier 39!
4. **Chinatown**: San Francisco's Chinatown is one of the largest and oldest in the United States. Explore the colorful streets, try some authentic Chinese cuisine, and shop for unique souvenirs.
5. **Golden Gate Park**: A sprawling urban park that's home to several attractions, including the de Young Museum, the California Academy of Sciences, and the Japanese Tea Garden.
6. **Cable Cars**: A classic San Francisco experience, the cable cars offer a fun and historic way to explore the city. Take a ride on the Powell-Mason line to Fisherman's Wharf, or the Powell-Hyde line to Lombard Street.
7. **Lombard Street**: Known as the "crookedest street in the world," Lombard Street is a scenic and winding road that offers stunning views of the city.
8. **Union Square**: A vibrant public square in the heart of the city, Union Square is surrounded by shopping, dining, and entertainment options. Catch a show at the historic Curran Theatre or take a stroll through the square.
9. **The Painted Ladies**: A row of colorful Victorian houses on Alamo Square, the Painted Ladies are a iconic symbol of San Francisco's architecture. Take a photo in front of these stunning homes.
10. **The Exploratorium**: A museum of science, art, and human perception, the Exploratorium is a great place to learn and have fun. With interactive exhibits and stunning views of the Bay, it's a must-visit for families and science enthusiasts.
11. **Pier 39**: A popular shopping and dining destination, Pier 39 offers stunning views of the Bay Bridge, Alcatraz Island, and the sea lions that call the pier home.
12. **The de Young Museum**: A fine arts museum located in Golden Gate Park, the de Young Museum features a diverse collection of art and cultural exhibitions from around the world.
These are just a few of the many famous attractions in San Francisco. Whether you're interested in history, culture, science, or entertainment, San Francisco has something for everyone.
5단계: Langfuse에서 추적 확인
- 예제 모델 호출을 실행한 후 Langfuse에서 추적을 확인할 수 있습니다. Novita AI API 호출에 대한 다음 세부 정보를 확인할 수 있습니다.
- 요청 매개변수(모델, 메시지, temperature 등)
- 응답 내용
- 토큰 사용 통계
- 지연 시간 메트릭
Langfuse의 공개 예제 추적 링크
유용한 링크와 자료
Langfuse와 Novita AI에 대한 이해와 사용을 더욱 향상시키려면 다음 자료를 살펴보세요.
결론
Novita AI와 vLLM은 최첨단 기술을 통해 AI 배포에 혁명을 일으키는 전략적 파트너십을 형성했습니다. 이 파트너십은 두 회사가 오픈소스 AI 기술을 발전시키고 전체 개발 수명 주기 전반에 걸쳐 혁신을 촉진하겠다는 의지를 보여줍니다.
자주 묻는 질문
Novita AI의 API 구조는 Langfuse의 모니터링 기능과 호환되나요?
네, Novita AI는 간단한 API 구조를 제공하므로 Langfuse의 관찰 가능성 기능을 구현하는 데 이상적입니다.
이 통합은 엔터프라이즈 규모의 AI 애플리케이션에 적합한가요?
네, Novita AI의 인프라와 Langfuse의 모니터링 기능을 결합하면 조직이 다양한 산업 분야에서 AI 솔루션을 효율적으로 확장할 수 있도록 특별히 설계되었습니다.
Novita AI와 Langfuse를 통합하려면 복잡한 API 수정이 필요한가요?
아니요, Novita AI 플랫폼은 간단한 API 구조로 설계되었습니다.
기간 한정 혜택
Novita AI는 현재 추천 프로그램을 제공하며, 이는 Helicone 사용자에게 혜택이 될 수 있습니다. 관심이 있는 경우 사용자가 초대 링크/코드를 공유하면 본인과 추천인 모두 DeepSeek R1 및 V3 API에 사용할 수 있는 $20 크레딧을 받게 됩니다.
Novita AI 소개
Novita AI는 개발자에게 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있는 방법을 제공하면서도 경제적이고 신뢰할 수 있는 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.
