Llama 3.2 モデルが Novita AI でご利用可能に

Llama 3.2 モデルが Novita AI でご利用可能に

Novita AI が Meta の Llama 3.2 モデルを最新統合し、次世代の AI 開発を体験してください。当プラットフォームは、コスト効率と優れたパフォーマンスを維持しながら、多様な開発ニーズに対応する包括的なモデル群を提供します。

Llama 3.2 の新機能

|||||||

|---|---|---|---|---|---| ||Llama 2.0 (7B, 13B, 70B)|Llama 3.0 (8B, 70B)|Llama 3.1 (8B, 70B, 405B)|Llama 3.2 Multimodal (11B & 90B)|Llama 3.2 Lightweight Text Only (1B & 3B)| |リリース日|2023年7月18日|2024年4月18日|2024年7月23日|2024年9月25日|2024年9月25日| |コンテキストウィンドウ|4K|8K|128K|128K|128K| |語彙サイズ|32K|128K|128K|128K|128K| |公式多言語対応|英語のみ|英語のみ|8言語|8言語|8言語| |ツール呼び出し|なし|なし|あり|あり|あり| |知識カットオフ|2022年9月|2023年3月(8B)/12月(70B)|2023年12月|2023年12月|2023年12月|

1) 11B および 90B モデルにおけるマルチモーダル入力

Llama 3 へのマルチモーダル機能追加のための構成的アプローチの図

出典: Meta

  • 画像理解: オブジェクト、シーン、描画を認識し、OCR機能も備えています。
  • キャプション生成とQA: 画像に基づいたキャプションの生成と質問への回答を行います。
  • 視覚的推論: 数式、グラフ、ドキュメントを分析し、高度な視覚的推論を実現します。

2) 1B および 3B テキスト専用モデルの小型サイズ

  • 新しいSLM(小規模言語モデル)のユースケース:
    • デバイス上での要約
    • 文章作成と翻訳
    • 多言語でのQA

Novita AI で利用可能な Llama 3.2 モデル

Novita AI 上の Llama 3.2 モデルのスクリーンショット

Novita AI は、Llama 3.2 の強力な3つのバリエーションを提供しており、それぞれ異なるユースケースに最適化されています。

Llama 3.2 1B Instruct: 効率的なAIへのゲートウェイ

最高131,000トークンのコンテキストウィンドウを備えた、最もアクセスしやすいモデルで、開発ワークフローを変革します。わずか$0.02/Mトークンで、迅速なプロトタイピングや軽量アプリケーションに優れた価値を提供します。Llama 3.2 1B Instructを今すぐ試す

Llama 3.2 3B Instruct: パワーとパフォーマンスの融合

32,768トークンのコンテキスト長を備えたミッドレンジモデルで、推論能力を強化します。入力トークン$0.03/M、出力トークン$0.05/Mという競争力のある価格設定で、堅牢なパフォーマンスが求められる中規模アプリケーションに最適です。Llama 3.2 3B Instructを今すぐ試す

Llama 3.2 11B Vision Instruct: マルチモーダルの卓越性

高度なビジョンモデルで、最先端のマルチモーダル処理を体験してください。131,000トークンのコンテキスト長をサポートし、$0.06/Mトークンで、複雑な視覚言語タスクに優れています。Llama 3.2 11B Vision Instructを今すぐ試す

オープンソース基盤によるマルチモーダルAIの進化

Llama 3.2 モデルのアプリケーション

110億および900億パラメータを備えたLlama 3.2ビジョンモデルは、画像とテキストを処理するための堅牢なマルチモーダル機能を提供します。Novita AIプラットフォームと統合することで、以下のような重要な実世界のアプリケーションを実現できます。

マルチモーダルのユースケース

  • インタラクティブエージェント: テキストと画像の両方の入力に応答できるAIエージェントを開発し、ユーザー体験を向上させます。
  • 画像キャプション生成: eコマース、コンテンツ作成、デジタルアクセシビリティ向けの高品質な画像説明文を生成します。
  • ビジュアル検索: 画像を使用した検索を可能にし、eコマースや小売における検索効率を向上させます。
  • ドキュメントインテリジェンス: 法的契約書や財務報告書など、テキストとビジュアルの両方を含むドキュメントを分析します。

業界別アプリケーション

Novita AI の Llama 3.2 エンドポイントは、さまざまな業界に新たな可能性をもたらします。

  • ヘルスケア: 医用画像解析を強化し、診断精度と患者ケアを向上させます。
  • 小売・Eコマース: 画像やテキストに基づく検索とパーソナライズされたレコメンデーションでショッピング体験を変革します。
  • 金融・法務: グラフィカルおよびテキストコンテンツを分析し、契約レビューや監査のワークフローを最適化します。
  • 教育・トレーニング: テキストとビジュアルの両方を処理するインタラクティブな教育ツールを開発し、エンゲージメントを高めます。

はじめよう: Novita AI への旅

ステップ1: モデルを選択する

Llama 3.2 1B プレイグラウンド

要件に基づいて選択してください。

または、Python SDK を使用してLlamaモデルをアプリケーションに迅速に統合することもできます。

ステップ2: 統合とデプロイ

以下の簡単な統合プロセスに従ってください。

  1. Novita AI アカウント にサインアップします。
  2. 包括的な LLM API ドキュメント にアクセスします。
  3. お好みのプログラミング言語で API 呼び出しを実装します。
  4. 開発環境で徹底的にテストします。

Python クライアントの例

from openai import OpenAI

client = OpenAI(base_url="https://api.novita.ai/v3/openai",api_key="Your API Key",
)

model = "meta-llama/llama-3.2-11b-vision-instruct"stream = True  # or Falsemax_tokens = 65500system_content = "Be a helpful assistant"temperature = 1top_p = 1min_p = 0top_k = 50presence_penalty = 0frequency_penalty = 0repetition_penalty = 1response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(model=model,messages=[
        {"role": "system","content": system_content,
        },
        {"role": "user","content": "Hi there!",
        }
    ],stream=stream,max_tokens=max_tokens,temperature=temperature,top_p=top_p,presence_penalty=presence_penalty,frequency_penalty=frequency_penalty,response_format=response_format,extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
)
if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

JavaScript クライアントの例

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "https://api.novita.ai/v3/openai",
  apiKey: "Your API Key",
});
const stream = true; // or false

async function run() {
  const completion = await openai.chat.completions.create({
    messages: [
      {
        role: "system",
        content: "Be a helpful assistant",
      },
      {
        role: "user",
        content: "Hi there!",
      },
    ],
    model: "meta-llama/llama-3.2-3b-instruct",
    stream,
    response_format: { type: "text" },
    max_tokens: 16384,
    temperature: 1,
    top_p: 1,
    min_p: 0,
    top_k: 50,
    presence_penalty: 0,
    frequency_penalty: 0,
    repetition_penalty: 1
  });

  if (stream) {
    for await (const chunk of completion) {
      if (chunk.choices[0].finish_reason) {
        console.log(chunk.choices[0].finish_reason);
      } else {
        console.log(chunk.choices[0].delta.content);
      }
    }
  } else {
    console.log(JSON.stringify(completion));
  }
}

run();
  

Curl クライアントの例

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer Your API Key" \
  -d @- << 'EOF'
{
    "model": "meta-llama/llama-3.2-3b-instruct",
    "messages": [
        {
            "role": "system",
            "content": "Be a helpful assistant"
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
    ],
    "response_format": { "type": "text" },
    "max_tokens": 16384,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF
  

ステップ3: 最適化とスケーリング

実装を最大限に活用するために:

  • トークン使用量とコストを監視します。
  • プロンプトを洗練して効率を高めます。
  • パフォーマンスのニーズに応じてアプリケーションをスケーリングします。
  • 広範なコンテキスト長機能を活用します。

AI開発を変革する準備はできましたか?

今すぐ Novita AI にアクセスして、Llama 3.2 での構築を始めましょう。当社のチームは、実験から本番デプロイまで、お客様の旅をサポートし、これらの強力なモデルを最大限に活用できるよう支援いたします。

元の記事は Novita AI に掲載されています。

Novita AI は、AI の野望を実現するオールインワンのクラウドプラットフォームです。統合 API、サーバーレス、GPU インスタンス — コスト効率の高いツールを提供します。インフラストラクチャを排除し、無料で始めて、AI のビジョンを現実のものにしましょう。

おすすめ記事

  1. Llama 3.2 vs GPT-4o: 適切な AI モデルの選び方
  2. Llama 3.2 にアクセスする方法: AI 開発プロセスの効率化
  3. Llama 3.2 Vision: マルチモーダルオープンソース AI の力を解き放つ