GPT OSSへのアクセス方法? インストールと最適化の完全ガイド

GPT OSSへのアクセス方法? インストールと最適化の完全ガイド

GPT OSS は、高度な言語機能をすべての人が利用できるように設計された、OpenAI初のオープンソースGPTモデルシリーズです。GPT OSS 120B(約1,170億パラメータ)と GPT OSS 20B(約210億パラメータ)の2つのサイズで提供されます。以前のOpenAIモデルとは異なり、GPT OSSは寛容なライセンスのもとでオープンウェイトを提供しており、ユーザーはモデルをダウンロードして自分のハードウェアで実行できます。

このガイドでは、GPT OSSの基本、改良点と要件、そして実際の使用方法について説明します。

GPT OSS入門:初心者向けガイド

gpt oss

GPT OSSのアーキテクチャ

  • スパース活性化によるMoE技術で効率的な推論を実現
  • 自己回帰型Transformer + MoEアーキテクチャ
  • RoPE(Rotary Position Embedding)
  • 大域的および局所的なウィンドウアテンションを交互に配置し、長いシーケンスをサポート
  • o200k_harmony トークナイザー、OpenAI Responses APIと互換性
  • OpenAIモデルインターフェースとの直接的な互換性

高い効率性と拡張性

  • スパース活性化を伴うMoE(Mixture-of-Experts)とTransformerアーキテクチャを採用することで、膨大なパラメータを扱いながらも高速かつ効率的に動作します。これにより、計算リソースを大幅に増やすことなくモデルサイズを拡張しやすくなります。

非常に長いコンテキストを処理可能

  • 最大128kトークンに対応し、位置エンコーディングにRoPE、大域的および局所的なアテンションを組み合わせることで、他のほとんどのモデルよりも長いテキストや会話を処理できます。これは長いドキュメントや複数ターンの対話に特に有用です。

統合と使用が容易

  • o200k_harmony トークナイザーとOpenAI APIとの直接的な互換性により、これらのモデルは既存のOpenAIワークフローにプラグインとして使用できます。これにより、開発者がモデルを採用・展開する際の障壁が低くなります。

GPT OSSのシステム要件

**モデル ** ** レイヤー数 ** ** 総パラメータ数 ** ** トークンあたりのアクティブパラメータ数 ** ** 総エキスパート数 ** ** トークンあたりのアクティブエキスパート数 ** ** コンテキスト長 ** ** シングルGPU VRAM要件**
gpt-oss-120b 36 117B 5.1B 128 4 128k 80GB
gpt-oss-20b 24 21B 3.6B 32 4 128k 16GB

GPT OSSのトレーニング

1. データ品質とカバレッジ

  • 規模: 大規模なテキストコーパスから数兆のトークンでトレーニング。
  • コンテンツの焦点: 専門分野(STEM、プログラミングコード)と一般的な知識の両方を含む。
  • 安全性フィルタリング: 有害でセンシティブなコンテンツ、特にバイオセーフティーについて厳格なフィルタリング。

強み: 幅広い一般的知識と技術分野における深い専門知識を兼ね備え、高いデータ安全性と信頼性を維持。

2. トレーニングプロセスと計算リソース

  • 計算投資:

    • GPT-OSS-120B: 約210万 H100 GPU時間(トップのプロプライエタリモデルに匹敵)
    • GPT-OSS-20B: その6分の1
  • アーキテクチャ: 自己回帰型Transformer + MoE

強み: 大規模な計算により、最先端のパフォーマンスとモデルロバスト性を実現。

3. トレーニング後の調整とアライメント

  • ファインチューニング:

    • 教師あり指示ファインチューニング
    • 高計算リソースを要する強化学習段階
  • アライメント技術:

    • Chain-of-Thought(CoT)強化学習
    • 安全性と倫理基準への厳格なアライメント

強み: 高度なステップバイステップ推論、複雑な問題解決、および安全性ガイドラインとの強力なアライメントを実現。

4. 柔軟性と実用性

  • 推論モード: 低、中、高の推論努力をサポートし、開発者は精度、遅延、コストのバランスを設定可能。

強み: さまざまなユースケースと計算予算に対して実用的な柔軟性を提供。

GPT OSSの改善点

GPT-OSSは強力なツール使用と拡張性で際立っています

GPT OSSとGPT 4の違い

GPT OSSとGPT 4の違い

GPT-OSS、特に120Bモデルは、推論、科学知識、コーディングにおいて強力な能力を示し、主流の大規模モデルに近づいています。しかし、GPT-4(o4-mini)は、一般的な推論、科学的推論、高度なチャレンジタスク、コード生成など、すべての主要ベンチマークで依然としてリードしています。GPT-OSSは競争力があり、要求の厳しいシナリオに適していますが、GPT-4は精度と汎用性の点でトップを維持しています。

GPT OSSはどこからダウンロードできますか?

GPT OSSの要件

高速化技術とリソース使用量(GPT-OSS推論)

高速化技術とリソース使用量

GPT OSSのダウンロード方法

方法 利点 ハードウェア 一般的な用途
Transformers 公式、柔軟、優れたコミュニティ 主要なGPUすべて ローカル推論、ファインチューニング
Llama.cpp 軽量、クロスプラットフォーム、高速 CUDA/Metal/Vulkan エッジ/コンシューマー/軽量デプロイメント
vLLM 高スループット、最適化済み Hopper優先 推論サーバー、スケーラブルAPI
transformers serve ワンコマンドでAPIサーバーを起動 任意 ローカルAPIプロトタイピング/テスト
torchrun/accelerate マルチGPU/分散推論 マルチGPU 大規模モデル推論/トレーニング

1. Transformersの使用

ほとんどのGPU、特にHopper/Blackwell(H100/H200/GB200/50xx)で動作します。

インストール

pip install --upgrade accelerate transformers kernels
# (オプション) PyTorch 2.8 + Triton 3.4 の場合:
pip install torch==2.8.0 --index-url https://download.pytorch.org/whl/test/cu128
pip install git+https://github.com/triton-lang/triton.git@main#subdirectory=python/triton_kernels

基本的な推論例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

messages = [{"role": "user", "content": "How many rs are in the word 'strawberry'?"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

サポートされる最適化

  • mxfp4 + Triton 3.4(Hopper/Blackwell GPU向け:最速かつ最小メモリ使用量)
  • Flash Attention 3(Hopper GPU向け、attn_implementation="kernels-community/vllm-flash-attn3" を使用)
  • MegaBlocks MoEカーネル(Hopper/Blackwell以外のCUDAまたはAMD向け、use_kernels=True を使用、mxfp4よりもメモリ使用量多め)

2. Llama.cpp

  • ネイティブのmxfp4 + Flash Attentionサポート。
  • クロスプラットフォーム:Metal、CUDA、Vulkan。
  • 簡単インストール:
    • macOS: brew install llama.cpp
    • Windows: winget install llama.cpp
  • 推奨:llama-serverと一緒に使用
llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 -fa --jinja --reasoning-format none
# ブラウザで http://localhost:8080 にアクセス

3. vLLM(最適化推論エンジン)

  • Flash Attention 3(Sink Attention)をサポート、Hopper GPUで最高のパフォーマンス。
  • Pythonで使用:
from vllm import LLM llm = LLM("openai/gpt-oss-120b", tensor_parallel_size=2) output = llm.generate("San Francisco is a")

GPT OSSをAPI経由で実行するには?

Novita AI は、131Kコンテキスト ** で GPT-OSS 120B API を提供しており、コストは ** 入力$0.1、** 出力$0.5** です。また、131コンテキストで GPT-OSS 20B を ** 入力$0.05**、** 出力$0.2** で提供しており、GPT OSSのコードエージェント可能性を最大限に引き出す強力なサポートを実現しています。

Novita AI

ステップ1:ログインしてモデルライブラリにアクセス

アカウントにログインし、モデルライブラリ ボタンをクリックします。

ログインしてモデルライブラリにアクセス

今すぐGPT OSSを試す!

ステップ2:モデルを選択

利用可能なオプションを参照し、ニーズに合ったモデルを選択します。

ステップ2:モデルを選択

ステップ3:無料トライアルを開始

無料トライアルを開始して、選択したモデルの機能を試してみましょう。

ステップ3:無料トライアルを開始

ステップ4:APIキーを取得

APIで認証するために、新しいAPIキーを提供します。「設定」ページに移動し、画像のようにAPIキーをコピーします。

APIキーを取得

ステップ5:APIをインストール

プログラミング言語に適したパッケージマネージャーを使用してAPIをインストールします。

インストール後、必要なライブラリを開発環境にインポートします。APIキーを使用してAPIを初期化し、Novita AI LLMとの対話を開始します。これはPythonユーザー向けのチャット補完APIの使用例です。

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "openai/gpt-oss-120b"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

GPT-OSSに適したチャットテンプレートの選び方

1. 通常の会話やQ&A – 最終結果のみをユーザーに表示

シナリオ: チャットボットを構築しており、ユーザーには最終的な回答のみを見せたい場合。
例:「明日の上海の天気は?」や「休暇申請書を書いてください。」

推奨方法:

  • <|channel|>final<|message|> 以降のコンテンツのみをユーザーに表示。
  • モデルの推論や分析をユーザーに表示 しない

2. デバッグやモデル推論の理解

シナリオ: 開発者として、モデルがどのように答えに至るかを段階的に確認したい場合。
またはプロンプトエンジニアリングを行っており、モデルの思考連鎖を検査したい場合。

推奨方法:

  • <|channel|>analysis<|message|> のコンテンツを自分または開発チーム向けに出力またはログに記録。
  • それでも、ユーザーインターフェースには最終回答のみを表示。

3. モデルのトレーニングやファインチューニング

シナリオ: トレーニングデータを準備しており、モデルに推論プロセスと最終回答の両方を学習させたい場合。
将来的にモデルが独自の思考連鎖を生成することを期待。

推奨方法:

  • トレーニングサンプルでは、最後のアシスタントターンにのみ思考連鎖を含め、すべてのターンに推論を追加 しない
  • {"thinking": "...", "content": "..."} の構造を使用し、最後のアシスタントメッセージのみに thinking フィールドを含める。

4. ツールコールや外部プラグインが関与する場合

シナリオ: 天気や株価を確認するなど、外部ツールを呼び出せるボット(GPT OSS使用)を構築している場合。
ツール呼び出しプロセスは、正しく動作するためにモデルの分析を利用する必要があります。

推奨方法:

  • <|channel|>analysis<|message|> のコンテンツをツール処理モジュールやオーケストレーションモジュールに渡して意思決定に使用。
  • ユーザーには最終回答のみを表示し、分析はバックエンドで使用。

5. 厳格なロール、時間、または機能制御

シナリオ: すべての会話にシステム情報(モデルID、日付、推論強度など)を含めたい場合。
例えば、エンタープライズアシスタントや試験ボットを展開する場合。

推奨方法:

  • チャットの開始時に "system" または "developer" ロールを使用してコンテキストを提供するか、model_identityreasoning_effort などのチャットテンプレートパラメータで設定する。

高度なMoE(Mixture-of-Experts)アーキテクチャ、非常に長いコンテキストのサポート、OpenAI APIとのシームレスな互換性により、GPT OSSは統合が容易で高性能です。研究、チャットボット構築、高度なツールやエージェントの開発など、GPT OSSはオープンでスケーラブルかつ安全な大規模言語モデルの新たな基準を提供します。

よくある質問

GPT OSSの主な機能は何ですか?

オープンソースとオープンウェイト: 自分のハードウェアにダウンロードして実行可能。
2つのモデルサイズ: 120B(約1,170億パラメータ、80GB VRAM)と20B(約210億パラメータ、16GB VRAM)。
最新アーキテクチャ: スパースMoE、長いコンテキスト(最大128kトークン)、大域的/局所的アテンション、RoPE。
API互換性: OpenAI APIのプラグインとして動作。

ハードウェア要件は?

GPT OSS 120B: 80GB GPU VRAM(H100、H200、GB200推奨)。
GPT OSS 20B: 16GB GPU VRAM。

GPT OSSにAPI経由でアクセスするには?

Novita AI は、120Bおよび20BモデルのAPIアクセスを、十分なコンテキストウィンドウと手頃な価格で提供しています。
サインアップしてAPIキーを取得し、OpenAI互換のエンドポイントを使用するだけです。

Novita AI は、シンプルなAPIを使用してAIモデルを簡単にデプロイできるAIクラウドプラットフォームであり、手頃な価格で信頼性の高いGPUクラウドを提供しています。

おすすめの記事