English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

ステップバイステップガイド：Novita AI GPUインスタンスでGemma 7Bを実行する

著者 / / GPU / 4 分で読めます
ステップバイステップガイド：Novita AI GPUインスタンスでGemma 7Bを実行する
目次
  1. Gemma 7B とは
  2. Novita AI で Gemma 7B を使う理由
  3. Novita AI の Gemma 7B テンプレートを使用したデプロイ

Google の Gemma 7B は、効率的で強力なオープンソース言語モデルとして大きな注目を集めています。このガイドでは、Novita AI の GPU インスタンスに Gemma 7B をデプロイし、さまざまなアプリケーションで利用できるようにする手順を説明します。

Gemma 7B とは

Gemma 7B は、Google の軽量かつオープンソースの言語モデルファミリーの一部で、Gemini モデルと同じテクノロジーを使用して構築されています。ラップトップやデスクトップなどのさまざまなハードウェアプラットフォームに展開できるよう設計されており、NVIDIA GPU や Google Cloud TPU 向けに最適化されています。Gemma 7B は 70 億のパラメータを持ち、主に Web 文書、数学、コードからなるデータセットでトレーニングされています。マルチヘッドアテンションを備えたデコーダのみのトランスフォーマーアーキテクチャを採用しており、コード生成、数学的推論、言語理解などのタスクに効率的です。

Novita AI で Gemma 7B を使う理由

Novita AI は、AI ワークロード向けに設計された高性能 GPU インスタンスを備えたクラウドベースのプラットフォームを提供しており、Gemma 7B のようなモデルを実行するのに理想的な選択肢です。Novita AI の GPU インスタンスで Gemma 7B を実行する利点は次のとおりです。

  • パフォーマンス: Novita AI の強力な GPU により、Gemma 7B は効率的に動作し、複雑なタスクを高いパフォーマンスで処理できます。
  • アクセシビリティ: Gemma 7B は軽量なためさまざまなハードウェアにデプロイできますが、Novita AI の GPU インスタンスを利用することで、さらにその能力を強化できます。
  • コスト効率: 大規模な AI モデルデプロイメントにおいて、ローカルハードウェアを維持するよりも、クラウドベースの GPU リソースを活用するほうがコスト効率が高くなることがあります。

Novita AI の Gemma 7B テンプレートを使用したデプロイ

前提条件

  • Novita AI アカウント: Novita AI のアクティブなアカウントが必要です。
  • Hugging Face の API トークン: huggingface.co でアカウントを作成し、Gemma モデルリポジトリとやりとりするための適切な権限を持つアクセストークンを生成する必要があります。
  • **基本知識 **: REST API の理解、**Docker コンテナ ** の操作、GPU コンピューティングの基礎 に関する知識が必要です。

Gemma 7B 導入のステップバイステップガイド

ステップ 1: Novita AI プラットフォームにアクセス

  1. Novita AI の公式ウェブサイトにアクセスします: https://novita.ai/

novita ai gpu website screenshot

[今すぐ Novita AI を試す](https://novita.ai/gpus/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances)

2. Google、GitHub、またはメール認証を通じて Novita AI にサインアップします。

3.上部メニューバーの「GPUs」に移動し、「Get Started」を選択してデプロイプロセスを開始します。

novita ai website screenshot

ステップ 2: GPU インスタンスに Gemma 7B をデプロイ

1.「Create My Template」をクリックします。

2. デプロイパラメータを設定します：

  • テンプレート名: テンプレートのわかりやすい名前を入力します（例：「Gemma 7b」）。
  • コンテナイメージ: vllm/vllm-openai:latest を入力します（該当する場合はカスタムイメージを使用）。
  • コンテナ起動コマンド: 使用するモデルを指定します: --model google/gemma-7b-it --max-model-len 4096（ポート 8000 はデフォルトで公開されますが、必要に応じて --port 8000 を追加）。
  • コンテナディスク: 適切なストレージサイズを設定します。
  • HTTP ポートを公開: 8000 を使用します（モデル提供の標準ポート）。
  • 環境変数: 名前: HF_TOKEN、値: Hugging Face のアクセストークン。

上記の設定が完了したら、「Save Template」をクリックして設定をテンプレートに保存します。

Hugging Face で Gemma モデルにアクセスするための注意事項：

  1. Hugging Face アカウントにログインします。
  2. Gemma モデルページ（google/gemma-7b-it）にアクセスします。 3.「Acknowledge license」ボタンをクリックします。
  3. 条件に同意すると、モデルファイルとコンテンツにすぐにアクセスできるようになります。

3. 上記の設定が完了したら、「Save Template」をクリックして設定をテンプレートに保存します。

ステップ 3: デプロイをカスタマイズ

このガイドでは、必要な GPU 数を設定します。例として、1 台の RTX 4090 GPU を使用します。

1. GPU 構成「1x RTX 4090 24GB」を選択します。

2.「Deploy」をクリックします。

3.「Next」をクリックします。

ステップ 4: インスタンスを起動

1.「Deploy」をクリックして、設定した環境をデプロイします。

インスタンスの設定と管理が行われるまで数分待ちます。

Novita ai gpu deploy screenshot

2. インスタンスが起動すると、モデルのプルが開始されます。「Logs」→「Instance Logs」をクリックして、モデルのダウンロード進捗を監視します。

ログに「INFO: Application startup complete」と表示されたら、起動成功です。これでプライベートモデルにアクセスできます。

3.「Connect」をクリックし、次に「Connect to HTTP Service [Port 8000]」をクリックします。これは API サービスであるため、アドレスをコピーする必要があります。

website URL

プライベートモデルにリクエストを送信するには、"http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai" を実際に公開されたアドレスに置き換えてください。以下のコードをコピーしてプライベートモデルにアクセスします。

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

url

4. Chatbox などのアプリケーションで API アドレスを設定すれば、自分専用のパーソナルアシスタントを利用できます。

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances) は、開発者がシンプルな API を使用して AI モデルを簡単にデプロイできると同時に、手頃で信頼性の高い GPU クラウドを構築およびスケーリングするための AI クラウドプラットフォームです。

関連記事