如何免費取得 Gemma 3 1B:在手機上建立 AI 應用程式

如何免費取得 Gemma 3 1B:在手機上建立 AI 應用程式

Gemma 3 1B 是 Google DeepMind Gemma 3 系列中最小的成員,擁有 10 億個參數。這款模型專為行動與網頁應用程式設計,針對快速下載與低延遲進行優化。量化後僅 0.5 GB,可完全在裝置端執行,無需依賴雲端即可使用離線 AI,不僅能降低成本,還能提升隱私性。本文將教你免費取得 Gemma 3 1B,協助你打造屬於自己的 AI 應用程式!

特別的是,Novita AI 已推出完全免費且高度穩定的 Gemma 3 1B API。你甚至不需要支付硬體費用,就能零成本打造屬於自己的 AI 行動應用程式。

立即免費試用 Gemma 3 1B!

什麼是 Gemma 3 1B?

與更大的 4B 以上模型不同,1B 模型為了保持輕量化,並未搭載影像理解能力。

功能 詳細資訊
模型類型 小型語言模型(SLM)
參數量 10 億
量化後大小 約 0.5 GB
多模態支援 文字輸入、文字輸出
上下文視窗 128K
語言支援 140 種以上語言
開放權重 提供預訓練與指令微調版本

Gemma 3 1B 是如何訓練的?

訓練資料
Gemma 3 1B 是在約 2 兆個 token 的多元文本語料庫上訓練而成,包含網頁(涵蓋 140 種以上語言)、程式碼以及數學或邏輯資料。

程式碼與數學資料的優勢
加入程式碼與數學資料集後,即使模型規模較小,也能處理基礎的程式碼問題與推理任務。值得注意的是,Gemma 3 1B 的表現超越了舊版 Gemma 2(2B) 模型,而體積僅為後者的 約 20%。Google 將此效能提升歸因於先進的訓練技術與優化手段。

Gemma 3 1B 採取了哪些措施以在小型硬體上運行?

使用 Gemma 3 1B 打造 Android 聊天應用程式

量化與模型大小優化
Gemma 3 1B 採用 量化感知訓練(QAT),能將權重精度降至 4 位元且幾乎不損失品質。Google 提供 int4 量化檢查點(約 529 MB),在大幅縮小模型體積的同時,仍能保留高準確度。

Transformer 架構改進
模型搭載優化後的 Transformer 架構,包含改進的 鍵值快取處理 以降低記憶體頻寬開銷,以及推理「預填充(prefill)」與「解碼(decode)」階段之間的 權重共享。這些調整提升了吞吐量並降低了記憶體使用量,在有限硬體上也能有極高的執行效率。

哪裡可以免費下載 Gemma 3 1B?

Gemma 3 1B 系統需求

總結來說,只要配備數 GB 的可用記憶體,近幾年推出的任何現代 PC 或智慧型手機都有可能執行 Gemma 3 1B。

類別 詳細資訊
記憶體(RAM/VRAM) 16 位元(BF16):1.5 GB
8 位元(SFP8):1.1 GB
4 位元(INT4):0.9 GB(861 MB)
建議:配備 4 GB 以上 RAM 的裝置,以應對執行階段開銷
儲存空間 離線 AI 功能使得儲存空間的取捨對行動裝置來說可控
效能 可在僅有 CPU 的系統上執行(效能受限)
GPU 能大幅提升吞吐量(請參閱 Android 效能數據):
預填充(tokens/秒):CPU:322.5 / GPU:2585.9
解碼(tokens/秒):CPU:47.4 / GPU:56.4
軟體需求 Python:Transformers 4.50 以上、Python 3.10 以上、PyTorch 或 TensorFlow(最新版本)
行動裝置/C++:Gemma.cpp(優化後的 GGML/gguf 移植版本)或 Google LiteRT 執行環境(需要 C++ 編譯器)
建議:為求簡便,請搭配 PyTorch 使用 Transformers

Gemma 3 1B 下載方法

Gemma 3 的權重是免費的,但你需要自行負擔硬體費用,並同意負責任的 AI 授權條款。

步驟 1:選擇你的設定與硬體

你可以透過以下其中一種方式執行 Gemma 3 1B:

  • 選項 A:在 Android 上使用演示應用程式
    從 GitHub 下載預先建置的演示應用程式,並安裝到你的 Android 裝置上:
$ wget https://github.com/google-ai-edge/mediapipe-samples/releases/download/v0.1.3/llm_inference_v0.1.3-debug.apk  
$ adb install llm_inference_v0.1.3-debug.apk
  • 選項 B:在你的電腦上執行(CPU 或 GPU)
    如果你偏好使用電腦,可以跳過演示應用程式,直接使用 gemma.cpp 或 Python 函式庫(例如 Transformers)執行模型。請確保你的硬體符合需求:

步驟 2:從 Hugging Face 下載模型

在模型選擇畫面(或透過你自己的設定)中,下載 Gemma 3 1B 的量化 INT4 版本。你需要登入 Hugging Face 並接受使用條款。模型大小約為 529 MB,下載完成後會自動針對你的裝置進行優化,這個過程只需要幾秒鐘。

步驟 3:執行模型

開始使用 Gemma 3 吧!你可以透過文本相關任務與其互動,例如摘要文章、產生社群媒體貼文,或是回答問題。模型會運用 Google AI Edge 的 LLM Inference API 進行高效的裝置端處理。

步驟 4:自訂 Gemma 3(選用)

使用你自己的資料建立 Gemma 3 1B 的微調版本。請按照提供的 Colab 筆記本進行訓練、量化,並將你的自訂模型部署到行動裝置或電腦上。

此版本將應用程式設定與硬體選擇合併為單一步驟,同時保持清晰且符合邏輯的流程。

可以透過 API 執行 Gemma 3 1B 的地方?

特別的是,Novita AI 已推出完全免費且高度穩定的 Gemma 3 1B API。你甚至不需要支付硬體費用,就能零成本打造屬於自己的 AI 行動應用程式。

步驟 1:登入並存取模型庫

登入你的帳號,點擊 模型庫 按鈕。

立即免費試用 Gemma 3 1B!

步驟 2:選擇你的模型

瀏覽可用的選項,選擇符合你需求的模型。

步驟 3:開始免費試用

開始免費試用,探索所選模型的功能。

步驟 4:取得你的 API 金鑰

要對 API 進行驗證,我們會提供給你新的 API 金鑰。進入「設定」頁面後,即可按照圖片指示複製 API 金鑰。

步驟 5:安裝 API

使用對應你的程式語言的套件管理器安裝 API。安裝完成後,將必要的函式庫匯入你的開發環境。使用你的 API 金鑰初始化 API,即可開始與 Novita AI LLM 互動。以下是为 Python 使用者提供的聊天完成 API 使用範例:

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="session_tx4VxsO56QFZbUWkCyCGSwujMfCa0XiMF6_y7U_s60AujO5Ti-XaXPZLjd4WVHPMO4FuR2tLmuSy9n1m5iIdIw==",
)

model = "google/gemma-3-1b-it"
stream = True # or False
max_tokens = 65536
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

Gemma 3 1B 展現了開放式 AI 的進步程度——將 10 億個參數壓縮到僅約 0.5 GB 的體積中。它在現代智慧型手機或 PC 上可完全離線執行,提供低延遲的 AI 服務,無需負擔雲端成本。透過 Hugging Face、Kaggle 或 Novita AI 的穩定 API 免費取得後,你可以進行實驗、原型開發,甚至是零成本推出屬於自己的 AI 行動應用程式。Gemma 3 1B 讓「口袋裡的 AI」成為切合實際的現實。

常見問題

使用 Gemma 3 1B 需要 GPU 嗎?

不需要。它可以在 CPU 或配備 ≥4 GB RAM 的行動硬體上執行。GPU 能提升速度,但並非必要。

Gemma 3 1B 的 PT 與 IT 版本有什麼差別?

PT = 預訓練(原始模型),IT = 指令微調(可直接用於聊天/助理場景)。大多數開發者應使用 IT 版本。

如何在不下載權重的情況下使用 Gemma 3 1B?

你可以透過 Novita AI 的免費 API 立即存取,或在 Hugging Face 的演示頁面中測試。

Novita AI 是一個 AI 雲端平台,為開發者提供簡單的 API 來部署 AI 模型,同時也提供實惠且可靠的 GPU 雲端服務,用於建構與擴展 AI 應用。

推薦閱讀