簡介
常常聽到 Llama 權重但不太了解嗎？別擔心！在這本終極指南中，我們將探討權重的概念、Llama 權重的內容與重要性、下載 Llama 權重的方法，以及採用 LLM 最有效率的方式——API。所以，如果你想跟上 Llama 權重的潮流，繼續看下去吧！
理解權重的概念
權重是神經網路（包括像 Llama 這類基於 Transformer 的語言模型）中的基本概念。權重是模型在訓練過程中學習的可調整參數，讓模型能夠捕捉資料中的模式，並在自然語言處理（NLP）任務上表現良好。Transformer 架構已成為最先進語言模型的主流設計，它將這些權重組織成一個名為「多頭自注意力」的特定結構。
在 Transformer 模型中，權重分佈在數百層中，每一層由許多神經元或單元組成。參數的數量會根據架構設計的選擇而有所不同，例如層數、輸入與輸出表示的維度，以及注意力機制的複雜程度。大量的參數允許模型捕捉自然語言中複雜的模式與細微差別，從而在廣泛的 NLP 任務（從文字生成到問答等）中展現強大的表現。值得注意的是，雖然較高的參數數量通常與更大的模型容量相關，但透過架構創新、訓練策略和正則化技術來有效利用這些參數，對於達到最佳性能和泛化能力至關重要。
什麼是 Llama 權重？
Llama 權重指的是 Llama 系列模型中所使用的參數。目前關於 Llama 權重的討論，源於 Meta AI 決定公開分享 Llama 2 和 Llama 3 模型。這意味著任何人都可以自由存取並下載這些模型，以及其標記器（將文字分解成較小「標記」的工具，類似於詞彙）和權重，用於個人甚至商業用途。
Llama 2 與 Llama 3 的差異
自然而然地，隨著模型的創新，不同世代的 Llama 擁有不同的權重數量。進一步說明，Llama 2 提供三種大小的模型，分別約有 70 億、130 億和 700 億個參數。同樣地，Llama 3 則提供 80 億和 700 億參數的版本。雖然 Meta AI 最大的模型擁有超過 4000 億個參數，但目前仍在訓練中，尚未發布。
以程式碼理解 Llama 權重
Writing vocab...
[ 1/291] Writing tensor tok_embeddings.weight | size 32000 x 4096 | type UnquantizedDataType(name='F16')
[ 2/291] Writing tensor norm.weight | size 4096 | type UnquantizedDataType(name='F32')
[ 3/291] Writing tensor output.weight | size 32000 x 4096 | type UnquantizedDataType(name='F16')
[ 4/291] Writing tensor layers.0.attention.wq.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 5/291] Writing tensor layers.0.attention.wk.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 6/291] Writing tensor layers.0.attention.wv.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 7/291] Writing tensor layers.0.attention.wo.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 8/291] Writing tensor layers.0.attention_norm.weight | size 4096 | type UnquantizedDataType(name='F32')
[ 9/291] Writing tensor layers.0.feed_forward.w1.weight | size 11008 x 4096 | type UnquantizedDataType(name='F16')
[ 10/291] Writing tensor layers.0.feed_forward.w2.weight | size 4096 x 11008 | type UnquantizedDataType(name='F16')
[ 11/291] Writing tensor layers.0.feed_forward.w3.weight | size 11008 x 4096 | type UnquantizedDataType(name='F16')
[ 12/291] Writing tensor layers.0.ffn_norm.weight | size 4096 | type UnquantizedDataType(name='F32')
[ 13/291] Writing tensor layers.1.attention.wq.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 14/291] Writing tensor layers.1.attention.wk.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 15/291] Writing tensor layers.1.attention.wv.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 16/291] Writing tensor layers.1.attention.wo.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[ 17/291] Writing tensor layers.1.attention_norm.weight | size 4096 | type UnquantizedDataType(name='F32')
[ 18/291] Writing tensor layers.1.feed_forward.w1.weight | size 11008 x 4096 | type UnquantizedDataType(name='F16')
[ 19/291] Writing tensor layers.1.feed_forward.w2.weight | size 4096 x 11008 | type UnquantizedDataType(name='F16')
[ 20/291] Writing tensor layers.1.feed_forward.w3.weight | size 11008 x 4096 | type UnquantizedDataType(name='F16')
[ 21/291] Writing tensor layers.1.ffn_norm.weight | size 4096 | type UnquantizedDataType(name='F32')
...
[283/291] Writing tensor layers.31.attention.wq.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[284/291] Writing tensor layers.31.attention.wk.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[285/291] Writing tensor layers.31.attention.wv.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[286/291] Writing tensor layers.31.attention.wo.weight | size 4096 x 4096 | type UnquantizedDataType(name='F16')
[287/291] Writing tensor layers.31.attention_norm.weight | size 4096 | type UnquantizedDataType(name='F32')
[288/291] Writing tensor layers.31.feed_forward.w1.weight | size 11008 x 4096 | type UnquantizedDataType(name='F16')
[289/291] Writing tensor layers.31.feed_forward.w2.weight | size 4096 x 11008 | type UnquantizedDataType(name='F16')
[290/291] Writing tensor layers.31.feed_forward.w3.weight | size 11008 x 4096 | type UnquantizedDataType(name='F16')
[291/291] Writing tensor layers.31.ffn_norm.weight | size 4096 | type UnquantizedDataType(name='F32')
