引言
隨著人工智慧的快速發展，GPU 已成為各大企業軍備競賽的焦點。擁有更多 GPU 意味著更強大的計算能力，能夠加速 AI 的訓練與推理。
為什麼 GPU 在 AI 時代如此重要？
GPU 與平行運算
你有沒有想過，為什麼大型遊戲能流暢運行並呈現逼真的畫面，而文書處理對電腦來說卻輕而易舉？這就像一個人做飯與一群人合作的差別。無論個人速度多快，都無法比擬團隊協作的效率。同樣的原則也適用於電腦處理資訊的方式。CPU 如同經驗豐富的大廚，善於處理各種複雜指令。然而，它只有一個「大腦」，限制了處理速度。相比之下，GPU 就像一群強壯且精力充沛的工人。雖然每個人未必有大廚那麼熟練，但集合起來的力量卻能同時處理大量的簡單任務。
想像用樂高積木搭建一座城堡。CPU 扮演著技藝高超的建築師，負責設計藍圖、規劃步驟。GPU 則代表一群孩子，拿到藍圖後就能分工合作，同時組裝城牆、塔樓、大門等不同部分。最後由 CPU 將這些部件組裝起來，完成整座城堡。
這正是 GPU 與平行運算的精髓：
- GPU： 最初為處理圖形而設計，GPU 已演變為強大的平行運算工具。
- 平行運算： 如同團隊同時作業，GPU 可以將一個大型任務拆解成多個小任務，分配到多個「核心」上同時處理，從而大幅提升效率。
除了遊戲之外，GPU 與平行運算在人工智慧、資料分析、科學計算等領域也有廣泛應用。它們是電腦的「加速器」，讓生活更加便利高效。
什麼是 CUDA？
CUDA（統一計算設備架構）是 NVIDIA 開發的一款平行運算平台與程式設計模型。它讓軟體開發人員與工程師能夠利用 NVIDIA GPU 進行通用計算，而不僅限於圖形渲染。
CUDA 的核心是一個軟體層，提供對 GPU 的直接存取。這使得開發者能夠發揮 GPU 的平行處理能力，加速計算密集的應用程式。CUDA 提供一套完整的 API（應用程式介面），支援 C、C++ 和 Fortran 等程式語言，讓開發者能編寫可在 GPU 上執行的程式。
CUDA 的主要特性包括：
- 平行性： GPU 擁有數千個平行處理核心，能同時處理大量數據，這使得 CUDA 非常適合平行計算任務。
- 記憶體管理： CUDA 提供對 GPU 記憶體的直接存取，包括全域記憶體、共享記憶體和常數記憶體。
- 執行緒與區塊： CUDA 程式由多個執行緒組成，這些執行緒被組織成區塊，然後對應到 GPU 的多處理器上。
- 動態平行性： CUDA 支援在 GPU 上動態啟動新的核心，可於執行時根據需求建立更多平行任務。
- 相容性： CUDA 與現有的程式設計模型及工具鏈相容，便於整合到現有應用程式中。
- 最佳化： NVIDIA 提供多種工具幫助開發者最佳化 CUDA 程式的效能，包括效能分析器與最佳化工具。
CUDA 程式設計模型
在 CUDA 出現之前，GPU 主要用於圖形渲染，要將其強大能力用於通用計算相當困難。CPU 與 GPU 在記憶體架構、指令集等方面差異甚大。此外，CPU 的程式設計模型通常是序列式的，而 GPU 更適合平行處理。
CUDA 引入了異質計算模型，讓開發者能夠使用熟悉的程式語言（如 C++）編寫程式，同時發揮 GPU 的平行處理能力。它抽象化了底層硬體細節，使開發者無需顧慮 GPU 的具體架構，能專注於演算法的平行實現。更重要的是，NVIDIA 提供了豐富的函式庫與工具，簡化了 GPU 程式設計與效能最佳化。
CUDA 程式設計模型降低了 GPU 加速通用計算的門檻，讓開發者能夠加速各種計算密集的任務，例如科學計算、機器學習和影像處理。
如何部署 CUDA
以下是在 Ubuntu 上安裝 CUDA 的詳細步驟：
檢查系統相容性
- 確認你的 GPU 是否為 NVIDIA GPU：
- 確保你的 Linux 核心版本滿足 CUDA 要求。請參考 NVIDIA 官方文件了解相容性資訊：https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
lspci | grep -i nvidia
下載 CUDA Toolkit
- 前往 NVIDIA 官方網站的 CUDA 下載頁面：https://developer.nvidia.com/cuda/cuda-downloads
- 選擇適合你 Ubuntu 版本、系統架構與 CUDA 版本的下載選項。
- 下載 runfile（本地）檔案類型。
安裝 CUDA
- 開啟終端機，切換到下載目錄，使用
chmod +x命令賦予 runfile 檔案執行權限。 - 執行 runfile 檔案，並依照提示完成安裝：
- 安裝過程中，接受授權協議，並選擇安裝所有元件，包括驅動程式、CUDA Toolkit 與 cuDNN。
- 安裝完成後，將 CUDA 路徑加入環境變數：
echo 'export PATH=/usr/local/cuda-<version>/bin:$PATH'~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-<version>/lib64:$LD_LIBRARY_PATH'~/.bashrc
source ~/.bashrc
sudo ./cuda_<version>_<distro>_<architecture>.run
chmod +x cuda_<version>_<distro>_<architecture>.run
驗證安裝
- 編譯並執行一個 CUDA 範例程式：
- 如果安裝成功，你將看到關於 GPU 的資訊，包括 CUDA 版本。
cd /usr/local/cuda-<version>/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
在 Novita AI 上使用 CUDA
在 Novita AI，我們的 GPU Instance 產品預設整合了 CUDA，無需任何額外繁瑣操作即可一鍵啟動。
在 novita ai 上使用 CUDA
結論
有了 CUDA，開發者可以充分發揮 NVIDIA GPU 的巨大運算能力，加速各種計算任務。
作為 NVIDIA 最重要的產品之一，CUDA 是 NVIDIA 軟體生態系的基礎。許多尖端技術都建構在 CUDA 之上，例如 TensorRT、Triton 與 Deepstream。這些基於 CUDA 平台開發的技術解決方案，展示了 CUDA 推動軟體創新的能力。
NVIDIA 的硬體擁有卓越的效能。然而，要發揮其全部潛力，需要匹配的軟體支援。CUDA 正是那座橋樑，為開發者提供了強大的介面，得以利用 GPU 硬體實現高效能計算加速。如同一位技術精湛的駕駛員操控一輛高性能跑車，CUDA 確保硬體的能力得以充分展現。
Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的便利途徑，同時也提供經濟實惠且可靠的 GPU 雲端服務，用於建置與擴展規模。
*推薦閱讀： *
