现代 GPU 是推动当今计算突破的引擎——从逼真的游戏画面到万亿参数级别的 AI 模型。NVIDIA GPU 已成为计算任务中不可或缺的工具。在这些 GPU 的核心，有两个关键组件：**CUDA 核心 ** 和 **Tensor 核心 **。CUDA 核心是通用计算的主力军，而 Tensor 核心则专注于加速 AI 和机器学习工作负载。本指南将探讨它们的区别、性能及理想使用场景，并解释像 Novita AI 这样的平台如何让用户无缝利用这两种技术。
什么是 CUDA 核心？
CUDA 核心是 NVIDIA GPU 中负责并行计算的基本单元。CUDA 代表计算统一设备架构（Compute Unified Device Architecture），是 NVIDIA 的并行计算平台和编程模型。这些核心处理广泛的通用任务，包括图形渲染、模拟和科学计算。
每个 CUDA 核心旨在对大型数据集并行执行基本算术运算（如加法和乘法），使 GPU 能够比 CPU 更高效地处理 3D 渲染或物理模拟等复杂任务。
CUDA 核心的应用：
- 图形渲染（例如，电影制作）
- 科学模拟（例如，物理学、分子生物学）
- 通用并行处理（例如，大规模数据处理）
CUDA 核心擅长那些可以分解成较小独立操作且可并行执行的任务，因此非常适合各种计算密集型工作负载。
什么是 Tensor 核心？
Tensor 核心由 NVIDIA 在 Volta 架构中引入，是专门设计用于加速 AI 工作负载（尤其是深度学习任务）的核心。这些核心针对矩阵运算进行了优化，而矩阵运算是神经网络的核心。Tensor 核心可以同时处理多个操作，并且在处理大规模矩阵乘法和卷积（深度学习的训练和推理中的关键任务）时效率极高。
Tensor 核心旨在处理混合精度算术，这意味着它们可以以较低精度格式（如 FP16 或 INT8）执行计算，从而显著提升性能，同时不会牺牲深度学习任务所需的精度。
Tensor 核心的应用：
- 神经网络训练（例如，卷积神经网络和循环神经网络）
- AI 推理（例如，目标检测、语言处理）
- 高性能深度学习（例如，像 GPT 这样的大语言模型）
Tensor 核心针对特定的深度学习操作（如矩阵乘法）进行了优化，因此非常适合涉及训练复杂 AI 模型或执行实时推理的工作负载。
下图展示了 NVIDIA GPU 的 SM（流式多处理器）架构，突出显示了 Tensor 核心及其在整个结构中的集成。Tensor 核心是专门为加速深度学习任务中关键的矩阵运算而设计的单元。
工作原理：技术详解
下表对 CUDA 核心和 Tensor 核心进行了技术对比，突出显示了它们各自的功能、精度支持、吞吐量和能效。该对比有助于了解每种核心类型如何为不同的计算任务（尤其是在 AI 和深度学习工作负载方面）做出贡献。
| **方面 ** | **CUDA 核心 ** | Tensor 核心 |
|---|---|---|
| 核心功能 | 执行标量/向量运算（例如，FP32 + FP32） | 针对矩阵数学优化（例如，C=A×B+C） |
| 精度支持 | FP32、FP64 | FP16、INT8、BF16、FP8、FP4（使用 FP32 累加） |
| 吞吐量 | 对多样化并行任务具有高吞吐量 | 在矩阵密集型工作负载（如 AI 训练）上快 30 倍 |
| 能效 | 针对持续工作负载（如游戏）优化 | AI 任务功耗降低 40% |
性能对比
虽然 CUDA 核心和 Tensor 核心都对 GPU 性能有贡献，但它们的作用和优化方向适用于不同的工作负载。
- CUDA 核心 非常适合通用计算任务，如图形渲染和科学模拟。它们对于需要同时处理大量数据的并行处理任务非常高效。
- Tensor 核心 通过并行处理矩阵运算，显著提升了深度学习模型的性能。在 AI 特定任务方面，这些核心可以实现远高于 CUDA 核心的吞吐量。
优化你的工作负载：何时使用 CUDA 核心与 Tensor 核心
何时使用 CUDA 核心：
- 需要高吞吐量并行处理的通用任务，如图形渲染或模拟。
- 不严重依赖矩阵运算但需要高效并行计算的工作负载。
何时使用 Tensor 核心：
- 涉及大规模矩阵乘法的深度学习任务，例如训练神经网络。
- AI 推理任务，其中低延迟和高吞吐量的矩阵运算对实时性能至关重要。
为了获得最佳性能，许多现代工作负载受益于混合方法，利用 **CUDA 核心 ** 处理通用任务，利用 Tensor 核心 处理 AI 特定操作。
现代 GPU（如 H100）将两种核心结合使用。例如：
- 使用 CUDA 核心进行数据预处理。
- 将训练任务卸载到 Tensor 核心，实现 30 倍加速。
为什么选择 Novita AI 作为你的 GPU 云提供商？
同时访问 CUDA 和 Tensor 核心
Novita AI 提供基于云的 GPU 服务，使用户能够同时访问 **CUDA 核心 ** 和 Tensor 核心，从而实现灵活高效的资源使用。无论你是在运行通用模拟还是训练 AI 模型，Novita AI 都拥有合适的 GPU 基础设施来支持你的需求。
可扩展性与成本效益
Novita AI 允许用户按需租用 GPU，根据计算需求进行扩展或缩减。这种按需付费模式消除了对前期硬件投资的需求，并为波动的工作负载提供了灵活性。无论你是在进行短期 AI 项目还是长期模拟，Novita AI 的 GPU 云都是一种经济高效的解决方案。
以下是不同 GPU 实例的综合定价结构。我们提供按需小时费率以及订阅计划，承诺时间越长折扣越大。所有计划均包含专用资源和高级支持。根据你的计算需求和使用模式选择合适的选项。
| **选项 ** | RTX 3090 24 GB | RXT 4090 24 GB | RXT 6000 Ada 48GB | H100 SXM 80 GB |
| 按需 | $0.21/hr | $0.35/hr | $0.70/hr | $2.89/hr |
| 1-5 个月 | $136.00/月（9 折） | $226.80/月（9 折） | $453.60/月（9 折） | $1872.72/月（9 折） |
| 6-11 个月 | $129.00/月（85 折） | $206.64/月（82 折） | $428.40/月（85 折） | $1664.64/月（8 折） |
| 12 个月 | $113.40/月（75 折） | $189.00/月（75 折） | $403.20/月（8 折） | $1498.18/月（72 折） |
开始使用 Novita AI
第 1 步： 创建 账户
准备好开始了吗？访问 Novita AI 平台，只需几分钟即可创建你的账户。登录后，前往“GPU”部分，你可以浏览可用的实例、比较规格，并选择最适合你计算需求的方案。我们用户友好的界面让你可以轻松部署第一个 GPU 实例，开启 AI 开发之旅。
[立即试用 Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=CUDA Cores vs Tensor Cores: A Deep Dive into GPU Performance)
第 2 步： 选择你的 GPU****
我们的平台提供各种专业设计的模板，以满足你的特定需求，同时你也能够灵活地从头开始创建自己的模板。通过访问像 NVIDIA H100 这样配备充足显存和内存的强大 GPU，我们保证即使是训练最复杂的 AI 模型也能快速、流畅且高效。
[尝试 Novita AI 的高性能 GPU](https://novita.ai/gpus-console/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=CUDA Cores vs Tensor Cores: A Deep Dive into GPU Performance)
第 3 步： 自定义你的设置****
从 60GB 的免费容器磁盘存储开始，并根据需要轻松扩展。选择灵活的按需定价或订阅计划，以适应你的预算和使用模式。无论你处于开发、测试还是全面部署阶段，我们的存储解决方案都能随着你的业务无缝扩展。随着数据足迹的增长，你可以立即购买额外的存储空间，以满足不断增长的需求。
第 4 步： 启动你的实例****
根据你的需求和预算选择“按需”或“订阅”。仔细查看你选择的实例配置和价格明细。只需单击“部署”，你的 GPU 实例就会启动并运行，准备立即使用。
结论
理解 **CUDA 核心 ** 和 Tensor 核心 之间的区别对于优化你的 GPU 工作负载至关重要。CUDA 核心非常适合通用并行计算任务，而 Tensor 核心则擅长加速深度学习任务。通过利用这两种核心类型，你可以最大化 GPU 的性能并优化工作流程。
对于寻求灵活、高性能 GPU 资源的用户来说，Novita AI 提供了一个卓越的解决方案，在一个可扩展且经济高效的云环境中提供对 **CUDA 核心 ** 和 Tensor 核心 的访问。无论你从事 AI、模拟还是其他领域的工作，Novita AI 都能让你选择适合自己需求的 GPU，并优化计算性能。
常见问题解答
Tensor 核心能否像 CUDA 核心一样用于通用计算？
虽然 Tensor 核心专门用于 AI 任务和深度学习，但它们不适合像 CUDA 核心那样的通用计算。Tensor 核心针对矩阵运算和混合精度计算进行了优化，因此更适合训练神经网络和运行 AI 推理，而非传统计算任务。
在现代 GPU 中，CUDA 核心和 Tensor 核心如何协同工作？
在现代 GPU（如 NVIDIA A100）中，CUDA 核心和 Tensor 核心共同处理不同类型的工作负载。CUDA 核心负责数据处理和图形渲染等通用任务，而 Tensor 核心则加速深度学习任务所需的矩阵密集型计算，例如训练大型神经网络。
何时应使用 CUDA 核心而非 Tensor 核心，反之亦然？
对于不需要大量矩阵运算的通用计算任务，如数据处理、科学模拟等，使用 CUDA 核心。另一方面，在处理 AI 工作负载（尤其是深度学习任务，如训练卷积或循环神经网络，或运行像 GPT 这样的大规模 AI 推理模型）时，使用 Tensor 核心。
[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=CUDA Cores vs Tensor Cores: A Deep Dive into GPU Performance) 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的便捷方式，同时还提供经济可靠且价格实惠的 GPU 云，用于构建和扩展。
推荐阅读
