AskHN:如何开始使用CUDA

如何开始使用CUDA

CUDA（Compute Unified Device Architecture）是由NVIDIA开发的并行计算平台和编程模型，它允许开发者利用NVIDIA GPU的强大计算能力来加速计算密集型应用。以下是如何开始使用CUDA的详细指南。

1. 硬件和软件要求

1.1 硬件要求

• 支持CUDA的NVIDIA GPU：确保您的计算机或云实例配备了支持CUDA的NVIDIA GPU。您可以通过NVIDIA官方网站查询支持CUDA的GPU列表。
• 操作系统：CUDA支持Windows、Linux和WSL（Windows Subsystem for Linux）。

1.2 软件要求

• CUDA Toolkit：这是NVIDIA提供的开发工具包，包含编译器、库和调试工具。
• NVIDIA驱动程序：确保安装了与CUDA版本兼容的NVIDIA驱动程序。
• C++编译器：在Linux上使用g++，在Windows上使用MSVC或WSL中的g++。

2. 安装CUDA Toolkit

2.1 下载CUDA Toolkit

• 访问NVIDIA CUDA Toolkit Archive页面，选择与您的操作系统和GPU驱动版本兼容的CUDA版本。
• 下载对应的安装包（.run文件或.exe文件）。

2.2 安装CUDA Toolkit（Linux）

1. 下载并解压安装包：

wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda_12.4.1_550.54.15_linux.run
chmod +x cuda_12.4.1_550.54.15_linux.run

2. 运行安装脚本：

sudo ./cuda_12.4.1_550.54.15_linux.run

• 在安装过程中，您可以选择是否安装NVIDIA驱动程序。如果您的系统已经安装了驱动程序，请取消选择驱动程序安装选项。

3. 配置环境变量：

echo 'export PATH=/usr/local/cuda/bin:$PATH' | sudo tee /etc/profile.d/cuda.sh
source /etc/profile

4. 验证安装：

nvcc --version

2.3 安装CUDA Toolkit（Windows）

1. 下载并运行安装程序：

• 访问NVIDIA CUDA Toolkit下载页面，选择与您的操作系统和GPU驱动版本兼容的CUDA版本。
• 下载并运行安装程序。

2. 自定义安装：

• 在安装过程中，选择自定义安装，并确保安装CUDA Toolkit和NVIDIA驱动程序。
• 记住安装路径，通常为C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4。

3. 验证安装：

• 打开命令提示符，输入以下命令：

nvcc --version

3. 编写和运行CUDA程序

3.1 编写CUDA程序

以下是一个简单的CUDA程序示例，该程序在GPU上执行两个数组的加法操作：

#include <iostream>
#include <math.h>
// CUDA kernel to add two arrays
__global__ void add(int n, float *x, float *y) {
 for (int i = 0; i < n; i++) {
 y[i] = x[i] + y[i];
 }
}
int main(void) {
 int N = 1 << 20; // 1 million elements
 float *x, *y;
 // Allocate Unified Memory – accessible from CPU or GPU
 cudaMallocManaged(&x, N * sizeof(float));
 cudaMallocManaged(&y, N * sizeof(float));
 // Initialize x and y arrays on the host
 for (int i = 0; i < N; i++) {
 x[i] = 1.0f;
 y[i] = 2.0f;
 }
 // Run kernel on 1M elements on the GPU
 add<<<1, 1>>>(N, x, y);
 // Wait for GPU to finish before accessing on host
 cudaDeviceSynchronize();
 // Check for errors (all values should be 3.0f)
 float maxError = 0.0f;
 for (int i = 0; i < N; i++) {
 maxError = fmax(maxError, fabs(y[i] - 3.0f));
 }
 std::cout << "Max error: " << maxError << std::endl;
 // Free memory
 cudaFree(x);
 cudaFree(y);
 return 0;
}

3.2 编译和运行CUDA程序

1. 保存代码：将上述代码保存为add.cu文件。
2. 编译代码：

• 在Linux上使用nvcc编译器：

nvcc add.cu -o add

• 在Windows上使用nvcc编译器：

nvcc add.cu -o add.exe

3. 运行程序：

• 在Linux上：

./add

• 在Windows上：

add.exe

4. CUDA编程基础

4.1 CUDA线程组织

• 线程：CUDA程序中的计算任务由线程执行。线程被组织成线程块（block）和网格（grid）。
• 线程块：每个线程块包含多个线程，线程块内的线程可以协作。
• 网格：多个线程块组成一个网格，网格中的线程块可以并行执行。

4.2 内存管理

• 主机内存：CPU使用的内存。
• 设备内存：GPU使用的内存。
• 统一内存：CUDA提供了一种统一内存管理方式，允许主机和设备共享同一块内存