CUDA TOOlkit Programming Guide 1.Introduction

3.1. Compilation with NVCC nvcc是简化的C++编译器(解释了为啥在编译C动态库时会丢失函数指针) 3.2. CUDA Runtime 3.2.1. Initialization 没有显式的初始化GPU设备的函数 cudaDeviceReset()会将设备的上下文销毁 3.2.2. Device Memory device端申请linear memory 或者 CUDA...

https://www.cnblogs.com/cuancuancuanhao/p/7795108.html 1. 简介 2. 编程模型 ▶SM version 指的是硬件构架和特性，CUDA version 指的是软件平台版本。 3. 编程接口。参考http://chenrudan.github.io/ ▶ Runtime API 为较高层级的管理接口，提供申请和释放...

SE10P： 1. 单精度峰值性能:  32 SP FLOPs/clock/core * 61 cores * 1.1GHz =2147.2 GFLOP/s 2. 双精度峰值性能:  16 DPFLOPs/clock/core * 61 cores * 1.1GHz = 1073.6 GFLOP/s 3. 内存带宽:  4 Bytes/channel * 16 mem. channe

CPU 端负责准备数据、申请显存、拷贝数据、启动 kernel。GPU 端运行 __global__ kernel。一次 kernel launch 会创建一个 grid。grid 由 block 组成。block 由 thread 组成。thread 会按 32 个一组组成 warp。warp 是 SM 实际调度的基本单位。每个 thread 通过 idx 处理不同的数据。CUDA event 可以用来测 GPU kernel 时间。repeat 多次取平均可以减少波动。

1 系统需求 可以执行cuda程序的gpu linux，gcc和工具链 nvidia cuda 工具箱 环境需求： CentOS 7.x kernel 3.10.0 gcc 4.8.5 glibc 2.17 2 安装前的准备 2.1 确认有可以执行cuda程序的gpu $ lspci | grep -i nvidia http://developer.nvidia.co...

基础 一般内存的设计:寄存器->缓存->主存->磁盘存储器 GPU内存设计 修饰符 变量名 存储器 作用域 生命周期 float var 寄存器 线程 线程 float var[100] 本地 线程 线程 __shared__ float var + 共享 块 块 __device__ float var + 全局 全局 应用程序 __c...

基础 CUDA（Compute Unified Device Architecture)是NVIDIA提出 CPU和GPU是的PCI-Express总线相连 cpu CPU则负责管理设备端的资源; CPU核心比较重，用来处理非常复杂的控制逻辑，以优化串行程序执行。 CPU线程:操作系统必须交替线程使用启用或关闭CPU执行通道以提供多线程处理功能。上下文的切换缓慢且开销大 gpu G...

thread对内存读写的安全 void __threadfence_block(); void __threadfence(); void __threadfence_system(); 参考: https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#memory-fence-functions ...

cuBlas 2ms 参考: https://docs.nvidia.com/cuda/cublas/index.html#cublas-lt-t-gt-asum // nvcc 003 sasumVec .c -lcublas # include <stdio.h> # include <stdlib.h> # include <cuda_runtime.h>...

linux centos7 cuda安装

基础 每个GPU有多个SM（streaming multiprocessor） 当启动一个grid时,它的block会被分配给多个SM上执行,一个block一旦被调度到一个SM上,则这个block只会在那个SM上执行 多个block可以被分配到一个SM上执行 没32个线程未一组,被称为线程束(warp) block里的thread逻辑上可以并行运行,单并不是所有的thread可以同时在物理层面执...

cudaDeviceSynchronize() __syncthreads() 参考: https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#synchronization-programming-interface

流 cuda流 流分为两种类型:1)隐式声明流(空流),2)显式声明流(非空流) cudaError_t cudaMemcpyAsync(void* dst,const void* src, size_t count,cudaMemcpyKind kind,cudaStream_t stream = 0);异步拷贝版本 cudaError_t cudaStreamCreate(cudaStrea...

cudaStreamWaitEvent() cudaEventSynchronize() cudaEventElapsedTime() cudaEventQuery() cudaEventElapsedTime() cudaEventCreateWithFlags() cudaEventDisableTiming 参考: https://docs.nvidia.com/cuda/cuda-c-pr...

共享内存是较小的片上内存,具有较低的延迟(相比全局,低20~30倍),提供更高的带宽(相比全局,10倍) block通信 用于全局内存数据的缓存 __shared__来申请共享变量,如果共享内存大小在编译时是为知的,则需要加载extern关键字extern __shared__ int tile[] 共享内存被分为32个同样大小的内存模型,称为存储体)(bank),有32个ba...

处理线程同步 void __syncthreads(); 等待block所有的thread都到大这个点 int __syncthreads_count(int predicate); int __syncthreads_and(int predicate); int __syncthreads_or(int predicate); void __syncwarp(unsigned mask=0xf...