**
第五章GPU编程模型
**
1.CPU和GPU交互：有各自的物理内存空间，通过PCIE总线互连，交互开销较大
2.GPU存储器层次架构：
Work item：理解为ALU,处理核，有私有的存储空间，及其对应的寄存器
Compute unit：SM 会有一段共享存储空间 通带PCIE总线和计算设备进行交互
访存速度：寄存器（有专门硬件支持）、共享存储单元、local memory、global memory（显存的一部分），constant memory（有专门cach管理），Texture memory
3.GPU线程模型：grid：写的程序，代码块，若干个线程组成了一个block
线程组织架构说明：一个kernel具有大量 线程，线程被划分为线程块blocks，kernel启动一个“grid”，包含若干线程块，线程和线程块具有唯一的标识
4.GPU线程映射关系：
线程私有的有寄存器和local memory，线程块都有自己的shared memory，每个设备有对应的global memory
5.编程模型
常规意义的GPU用于处理图形图像
操作于像素，每个像素的操作都类似
可以应用SIMD (single instruction multiple data)
6. Single Instruction Multiple Thread (SIMT) 和SIMD相似
GPU版本的 SIMD，大量线程模型获得高度并行，线程切换获得延迟掩藏，多个线程执行相同指令流，GPU上大量线程承载和调度