百度百科的解释：
CUDA是Compute Unified Device Architecture的缩写（我翻译成：通用并行计算架构，^_^），是显卡厂商NVIDIA（英伟达）推出的运算平台。该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。开发人员现在可以使用C语言来为CUDA架构编写程序。所编写的程序可以在支持CUDA的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。
说人话：
CUDA就是基于GPU并行架构的一套指令集，以C/C++/FORTRAN语言为基础。
