循环神经网络RNN基础《PyTorch深度学习实践》
Dense全连接 DeepDNN稠密网络，全连接网络（权重最多，占大头）卷积 权重少 原因是：卷积核上权重整个图像上是共享的，所以参数少循环神经网络RNN：专门用来处理带有序列关系模式的数据（天气，故事，自然语言），使用权重共享来减少需要训练的权重的数量使用思路：不仅要考虑序连接关系还要考虑先后的时间关系RNN Cell：本质线性层（一个维度映射到另一个维度） 如下图h0先验值：CNN+FC（图像生成文本）或设成和h1…同维度的向量for x in X: #h1=Linea_x_ = x_.view(y.shape[0], y.shape[1])是什么意思
计算机视觉部分函数积累
transforms.RandomResizedCrop(224) 函数：将给定图像随机裁剪为不同的大小和宽高比，然后缩放所裁剪得到的图像为制定的大小；transforms.RandomHorizontalFlip() 以给定的概率随机水平旋转给定的PIL的图像，默认为0.5；(2.torchvision.models: 包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；(3.torchvision.transforms: 常用的图片变换，例如裁剪、旋转等；
torch.nn.Parameter()，nn.Embedding()
含义是将一个固定不可训练的tensor转换成可以训练的类型parameter，并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的 parameter，所以在参数优化的时候可以进行优化)，所以经过类型转换这个变量就变成了模型的一部分，成为了模型中根据训练可以改动的参数。（2）使用self.test = torch.nn.Parameter(torch.rand(1, 2))#注意：Parameter大写P。1.torch.nn.Parameter()函数。_torch.parameters()
logit,熵,聚类等知识总结
Kmeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。③进行的是全局优化，强调一个神经网络模型囊括模型中所有步骤：可以实现各个子步骤的综合的、全局的优化的模型 也可以叫作端到端。用基于P的编码去编码来自Q的样本，所需要的比特个数。_聚类的熵
有无监督，上下游任务，高斯分布，BN总结
6.在深度学习中，语义信息可以通俗的理解成是图像的纹理，颜色，或者目标的类别等信息，例如在检测网络中，一个图像输入到网络中，经过一层层的卷积之后，语义信息会越来越明显，但是相对的位置信息会越来越弱，因为越到高层卷积的时候，feature map映射到原图中的感受野越大，这样对局部的位置信息感受就比较差。有激活函数解决这个问题。，现实中的很多随机变量是由大量相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量往往近似服从高斯分布（中心极限定理的客观背景）。_机器学习下游任务
概率论的一些知识
F ( x ) F ( x )F(x)在点x xx处的函数值表示X XX落在区间( − ∞ , x ] (−\infty,x](−∞,x]内的概率，所以分布函数就是定义域为R RR的一个普通函数，因此我们可以把概率问题转化为函数问题，从而可以利用普通的函数知识来研究概率问题，增大了概率的研究范围。1.PDF：如果X 是连续型随机变量，定义概率密度函数为f X (x)，用PDF在某一区间上的积分来刻画随机变量落在这个区间中的概率，即。3.A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）_cdf pdf
Pytorch使用Grad-CAM绘制ViT热力图
（2）反向梯度传播是从最后预测开始，逆着经过整个模型，而Dropout和MLP都是单个token做的，不能将最后y_c结果梯度传给所有token，只有在倒推回自注意力后才能将梯度返传给所有token。所以，去掉class_token序列，拿到所有组成原图的token，将它们reshape回原图的大小。图片划分patch，加上class_token，加上位置编码，传到transformer，分类预测。（1）在代码得到CAM图时，由于VIT最后得到的是patch的梯度，要reshape成二维图。_vit查看热区
enumerate(),plt绘图,保存json,cv2.resize,baseline
1.enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。baseline 就只是「参照物」的意思，至于 baseline 系统是怎么来的、性能如何，并没有一定的标准。INTER_LINEAR - 双线性插值，如果最后一个参数你不指定，默认使用这种方法。resize是opencv库中的一个函数，主要起到对图片进行缩放的作用。这么说resize岂不是和上采样和下采样功能方法几乎一致？放大缩小都使用的以上插值方法。
今日推荐
周排行