softmax-逻辑回归从零开始实现，对其理解

softmax回归，它的作用是让一组数字或者是对象之间的差异变得更大。相差不大的几个数字，1,2,3，经过softmax变换之后，变成“[0.09003057 0.24472847 0.66524096]”，从上述的变换中可以明显看出，两两之间的差异变得更大了。

至于为什么要在分类问题中引入softmax，个人的理解是“为了最大化差异”。引用教程中的例子：

直接使用输出层的输出有两个问题：

一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=103。那么输出值10却又表示图像类别为猫的概率很低。
另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量

可以看出距离是没有办法很好衡量的，但是我们可以通过softmax方式，将一系列元素向【0,1】这个区间映射。经过softmax之后，其差异会变得更大，这样，只要是一个列表中的一个元素在映射到【0，1】之间之后，超过剩下的元素的映射值，那么就可以认定最大值了。这样看来，分类问题，最后还是转化到了概率问题。这也就是softmax的意义所在。都是个人理解，如有不对的地方，还请能够指正。

下面放一段代码，也是自己跟着教程敲的，供大家用。

import torch
import torchvision
import numpy as np
import sys
import d2lzh_pytorch as d2l

#打印torch,torchvision的版本信息
# print(torch.__version__)
# print(torchvision.__version__)
#获取训练集和测试集
batch_size=256
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size=batch_size)
#初始化模型参数
num_inputs=784
num_outputs=10
#随机初始化权重矩阵和将偏差默认置为0
W=torch.tensor(np.random.normal(0,0.01,(num_inputs,num_outputs)),dtype=torch.float)
b=torch.zeros(num_outputs,dtype=torch.float)
#将权重矩阵和偏差矩阵都设置为需要梯度信息
W.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)
#定义softmax函数
def softmax(X):
    X_exp=X.exp()
    partition=X_exp.sum(dim=1,keepdim=True)
    return X_exp/partition
#定义softmax回归模型
def net(X):
    return softmax(torch.mm(X.view((-1,num_inputs)),W)+b)
#定义损失函数
def cross_entropy(y_hat, y):
    return - torch.log(y_hat.gather(1, y.view(-1, 1)))

def accuracy(y_hat, y):
    return (y_hat.argmax(dim=1) == y).float().mean().item()
def evaluate_accuracy(data_iter, net):
    acc_sum, n = 0.0, 0
    for X, y in data_iter:
        acc_sum += (net(X).argmax(dim=1) == y).float().sum().item()
        n += y.shape[0]
    return acc_sum / n


num_epochs, lr = 10, 0.1
# net=net_original
#定义训练函数
def train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size,
              params=None, lr=None, optimizer=None):
    for epoch in range(num_epochs):
        train_l_sum, train_acc_sum, n = 0.0, 0.0, 0
        for X, y in train_iter:
            y_hat = net(X)
            l = loss(y_hat, y).sum()

            # 梯度清零
            if optimizer is not None:
                optimizer.zero_grad()
            elif params is not None and params[0].grad is not None:
                for param in params:
                    param.grad.data.zero_()

            l.backward()
            if optimizer is None:
                d2l.sgd(params, lr, batch_size)
            else:
                optimizer.step()

            train_l_sum += l.item()
            train_acc_sum += (y_hat.argmax(dim=1) == y).sum().item()
            n += y.shape[0]
        # test_acc = evaluate_accuracy(test_iter, net)
        # print('epoch %d, loss %.4f, train acc %.3f, test acc %.3f'
              # % (epoch + 1, train_l_sum / n, train_acc_sum / n, test_acc))
train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, batch_size, [W, b], lr)

# torch.save(net, 'AlexNet_params_1.pkl')
X, y = iter(test_iter).next()

true_labels = d2l.get_fashion_mnist_labels(y.numpy())
pred_labels = d2l.get_fashion_mnist_labels(net(X).argmax(dim=1).numpy())
titles = [true + '\n' + pred for true, pred in zip(true_labels, pred_labels)]

softmax-逻辑回归从零开始实现，对其理解

猜你喜欢