Cifar-10 기본 최적화 2 pytorch, 테스트 세트 정확도 88.2

알아채다:

같은 전문

코드 변경 부분은 아래 그림과 같고 나머지는 위와 동일 CIFAR-10 기본 최적화 1(표준화 및 활성화 기능 추가) - Bailianchengdan Blog - CSDN Blog

최적화 아이디어:

그런 다음 여러 컨볼루션 레이어를 추가합니다.

컨벌루션 레이어와 완전 연결 레이어 사이에 드롭아웃 추가

네트워크 주문 구조 최적화

이미지 확대

네트워크 구조:

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.model1 = nn.Sequential(
            nn.Conv2d(3, 32, 5, padding=2), nn.BatchNorm2d(32),
            nn.Dropout2d(0.25), nn.ReLU(),
            nn.Conv2d(32, 32, 5, padding=2), nn.BatchNorm2d(32),
            nn.MaxPool2d(2))  # nn.ReLU(),

        self.model2 = nn.Sequential(
            nn.Conv2d(32, 64, 5, padding=2), nn.BatchNorm2d(64),
            nn.Dropout2d(0.25), nn.ReLU(),
            nn.Conv2d(32, 64, 5, padding=2), nn.BatchNorm2d(64),
            nn.MaxPool2d(2))  # nn.ReLU(),

        self.model3 = nn.Sequential(
            nn.Conv2d(32, 128, 5, padding=2), nn.BatchNorm2d(128),
            nn.Dropout2d(0.3), nn.ReLU(),
            nn.Conv2d(32, 128, 5, padding=2), nn.BatchNorm2d(128),
            nn.MaxPool2d(2))  # nn.ReLU(),

        self.model4 = nn.Sequential(
            nn.Conv2d(32, 256, 5, padding=2), nn.BatchNorm2d(256),
            nn.Dropout2d(0.3), nn.ReLU(),
            nn.Conv2d(32, 256, 5, padding=2), nn.BatchNorm2d(256),
            nn.MaxPool2d(2))  # nn.ReLU(),

        self.model5 = nn.Sequential(
            nn.Conv2d(256, 512, 5, padding=2), nn.BatchNorm2d(512),
            nn.Dropout2d(0.35), nn.ReLU(),
            nn.Conv2d(512, 512, 5, padding=2), nn.BatchNorm2d(512),
            nn.MaxPool2d(2))  # nn.ReLU(),
        
        self.linear1 = nn.Sequential(
            nn.Flatten(),
            nn.Linear(512, 128), nn.BatchNorm1d(128), nn.ReLU(),
            nn.Dropout(0.5),
            nn.Linear(128, 10))

이미지 확대: torchvision.transforms.ColorJitter(0.5), torchvision.transforms.RandomHorizontalFlip()

train_data = torchvision.datasets.CIFAR10("../dataset", train=True, transform=torchvision.transforms.Compose(
    [torchvision.transforms.ColorJitter(0.5), torchvision.transforms.RandomHorizontalFlip(),
     torchvision.transforms.ToTensor()]))

효과:

 테스트 세트의 최고 정확도는 88.2%입니다.

 약 64epoch 이후 증가 없음

성능 효과가 더욱 향상됩니다.

그러나 시간은 이상적이지 않습니다. 약 40 분

다음 단계, 잔차 네트워크에 가입