网站分为的风格,找工地项目承包网站,软件外包公司有前途么,wordpress的ftp参考
3.13 丢弃法
过拟合问题的另一种解决办法是丢弃法。当对隐藏层使用丢弃法时,隐藏单元有一定概率被丢弃。
3.12.1 方法 3.13.2 从零开始实现
import torch
import torch.nn as nn
import numpy as np
import sys
sys.path.append(..)
import d2lzh_pytorc…参考
3.13 丢弃法
过拟合问题的另一种解决办法是丢弃法。当对隐藏层使用丢弃法时,隐藏单元有一定概率被丢弃。
3.12.1 方法 3.13.2 从零开始实现
import torch
import torch.nn as nn
import numpy as np
import sys
sys.path.append(..)
import d2lzh_pytorch as d2ldef dropout(X, drop_prob):X X.float()assert 0 drop_prob 1keep_prob 1 - drop_prob# 这种情况下把全部元素都丢弃if keep_prob 0:return torch.zeros_like(X)mask (torch.rand(X.shape) keep_prob).float()return mask * X / keep_probX torch.arange(16).view(2, 8)
Xdropout(X, 0.5)dropout(X, 1)3.13.2.1 定义模型参数
num_inputs, num_outputs, num_hiddens1, num_hiddens2 784, 10, 256, 256W1 torch.tensor(np.random.normal(0, 0.01, size(num_inputs, num_hiddens1)), dtypetorch.float, requires_gradTrue)
b1 torch.zeros(num_hiddens1, requires_gradTrue)
W2 torch.tensor(np.random.normal(0, 0.01, size(num_hiddens1, num_hiddens2)), dtypetorch.float, requires_gradTrue)
b2 torch.zeros(num_hiddens2, requires_gradTrue)
W3 torch.tensor(np.random.normal(0, 0.01, size(num_hiddens2, num_outputs)), dtypetorch.float, requires_gradTrue)
b3 torch.zeros(num_outputs, requires_gradTrue)params [W1, b1, W2, b2, W3, b3]3.13.2.2 定义模型
drop_prob1, drop_prob2 0.2, 0.5def net(X, is_trainingTrue):X X.view(-1, num_inputs)H1 (torch.matmul(X, W1) b1).relu()if is_training: # 只在训练模型时使用丢弃法H1 dropout(H1, drop_prob1) # 在第一层全连接后添加丢弃层H2 (torch.matmul(H1, W2) b2).relu()if is_training:H2 dropout(H2, drop_prob2) # 在第二层全连接后添加丢弃层return torch.matmul(H2, W3) b3# 本函数已保存在d2lzh_pytorch
def evaluate_accuracy(data_iter, net):acc_sum, n 0.0, 0for X, y in data_iter:if isinstance(net, torch.nn.Module):net.eval() # 评估模式, 这会关闭dropoutacc_sum (net(X).argmax(dim1) y).float().sum().item()net.train() # 改回训练模式else: # 自定义的模型if(is_training in net.__code__.co_varnames): # 如果有is_training这个参数# 将is_training设置成Falseacc_sum (net(X, is_trainingFalse).argmax(dim1) y).float().sum().item() else:acc_sum (net(X).argmax(dim1) y).float().sum().item() n y.shape[0]return acc_sum / n3.13.2.3 训练和测试模型
num_epochs, lr, batch_size 5, 100.0, 256
loss torch.nn.CrossEntropyLoss()
train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, params, lr)3.13.3 简洁实现
net nn.Sequential(d2l.FlattenLayer(),nn.Linear(num_inputs, num_hiddens1),nn.ReLU(),nn.Dropout(drop_prob1),nn.Linear(num_hiddens1, num_hiddens2),nn.ReLU(),nn.Dropout(drop_prob2),nn.Linear(num_hiddens2, 10)
)for param in net.parameters():nn.init.normal_(param, mean0, std 0.01)optimizer torch.optim.SGD(net.parameters(), lr0.5)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)
