tensorflow笔记之l2正则化

正则化是为了防止过拟合现象的出现，什么是过拟合

在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。

过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不仅训练多个模型费时，测试多个模型也是很费时。

下面是关于对散点划出分界线的代码

# -*- coding: utf-8 -*-
"""
Created on Tue Mar 19 20:44:32 2019

@author: Admin
"""

import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
BATCH_SIZE=8
seed=2
#基于seed生成随机数
rdm=np.random.RandomState(seed)
#随机数返回300行2列的矩阵，表示300组坐标点（x0,x1)作为输入数据
X=rdm.randn(300,2)
#从X中取出一行，判断如果两个坐标的平方和小于2，为Y赋值1否则）
#作为输入数据集的标签（正确答案)
Y_=[int(x0*x0+x1*x1<2) for (x0,x1) in X]
#遍历Y中的每个袁术，1赋值‘red’其余值赋值为'blue'这样可视化显示时人可以直接区分
Y_c=[['red'if y else 'blue']for y in Y_]
#对数据集X和标签Y进行shape整理，第一个元素-1表示随第二个参数计算,第二个参数表示为多少列，把X整理为nn行2列，把Y整理为n行1IE

X=np.vstack(X).reshape(-1,2)
Y_=np.vstack(Y_).reshape(-1,1)
print(X)
print(Y_)
print(Y_c)
#用plt.scatter画出数据集X行中第0列元素和第1列元素的点即各行的（x0,x1)，用各行Y_C对应的值表示颜色（C是color的缩写）
plt.scatter(X[:,0],X[:,1],c=np.squeeze(Y_c))
plt.show()

#定义神经网络的输入参数和输出，定义前向传播过程
def get_weight(shape,regularizer):
    w=tf.Variable(tf.random_normal(shape),dtype=tf.float32)
    tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))
    return w
def get_bias(shape):
    b=tf.Variable(tf.constant(0.01,shape=shape))
    return b
x=tf.placeholder(tf.float32,shape=(None,2))
y_=tf.placeholder(tf.float32,shape=(None,1))
w1=get_weight([2,11],0.01)
b1=get_bias([11])
y1=tf.nn.relu(tf.matmul(x,w1)+b1)

w2=get_weight([11,1],0.01)
b2=get_bias([1])
y=tf.matmul(y1,w2)+b2
#输出层不用激活函数

#定义损失函数
loss_mse=tf.reduce_mean(tf.square(y-y_))
loss_total=loss_mse+tf.add_n(tf.get_collection('losses'))

#定义反向传播不含正则化
train_step=tf.train.AdamOptimizer(0.0001).minimize(loss_mse)

with tf.Session() as sess:
    init_op=tf.global_variables_initializer()
    sess.run(init_op)
    STEP=40000
    for i in range(STEP):
        start=(i*BATCH_SIZE)%300
        end=start+BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        if i%2000==0:
            loss_mse_v=sess.run(loss_mse,feed_dict={x:X,y_:Y_})
            print("after {0} steps ,loss is:{1:.3f}".format(i,loss_mse_v))
    #XX在-3到3之间以步长为0.01，YY在-3到3之间以步长0.01，生成二维网格坐标点
    xx,yy=np.mgrid[-3:3:.01,-3:3:.01]
    #将XXYY拉直，并合并成一个2列的矩阵，得到一个网格坐标点的集合
    grid=np.c_[xx.ravel(),yy.ravel()]
    #将网格坐标点喂入神经网络，probs为输出
    probs=sess.run(y,feed_dict={x:grid})
    #probs的shape调整为xx的样子
    probs=probs.reshape(xx.shape)
    print("w1:",sess.run(w1))
    print("b1:",sess.run(b1))
    print("w2:",sess.run(w2))
    print("b2:",sess.run(b2))
plt.scatter(X[:,0],X[:,1],c=np.squeeze(Y_c))
plt.contour(xx,yy,probs,levels=[.5])
plt.show()
#定义反向传播方法：正则化
train_step=tf.train.AdamOptimizer(0.0001).minimize(loss_total)
with tf.Session() as sess:
    init_op=tf.global_variables_initializer()
    sess.run(init_op)
    STEP=40000
    for i in range(STEP):
        start=(i*BATCH_SIZE)%300
        end=start+BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        if i%2000==0:
            loss_total_v=sess.run(loss_total,feed_dict={x:X,y_:Y_})
            print("after {0} steps ,loss is:{1:.3f}".format(i,loss_total_v))
    #XX在-3到3之间以步长为0.01，YY在-3到3之间以步长0.01，生成二维网格坐标点
    xx,yy=np.mgrid[-3:3:.01,-3:3:.01]
    #将XXYY拉直，并合并成一个2列的矩阵，得到一个网格坐标点的集合
    grid=np.c_[xx.ravel(),yy.ravel()]
    #将网格坐标点喂入神经网络，probs为输出
    probs=sess.run(y,feed_dict={x:grid})
    #probs的shape调整为xx的样子
    probs=probs.reshape(xx.shape)
    print("w1:",sess.run(w1))
    print("b1:",sess.run(b1))
    print("w2:",sess.run(w2))
    print("b2:",sess.run(b2))
plt.scatter(X[:,0],X[:,1],c=np.squeeze(Y_c))
plt.contour(xx,yy,probs,levels=[.5])
plt.show()

未使用正则化

使用正则化

tensorflow笔记之l2正则化

猜你喜欢