I 前向传播网络搭建

成都创新互联公司企业建站,10年网站建设经验，专注于网站建设技术，精于网页设计，有多年建站和网站代运营经验，设计师为客户打造网络企业风格，提供周到的建站售前咨询和贴心的售后服务。对于成都网站制作、网站设计中不同领域进行深入了解和探索，创新互联在网站建设中充分了解客户行业的需求，以灵动的思维在网页中充分展现，通过对客户行业精准市场调研，为客户提供的解决方案。

在mnist_forward.py中搭建两层全连接网络，这里面就是定义层数，节点数，激活函数这些。

输入节点数目就是mnist数据集的图片28*28大小，用784行的向量作为输入。

第一层y1=relu(x*w1+b1 )其中y1为500行的向量。那么w1里面就有784*500个变量啦～～b1是500个变量。然后经过一个relu激活函数。

第二层就是从500节点变换到10个节点的输出，输出为标签，表示0-9手写数字出现的概率。y=y1*w2+b2。w2就是500*10的矩阵。b2是10行的向量。没有激活函数。

这里面w1 b1 w2 b2就是要训练的参数

采用了正则化

正则化就是在损失函数中给每个参数w加上权重，引入模型复杂度指标，从而抑制模型噪声，减少过拟合。这里使用的是L2正则化，即w的L2范数也是loss的一部分，也就是说在求解最优w的过程中，要使得w的值尽量在0附近。

import tensorflow as tf

INPUT_NODE = 784

OUTPUT_NODE = 10

LAYER1_NODE = 500

def get_weight(shape,regularizer):

w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))

# 截断正态分布

if regularizer != None: tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))

# 使用正则化 L2范数 将每个参数的正则化损失加到总损失中

return w

def get_bias(shape):

b = tf.Variable(tf.zeros(shape))

return b

def forward(x,regularizer):

w1 = get_weight([INPUT_NODE,LAYER1_NODE],regularizer)

b1 = get_bias([LAYER1_NODE])

y1 = tf.nn.relu(tf.matmul(x,w1) + b1)

w2 = get_weight([LAYER1_NODE,OUTPUT_NODE],regularizer)

b2 = get_bias([OUTPUT_NODE])

y = tf.matmul(y1,w2) + b2

return y

II误差反向传播

在mnist_backward.py中读入mnist数据集，计算误差，进行误差反向传播，实现模型的训练，得到网络参数并保存在模型中

2.1 loss

loss的计算先用softmax把输出的10行向量变成概率分布，再与真实的输出标签进行对比，求交叉熵。cross entropy 可以看作是两个概率分布函数之间的距离。距离越小，说明预测越准确，loss越小。

2.2 学习率

学习率是每次沿着梯度下降方向进行参数更新的步长，步长过大会导致在最优点震荡，步长过小会导致学习速度太慢。这里采用了指数衰减的步长。在训练初始阶段，步长较大，较快收敛，在最优点附近，步长较小，能够得到较精确的最优解。

2.3 滑动平均

记录一段时间内模型中所有参数w和b的各自的平均值。用于增强模型的泛化能力。

import tensorflow as tf

import mnist_forward

import os无锡妇科医院 http://www.bhnnk120.com/

os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

from tensorflow.examples.tutorials.mnist import input_data

BATCH_SIZE = 200 #每次输入的图片数

LEARNING_RATE_BASE = 0.1 #初始学习率

LEARNING_RATE_DECAY = 0.99 #学习率衰减率

REGULARIZER = 0.0001 #正则化系数

STEPS = 10000 #训练轮数

MOVING_AVERAGE_DECAY = 0.99

MODEL_SAVE_PATH="./model/"

MODEL_NAME = "mnist_model"

def backward(mnist):

x = tf.placeholder(tf.float32,[None,mnist_forward.INPUT_NODE])

y_ = tf.placeholder(tf.float32,[None,mnist_forward.OUTPUT_NODE])

y = mnist_forward.forward(x,REGULARIZER)

global_step = tf.Variable(0,trainable = False)

# step计数 不可训练的参数

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits = y, labels = tf.argmax(y_,1))

cem = tf.reduce_mean(ce)

loss = cem + tf.add_n(tf.get_collection('losses'))

learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,mnist.train.num_examples/BATCH_SIZE,LEARNING_RATE_DECAY,staircase=True)

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step = global_step)

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)

ema_op = ema.apply(tf.trainable_variables())

# ema.apply()对括号内参数求滑动平均

# tf.trainable_variables() 将所有可以被训练的参数汇总为list 也就是[w1 b1 w2 b2]

with tf.control_dependencies([train_step, ema_op]):

train_op = tf.no_op(name='train')

# 该函数实现将滑动平均和训练过程同步运行。

saver = tf.train.Saver()

with tf.Session() as sess:

init_op = tf.global_variables_initializer()

sess.run(init_op)

for i in range(STEPS):

xs,ys = mnist.train.next_batch(BATCH_SIZE)

_, loss_value, step = sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})

if i%1000 == 0:

print("After %d training steps, loss on training batch is %g." %(step,loss_value))

saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step)

if __name__ == '__main__':

mnist = input_data.read_data_sets('./data/',one_hot=True)

backward(mnist)

III 运行代码

在Terminal里面激活tensorflow，运行python mnist_backward.py

就可以输出训练过程的loss，每1000步打印一次loss。从下图可以看出，loss逐渐减小。

新闻名称：用tensorflow搭建全连接神经网络实现mnist数据集的识别
当前路径：http://scgulin.cn/article/jeodcj.html