tensorflow.keras下粒子群优化BP网络初始权重用于分类模型

0 引言

本博客基于tensorflow2.keras，搭建一个简单的BP网络，用于简单的数据分类任务，并采用粒子群算法实现**网络初始权重**的优化选择，
目前网上大部分资料都是基于MATLAB的，所以我想写个tensorflow2.x环境下的使用方法。 

1.网络搭建

构建一个两个隐含层的BP网络，各层数量是42→256→128→10，其中42是输入数据的维度，10是分类的类别数，程序如下,优化器采用Adam，学习率0.01，损失为交叉熵损失函数。

from tensorflow.keras import  Sequential, layers
import tensorflow as tf
def model():
    tf.random.set_seed(0)
    network = Sequential([layers.Dense(256, activation='relu'),
                         layers.Dense(128, activation='relu'),
                         layers.Dense(10, activation='softmax')])
    network.build(input_shape=(None,42))
    network.compile(optimizer=tf.keras.optimizers.Adam(lr=0.01),
                      loss=tf.keras.losses.SparseCategoricalCrossentropy(),
                      metrics=['accuracy'])
    return network

2.需要优化的参数

正式优化前需要知道要优化的网络权重参数的具体数量是多少，也就是我们粒子群的维度，分析可知，该网络的权重参数主要就是
① 输入层到隐含层1的权值：42*256
② 隐含层1的偏置：256
③ 隐含层1到隐含层2的权值：256*128
④ 隐含层2的偏置：128
⑤ 隐含层2到输出层的权值：128*10
⑥ 输出层的偏置：10
总计为：45194

3.粒子群优化

最主要的函数就是tensorflow.keras中的model.set_weights(**PSO寻优得到的权重**)，利用这个函数，我们建立好网络之后，只需要将粒子群的优化得到的位置，转换为所需要的权值与偏置的列表，然后set给网络即可，具体如下：

def fitness(init_weights):#init_weights为pso优化得到的值
    network=model()#新建网络
    weights = network.get_weights()#获取网络的权重
    #将pso传进来的值转换为所需要的权重，就是对应weights中的每个numpy矩阵（这是个列表）
    convert_weights=[]
    init = 0
    for w in weights:
        shape= w.flatten().shape[0]
        weight_next = init_weights[init:shape+init]
        init += shape
        convert_weights.append(weight_next.reshape(w.shape))
        
    network.set_weights(convert_weights)
    history = network.fit(x_train,y_train, epochs=5,batch_size=256,
                          validation_data=(x_test,y_test),
                          validation_freq=1, verbose=0)
    return history.history['val_accuracy'][-1]#以最大化验证集的分类准确率作为PSO的适应度函数
    #目的就是利用PSO找到一组最优初始权重，用这组初始权重训练的网络，能够使得验证集正确率最高

4.全部代码

代码见csdn下载[链接](https://download.csdn.net/download/qq_41043389/87762549)