Keras对类别不平衡数据中加权重loss_weight

在分类任务中，有时有些类分布不均匀。在这种情况下，你会怎么做？如何处理阶级失衡？有各种各样的技术，你可以用来克服阶级不平衡。其中之一是设定class_weight。在此教程中，我们讨论如何为单个类设置类权重。它按比例重视少数群体及其代表性不足。

数据

让我们先创建问题数据集，目前，只需尝试从CIFAR10中识别一个图像，例如狗。这种"狗探测器"将是二元分类器的一个例子，能够区分只有两个类，狗和非狗。让我们为此分类任务创建目标向量：

(x_train,y_train),(x_test,y_test)=tf.keras.datasets.cifar10.load_data()

y_train_dog = [0 if y==5 else 1 for y in y_train]
y_test_dog = [0 if y==5 else 1 for y in y_test]

unique, counts = np.unique(y_train_dog, return_counts=True)
dict(zip(unique, counts))

创建模型

在这里，我们创建一个简单的模型，用于在TensorFlow Keras的二分类。

model=tf.keras.models.Sequential()
model.add(tf.keras.layers.Conv2D(32,(3,3),padding='same',input_shape=x_train.shape[1:]))
model.add(tf.keras.layers.Activation('relu'))

model.add(tf.keras.layers.Conv2D(32,(3,3)))
model.add(tf.keras.layers.Activation('relu'))

model.add(tf.keras.layers.MaxPooling2D(pool_size=(2,2)))
model.add(tf.keras.layers.Dropout(0.25))


model.add(tf.keras.layers.Flatten())
model.add(tf.keras.layers.Dense(512))
model.add(tf.keras.layers.Activation('relu'))
model.add(tf.keras.layers.Dropout(0.5))
model.add(tf.keras.layers.Dense(2, activation='softmax')) 

model.compile(loss='sparse_categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

训练和评估模型

当类是不平衡时，评估分类器非常棘手。评估模型的简单方法是使用模型的准确性。

model.fit(x_train, y_train_dog,
              batch_size=BATCH_SIZE,
              epochs=3,
              validation_data=(x_test, y_test_dog),
              shuffle=True)

model.evaluate(x_test, y_test_dog, verbose=1)

它的准确率超过 90%！这仅仅是因为只有大约10%的图像是狗，所以如果你总是猜测图像不是狗，你将是正确的约90%的时间。

这说明了为什么准确性通常不是分类器的首选性能衡量标准，尤其是当某些类比其他类更频繁时。

设置类权重

当数据集不平衡时，您可以为每个类设置类权重。假设您有 5000 个类狗样本和 45000 个类非狗样本，class_weight= [0：5，1：0.5]，这给类"狗"10倍的权重意味着在你的损失函数分配一个更高的值。

当每个样本的权重由class_weight及其相应类别指定时，损失就变成了加权平均值。

计算类权重

您可以使用学习的sklearn.utils.compute_class_weight（）编程计算类权重。

from sklearn.utils import class_weight


class_weights = class_weight.compute_class_weight('balanced',
                                                 np.unique(y_train_dog),
                                                 y_train_dog)

它生成标签的分布和产生权重，以同样惩罚在训练集的不足或过度代表的类。

class_weight.compute_class_weight生成一个序列，我们需要把它更改为一个 dict，以便与 Keras 兼容。

class_weights = dict(enumerate(class_weights))

具有类权重的序列模型

使用model.fit的class_weight参数，该参数权重值是字典映射类，将此字典作为模型拟合的参数。

model.fit(x_train, y_train_dog,
              batch_size=BATCH_SIZE,
              epochs=3,
              class_weight=class_weights,
              validation_data=(x_test, y_test_dog),
              shuffle=True)