RNN文本生成-想为女朋友写诗（一）：训练文本

一、亮出效果

世界上美好的事物很多，当我们想要表达时，总是感觉文化底蕴不够。

• 看到大海时，心情舒畅，顿时感觉激情澎湃，想了很久，说了句：真大啊！
• 看到鸟巢时，心情舒畅，顿时感觉激情澎湃，想了很久，说了句：真大啊！
• 看到美女时，心情舒畅，顿时感觉激情澎湃，想了很久，说了句：真大啊！

是的，没有文化底蕴就是这样。

但是，你生在这个数字时代，中华五千年的文化底蕴，你触手可及！ 这篇教程就是让人工智能学习大量的诗句，找到作诗的规律，然后你给他几个关键字，他给你一首诗。

看效果：

输入的关键词	输出的诗句
大海，凉风	大海阔苍苍，至月空听音。筒动有歌声，凉风起萧索。
建筑，鸟巢	建筑鼓钟催，鸟巢穿梧岸。深语在高荷，栖鸟游何处。
美女	美女步寒泉，归期便不住。日夕登高看，吟轩见有情。
我，爱，美，女	我意本悠悠，爱菊花相应。美花酒恐春，女娥踏新妇。
老，板，英，明	老锁索愁春，板阁知吾事。英闽问旧游，明主佳期晚。

二、实现步骤

基本流程

graph LR
A[古诗数据集] --> B(训练)-->C((训练结果))
D[关键词]--输入-->C--生成-->E[诗句]

看上面的图，我们可以了解到，基本上就是两步：训练和使用。

打铁还得要铁呢，我们训练数据，首先得有数据，我这里的数据是这样的：

床前明月光 疑是地上霜 举头望明月 低头思故乡 渌水明秋月 南湖采白蘋 荷花娇欲语 ……

这只是一小部分，总共大约70000句左右，都存在一个txt文档里。

训练总共分为3步：准备数据、构建模型、训练并保存。

2.1 准备数据

爱情不是你想买，想买就能买。

这句话揭示了世间道理是相通的。因为，训练不是你想训，想训就能训。你得把数据整理成人工智能框架要求的格式，他们很笨，喜欢数字，而且TensorFlow就认Tensor（不要被英文吓到，就是一串数字外面套一层人家的装甲壳子）。

1. 数据第一次处理

graph TD
A[poetry.txt] -- 读入 -->B[床前明月光,明月几时有]-- 整理字库 -->C[',': 0, '光': 1, '几': 2, '前': 3, '床': 4, '时': 5, '明': 6, '月': 7, '有': 8]
B--文字转为数字-->D[4 3 6 7 1 0 6 7 2 5 8]

2. 数据第二次处理

graph TD
E[床前明月光,明月几时有]--制作输入-->F[床前明月光,明月几时]--数字编码-->H[4 3 6 7 1 0 6 7 2 5]-->J((封装成数据集))
E--制作输出-->G[前明月光,明月几时有]--数字编码-->I[3 6 7 1 0 6 7 2 5 8]-->J

2.1.1 读取文件内容

import tensorflow as tf
import numpy as np
import os
import time
# 从硬盘或者网络连接读取文件存到的.keras\datasets下，这里是把数据集poetry.txt放到了C盘根目录下
path_to_file = tf.keras.utils.get_file("poetry.txt","file:///C:/poetry.txt")
# 读取文本内容
text = open(path_to_file, 'rb').read().decode(encoding='gbk')
# 打印出来
print(text) # 凭楼望北吟 诗为儒者禅 此格的惟仙 古雅如周颂 清和甚舜弦 冰生听瀑句 香发早梅篇……

复制代码

2.1.2 初步整理数据

主要作用：把文本数字化。

# 列举文本中的非重复字符即字库
# 所有文本整理后，就是这么多不重复的字 ['龙', '龚', '龛', '龟'……]
vocab = sorted(set(text)) 
# 把这个字库保存到文件，以后使用直接拿，不用再去计算
np.save('vocab.npy',vocab) 
# 创建从非重复字符到索引的映射
# 一个字典 {'龙': 1, '龚': 2, '龛': 3, '龟': 4……}，根据字能到数
char2idx = {u:i for i, u in enumerate(vocab)} 

# 创建从索引到非重复字符的映射
idx2char = np.array(vocab) # 一个数组 ['龙' ... '龚' '龛' '龟']，根据数能找到字
# 将训练文件内容转换为索引的数据
# 全部文本转换为数字 [1020 4914 3146 ... 4731 2945    0]
text_as_int = np.array([char2idx[c] for c in text]) 

复制代码

2.1.3 数据往Tensor上靠

主要作用：把数字切成多个块。

# 处理一句段文本，拆分为输入和输出两段
def split_input_target(chunk):
    input_text = chunk[:-1] # 尾部去一个字
    target_text = chunk[1:] # 头部去一个字
    return input_text, target_text # 入：大江东去，出：大江东，江东去
    
# 创建训练样本，将转化为数字的诗句外面套一层壳子，原来是[x]
char_dataset = tf.data.Dataset.from_tensor_slices(text_as_int)
# 所有样本中，每24个字作为一组
sequences = char_dataset.batch(24, drop_remainder=True) # 数据当前状态：((24,x))
# 将每24个字作为一组所有样本，掐头去尾转为输入，输出结对
dataset = sequences.map(split_input_target) # 数据当前状态：((23,x), (23,x))

# 将众多输入输出对打散，并64个为一组
BATCH_SIZE = 64
# 数据当前状态：((64, 23), (64, 23))
dataset = dataset.shuffle(10000).batch(BATCH_SIZE, drop_remainder=True) 
# 获取一批训练的输入，输出
train_batch, train_labels = next(iter(dataset))
复制代码

以上的代码处理，他究竟做了什么操作？看下面给出解释！

下面是原始文本

凭楼望北吟 诗为儒者禅 此格的惟仙 古雅如周颂 清和甚舜弦 冰生听瀑句 香发早梅篇 想得吟成夜 文星照楚天 牛得自由骑 春风细雨飞 水涵天影阔 山拔地形高 贾客停非久 渔翁转几遭 飒然风起处 又是鼓波涛 堂开星斗边 大谏采薇还 禽隐石中树 月生池上山 凉风吹咏思 幽语隔禅关 莫拟归城计 终妨此地闲 远庵枯叶满 群鹿亦相随 顶骨生新发 庭松长旧枝 禅高太白月 行出祖师碑 乱后潜来此 南人总不知 路自中峰上 盘回出薜萝 到江吴地尽 隔岸越山多 古木丛青霭 遥天浸白波 下方城郭近

第一刀，将它24个字符为1组切成如下（空格也算一个字符）：

• 凭楼望北吟 诗为儒者禅 此格的惟仙 古雅如周颂
• 清和甚舜弦 冰生听瀑句 香发早梅篇 想得吟成夜
• 文星照楚天 牛得自由骑 春风细雨飞 青山青草里

第二刀，将24个字符掐头去尾形成输入输出对：

• 凭楼望北吟 诗为儒者禅 此格的惟仙 古雅如周颂：：楼望北吟 诗为儒者禅 此格的惟仙 古雅如周颂
• 清和甚舜弦 冰生听瀑句 香发早梅篇 想得吟成夜：：和甚舜弦 冰生听瀑句 香发早梅篇 想得吟成夜
• 文星照楚天 牛得自由骑 春风细雨飞 青山青草里：：星照楚天 牛得自由骑 春风细雨飞 青山青草里

第三刀，将64个输入输出对作为一个批次，产生N个批次：

• 凭……颂：：楼……颂 | 清……生：：香……篇
• 甚……弦：：生……瀑 | 早……篇：：成……得

做这些是为了什么？ 就是化整为零。 70000句古诗系统一下消化不了。拆分成一首首，打包成一册册。就跟存入仓库一样，随便调取，一箱也行，一包也行，主要是这个目的。

2.2 构建模型

关于模型，说来话长，长的我都没啥说的。

这样吧，你先复制代码，看注释。

想详细了解模型结构，点击这里《RNN文本生成-想为女朋友写诗（二）》。

# 构建一个模型的方法
def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
    model = tf.keras.Sequential([
    tf.keras.layers.Embedding(vocab_size, embedding_dim,
                              batch_input_shape=[batch_size, None]),
    tf.keras.layers.GRU(rnn_units,
                        return_sequences=True,
                        stateful=True,
                        recurrent_initializer='glorot_uniform'),
    tf.keras.layers.Dense(vocab_size)])
    return model

# 词集的长度,也就是字典的大小
vocab_size = len(vocab)
# 嵌入的维度，也就是生成的embedding的维数
embedding_dim = 256
# RNN 的单元数量
rnn_units = 1024

# 整一个模型
model = build_model(
  vocab_size = len(vocab),
  embedding_dim=embedding_dim,
  rnn_units=rnn_units,
  batch_size=BATCH_SIZE)

# 损失函数
def loss(labels, logits):
      return tf.keras.losses.sparse_categorical_crossentropy(labels, logits, from_logits=True)

# 配置优化器和损失函数
model.compile(optimizer='adam', loss=loss)
复制代码

2.3 训练

训练很简单，就跟喊“开火”、“发射”一样。

# 训练结果保存的目录
checkpoint_dir = './training_checkpoints'
# 文件名 ckpt_训练轮数
checkpoint_prefix = os.path.join(checkpoint_dir, "ckpt_{epoch}")
# 训练的回调
checkpoint_callback=tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_prefix, save_weights_only=True)
# 进行训练
history = model.fit(dataset, epochs=20, callbacks=[checkpoint_callback])
复制代码

开启了训练之后是这样的。

Epoch 1/20
  4/565 [..............................] - ETA: 21:35 - loss: 6.7695
复制代码

tips:因为epochs=20，所以我们要训练20轮。但是你知道4/565是怎么来的吗？

我们的文本总共有867852个字符，24个字符一组，64组一个批次，867852/24/64=565。也就是说，一次训练一个批次，一轮下来需要565个批次。

训练完成之后会在同级目录training_checkpoints下生成文件：

checkpoint
ckpt_1.data-00000-of-00001
ckpt_1.index
……
ckpt_20.data-00000-of-00001
ckpt_20.index
复制代码

保存好这些，这都是辛苦训练来的，你要像工资一样珍惜它，因为后边会有用。