这是我的第383篇原创文章。

一、引言

        贝叶斯优化（Bayesian Optimization）是一种全局优化算法，专门用于解决对代价昂贵的黑箱函数进行优化的问题，常用于机器学习中的超参数优化。贝叶斯优化的核心思想是利用一种代理模型（如高斯过程或随机森林）来近似目标函数，然后通过采集函数（Acquisition Function）在代理模型的基础上选择下一个采样点，逐步改进目标函数的优化结果。

        LSTM（长短期记忆网络）是一种特殊类型的循环神经网络（RNN），常用于时间序列预测、自然语言处理等任务。但由于 LSTM 计算复杂度高且对超参数敏感，容易导致训练效率低下和性能不稳定。通过将 LSTM 与贝叶斯优化结合，使用贝叶斯优化对 LSTM 的超参数进行调优，能够显著提升模型的性能。本文实现贝叶斯优化LSTM实现单变量时序预测。

二、实现过程

2.1 准备数据并预处理

代码：

passengers_data = load_data()
X, y, scaler = preprocess_data(passengers_data)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

passengers_data：

2.2 贝叶斯优化

代码：

# 贝叶斯优化
pbounds = {'units': (10, 100),  # LSTM隐藏单元数    
            'learning_rate': (1e-4, 1e-2),  # 学习率    
            'batch_size': (16, 128)  # 批量大小}
optimizer = BayesianOptimization(f=train_lstm_model, pbounds=pbounds,    random_state=42)
# 执行贝叶斯优化
optimizer.maximize(init_points=5, n_iter=10)
# 最佳超参数
print("最佳参数：", optimizer.max)
# 使用最佳参数构建最终模型并预测
best_params = optimizer.max['params']
best_units = int(best_params['units'])
best_learning_rate = best_params['learning_rate']
best_batch_size = int(best_params['batch_size'])

最佳参数：

2.3 训练最优模型

代码：

final_model = Sequential([LSTM(best_units, input_shape=(X_train.shape[1], X_train.shape[2]), return_sequences=False), Dense(1)])
final_model.compile(optimizer=Adam(learning_rate=best_learning_rate), loss='mse')
final_model.fit(X_train, y_train, epochs=20, batch_size=best_batch_size, verbose=1)

2.4 进行预测

代码：

predictions = final_model.predict(X_test)
predictions_rescaled = scaler.inverse_transform(predictions)
actual_rescaled = scaler.inverse_transform(y_test.reshape(-1, 1))

2.5 预测结果可视化

代码：

plt.figure(figsize=(12, 6))
plt.plot(range(len(actual_rescaled)), actual_rescaled, label="Actual Passenger Count", linestyle="-")
plt.plot(range(len(predictions_rescaled)), predictions_rescaled, label="Predicted Passenger Count", linestyle="--")
plt.title("International Airline Passengers - Actual vs Predicted")
plt.xlabel("Year")
plt.ylabel("Passenger Count")
plt.legend()
plt.show()

结果：

作者简介：

读研期间发表6篇SCI数据挖掘相关论文，现在某研究院从事数据算法相关科研工作，结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。