基于 Transformer 的模型已成功应用于自然语言处理（例如 BERT 或 GPT 模型）和计算机视觉等许多领域。
然而，当涉及到时间序列时，最先进的结果大多是通过 MLP 模型（多层感知器）实现的，例如N-BEATS和N-HiTS。最近的一篇论文甚至表明，在许多基准数据集上，简单的线性模型优于基于变压器的复杂预测模型（参见Cheng 等人，2022）。
尽管如此，仍然提出了一种新的基于 Transformer 的模型，它可以为长期预测任务实现最先进的结果：PatchTST。
PatchTST 代表补丁时间序列变压器，它于 2023 年 3 月由 Nie、Nguyen 等人在他们的论文：A Time Series is Worth 64 Words: Long-Term Forecasting with Transformers 中首次提出。与其他基于变压器的模型相比，他们提出的方法取得了最先进的结果。
在本文中，我们首先使用直觉而不是方程式来探索 PatchTST 的内部工作原理。然后，我们将该模型应用于预测项目，并将其性能与 MLP 模型（如 N-BEATS 和 N-HiTS）进行比较，并评估其性能。
当然，有关PatchTST的更多详细信息，
探索补丁TST
如前所述，PatchTST 代表补丁时间序列变压器。
顾名思义，它利用修补和变压器架构。它还包括处理多元时间序列的通道独立性。总体架构如下所示。