【文章学习系列之模型】SCALEFORMER

本章内容

  • 文章概况
  • 模型结构
  • 主要方法
    • 多尺度框架
    • 跨尺度标准化
    • 模型输入编码
    • 损失函数
  • 实验结果
  • 消融实验
    • 跨尺度标准化
    • 自适应损失函数
  • 总结

文章概况

《SCALEFORMER: ITERATIVE MULTI-SCALE REFINING TRANSFORMERS FOR TIME SERIES FORECASTING》是2023年发表于ICLR上的一篇论文。作者发现在对不同时间尺度预测的尝试下，逐渐细化预测颗粒有利于时序预测，因此在论文中提出了一种通用多尺度框架，实验表明显著提高前人Transformer系列模型的实验效果。

在这里插入图片描述
论文链接
代码链接

模型结构

在这里插入图片描述
X e n c X^{enc} Xenc经过池化层下采样得到 X i e n c X^{enc}_{i} Xienc​， X i − 1 o u t X^{out}_{i-1} Xi−1out​经过上采样得到 X i d e c X^{dec}_{i} Xidec​， X i e n c X^{enc}_{i} Xienc​和 X i d e c X^{dec}_{i} Xidec​经过Cross-Scale Normalization后得到标准化之后的两组数据，随后将这两组数据输入预测模型中。需要注意的是 X i − 1 o u t X^{out}_{i-1} Xi−1out​是上一个 s t e p i − 1 step_{i-1} stepi−1​步骤模型的输出，而当 i = 1 i=1 i=1时， X 0 o u t X^{out}_{0} X0out​取0。

主要方法

多尺度框架

在这里插入图片描述
多尺度主要体现在两个地方，一个是模型中 s t e p step step迭代 m + 1 m+1 m+1次，遍历 S S S中所有尺度因子，另一个是每次 s t e p step step包含一对上下采样AvgPool和Upsample。

跨尺度标准化

在这里插入图片描述

如上图所示，多尺度框架导致了数据分布将发生变化。因此为了缓解分布差距，作者将上下采样之后的数据进行联合标准化，换言之就是放一起算。

在这里插入图片描述

模型输入编码

常规三要素：数值编码、时间编码、位置编码

损失函数

使用MSE，对异常值敏感，MSELoss抛弃；
使用Huber，没异常值效果不佳，HuberLoss抛弃；
最后选择自适应损失函数
在这里插入图片描述

我还没看，有兴趣的可以去了解一下 论文链接

实验结果

在这里插入图片描述
以上对比了作者所提框架+前人模型的效果变化情况，实验表明效果提升显著。
（更多实验结果见附录）

消融实验

跨尺度标准化

在这里插入图片描述
有无标准化前后对比，可以看出确实标准化之后的曲线更加稳定，同时也更接近真实情况。

在这里插入图片描述
上表为无归一化和原始模型的实验对比，可以发现没有了跨尺度标准化操作，所提框架总体上并不如原始模型效果好。通过以上两种角度的对比，作者再一次确认了跨尺度标准化的重要性。

自适应损失函数

在这里插入图片描述
基准为前人原始结果，-A为使用自适应损失函数，-MS为使用多尺度框架和MSELoss，-MSA为本文所提方法。总体而言，红色竖条更短、MSE误差更小。由此可以一定程度上表明自适应损失函数和多尺度框架的的有效性。

总结

在文章的最后，作者还将所提方法应用于概率预测以及非Transformer系列的模型中，从实验结果看是可行的。这篇论文发现了多尺度采样在时序预测中的可探索性，刚好也印证了年初我写的一个时序模型的效果，同样也是类似多尺度采样建模，效果还不错，重要的是参数量很少、跑得很快。另外值得提出的是，作者没有按照以往构建新模型的方式进行创新探索，而是对前人模型的外围框架进行创新，在模型已经卷到现在的情况下，这无疑不是一个新的研究思路。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/254259.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

chatgpt赋能python：Python中按下某个按键的实现方法

chatgpt赋能python：Python中按下某个按键的实现方法

Python中按下某个按键的实现方法 Python是一种广泛应用于各种领域的高级编程语言，可以用于编写各种类型的应用程序和工具。其中，它在游戏开发方面有着广泛的应用。而在游戏开发过程中，按键响应是至关重要的一个组成部分。本文将带领读者了解…
阅读更多...
【第二节】变量和简单的数据类型

【第二节】变量和简单的数据类型

本节将结束python当中的变量和一部分数据类型（字符串和数字），并且介绍一些对应的方法 变量 在上一节的最后我们打印出了hello world print(hello world!)这次我们使用下面的代码实现一样的功能 message = hello world! print(message)可以看到 打印结果一模一样，而我们…
阅读更多...
关于VUE3的一些基础知识点笔记

关于VUE3的一些基础知识点笔记

关于VUE3的一些基础知识点笔记 VUE3 vue2与vue3的一个重要区别是vue2是选项式API（composition API）而vue3是组合式API（option API）。 组合式API就是所有逻辑都在setup函数中，使用ref、watch等函数来组织代码&#xff…
阅读更多...
easyX实践上手操作小项目

easyX实践上手操作小项目

easyX实践上手操作小项目 效果展示主菜单的装饰玩法介绍界面开始游戏界面制作团队界面排行榜界面注：main()函数拓展数据库小结 这里我们学习过easyX的基础知识后，看看是否能实践操作一下，制作一个属于自己的游戏界面呢？ 基础知识…
阅读更多...
Verilog初级教程（13）Verilog中的块语句

Verilog初级教程（13）Verilog中的块语句

文章目录 前言正文串行语句并行语句并行块内包含串行块的情况块名称 往期文章回顾 前言 所谓的块语句，无非就是一组语句，例如在initial或者always中，使用begin…end或者fork…join包裹的语句，都可以称为块语句。块语句有两种&…
阅读更多...
Verilog初级教程（11）Verilog中的initial块

Verilog初级教程（11）Verilog中的initial块

文章目录 前言正文语法格式initial块是用来干什么的？initial块何时开始又何时结束？一个模块中允许有多少个initial块？ 参考资料写在最后 前言 仿真中通常会依次执行一组Verilog语句。这些语句被放置在一个程序块中。在Verilog中主要有两种类…
阅读更多...
Verilog初级教程（8）Verilog中的assign语句

Verilog初级教程（8）Verilog中的assign语句

博文目录 写在前面正文赋值语法reg类型变量赋值隐性连续赋值组合逻辑设计举例说明 参考资料交个朋友 写在前面 本系列相关博文链接： Verilog初级教程（7）Verilog模块例化以及悬空端口的处理 Verilog初级教程（6）Veril…
阅读更多...
夏宇闻《Verilog数字系统设计教程》 - 第1章 Verilog的基本知识

夏宇闻《Verilog数字系统设计教程》 - 第1章 Verilog的基本知识

第1章 Verilog的基础知识 1.1 硬件描述语言HDL 硬件描述语言（HDL，hardware description language）是一种用形式化方法来描述数字电路和系统的语言。 设计者使用HDL设计数字系统后，通过电子设计自动化工具（EDA&#…
阅读更多...
Verilog初级教程（12）Verilog中的generate块

Verilog初级教程（12）Verilog中的generate块

文章目录 前言正文generate forgenerate ifgenerate case 参考资料本系列博文 前言 verilog中的generate块可以称为生成块，所谓生成，可以理解为复制。如果不太好理解，下面我们继续使用generate块。 generate块应用的场合通常是对模块进行批…
阅读更多...
Verilog初级教程（17）Verilog中的case语句

Verilog初级教程（17）Verilog中的case语句

文章目录 前言正文语法例子硬件原理图case与if-else有什么不同？ 往期回顾参考资料及推荐关注 前言 case语句检查给定的表达式是否与列表中的其他表达式之一相匹配，并据此进行分支。它通常用于实现一个多路复用器。 如果要检查的条件很多，if…
阅读更多...
Verilog初级教程（3）Verilog 数据类型

Verilog初级教程（3）Verilog 数据类型

文章目录 前言正文变量可以取什么样的值？变量的取值意味着什么？主要的数据类型其他数据类型integertime / realtimereal例子 Verilog的字符串 写在最后 前言 这是本系列的第三篇博文，依然很基础，这个系列文章，主要是在…
阅读更多...
Verilog初级教程（10）Verilog的always块

Verilog初级教程（10）Verilog的always块

博文目录 写在前面正文语法什么是敏感列表？always块是用来干什么的？如果没有敏感列表怎么办？时序逻辑实例组合逻辑实例注意事项 参考资料 写在前面 由于刚毕业，又发生了很多事，在进入工作的准备期，就这样一…
阅读更多...
verilog 入门教程

verilog 入门教程

verilog 入门教程 1.1 什么是Verilog HDL? 1.2 Verilog的历史 1.3 Verilog的主要描述能力 2.1 Verilog-模块 2.2 Verilog-时延 2.3 Verilog-assign语句 2.4 Verilog-initial语句 2.5 Verilog-always语句 2.6 Verilog的结构化描述形式 2.7 Verilog-混合设计描述方式 2.8 Veri…
阅读更多...
Verilog初级教程（14）Verilog中的赋值语句

Verilog初级教程（14）Verilog中的赋值语句

文章目录 前言正文合理的左值过程性赋值（Procedural assignment）连续赋值过程连续性赋值 往期回顾 前言 何为赋值语句？即将值放到线网或者变量上，这种操作称为赋值，英文：assignment. 它有三种基本形式&…
阅读更多...
嵌入式开发Verilog教程（二）——Verilog HDL设计方法概述

嵌入式开发Verilog教程（二）——Verilog HDL设计方法概述

嵌入式开发Verilog教程（二）——Verilog HDL设计方法概述 前言一、Verilog HDL语言简介1.1 Verilog HDL语言是什么1.2 Verilog HDL设计复杂数字电路的优点1.2.1 传统设计方法——电路原理图输入法1.2.2 Verilog HDL设计方法与传统设计方法相比较的优势1.2…
阅读更多...
嵌入式开发Verilog教程（三）——Verilog HDL基本语法汇总（上）

嵌入式开发Verilog教程（三）——Verilog HDL基本语法汇总（上）

嵌入式开发Verilog教程（三）——Verilog HDL基本语法汇总（上） 前言一、简单的Verilog HDL模块1.1 Verilog HDL程序简单模块1.2 Verilog HDL程序模块结构1.3 Verilog HDL程序模块端口定义1.4 Verilog HDL程序模块内容 二、Verilog H…
阅读更多...
SANXIN-B01开发板verilog教程V3电子版

SANXIN-B01开发板verilog教程V3电子版

今天给大侠带来“SANXIN-B01开发板verilog教程V3-郝旭帅团队电子版”，V3版本更新了后几章节的高级设计部分，获取电子版资料，请点击左下角阅读原文，跳转叁芯智能科技官方技术论坛下载，或者登录网址www.sxznfpga.com下载。 叁芯智能科技-郝旭帅团队打造“FPGA 设计与研发”学…
阅读更多...
Verilog 教程

Verilog 教程

第一章：Verilog 简介 1.1 Verilog 教程 1.2 Verilog 简介 1.3 Verilog 环境搭建 1.4 Verilog 设计方法第二章：语法要素 2.1 Verilog 基础语法 2.2 Verilog 数值表示 2.3 Verilog 数据类型 2.4 Verilog 表达式 2.5 Verilog 编译指令 第三章…
阅读更多...
ol中不同区域加载不同底图

ol中不同区域加载不同底图

概述 写一篇水文&#xff0c;讲讲如果在openlayers中实现不同的区域加载不同的底图。 效果 实现 通过tileUrlFunction实现不同切片地址的请求。 <!DOCTYPE html> <html><head><title>XYZ</title><link rel"stylesheet" href&qu…
阅读更多...
数电/数字电子技术期末考前突击复习（小白稳过，看这一篇就够了）

数电/数字电子技术期末考前突击复习（小白稳过，看这一篇就够了）

博主&#xff1a;命运之光 专栏&#xff1a;期末考试必过and不挂科and争高分&#x1f636;‍&#x1f32b;️还有其他科目的考试突击日后会陆续更新 ✨✨✨✨✨点赞&#xff0c;关注&#xff0c;收藏不迷路✨✨✨✨✨ &#x1f984;前言&#xff1a;总结了期末数电大概率可能…
阅读更多...
最新文章

Copyright @ 2022~2023