解决基于LLM的多模态训练灾难遗忘问题 阿里发布多模态大模型WINGS 南大&
今天给大家介绍一篇南京大学、阿里巴巴联合发表的多模态模型建模方法WINGS，解决基于LLM的多模态模型在进行跨模态建模时的灾难遗忘问题，论文标题，WINGS，LearningMultimodalLLMswithoutTextonlyForg......
多变量当辅助序列提升多元时序预测效果 近期研究趋势
在多元时间序列预测中，如何建模多变量之间的关系一直是研究热点，过去一年最火的研究方向之一就是多元时间序列应该采用channeldependent，多变量联合建模，还是channelindependent，多变量独立建模，，以及channel......
使用Transformer来进行时序预测可还行
大语言模型的成功充分证明了Transformer架构的先进性，越来越多的人希望把它应用到其它领域，而非NLP领域本身，因而也催生了以一套Transformer架构统一各种模态的研究热点，而在工业界有一个非常常见的场景却鲜有涉及，那就是结构化......
高维多变量下的Transformer时序预测建模方法
今天给大家介绍一篇CIKM2024中的时间序列预测工作，这篇文章针对高维多变量时序预测问题，提出了一种基于Transformer的建模方法，论文标题，ScalableTransformerforHighDimensionalMultivar......
一文汇总 时序预测中的多频率建模方法
频率是时间序列的一个重要信息，给定一个时间序列，可以通过按照不同频率的聚合，获得不同粒度的时间序列，比如，给定的原始时间序列是以小时为粒度的，那么通过将24个点加和成1个点，就可以形成以天为粒度的时间序列数据，不同的粒度，包含的信息也不同，......
ICLR24
这篇文章给大家介绍一下ICLR2024中，用对比学习强化时间序列预测的一篇工作，这篇文章是韩国KAIST发表的工作，通过在时间序列预测中引入对比学习，实现对Encoder建模窗口以外全周期时间序列信息的应用，论文标题，SELFSUPERVI......
提升各类SOTA模型效果 完全在频域学习的时序预测模块
今天给大家介绍一篇浙大、中南、南洋理工、上交、北大等多所高校联合提出的一种时间序列预测建模方法，针对目前时序预测直接预测方法没有考虑到预测各个时间步关系的问题，提出了在频域中进行预测的方法，可适配到各类时序SOTA模型中，取得了长短周期时序......
去掉预训练LLM效果反而提升 预训练大语言模型对时间序列预测真的有用吗
今天给大家介绍一篇关于大模型在时间序列应用探讨的工作，这篇文章质疑大语言模型在时间序列预测中是否有效，并对目前最先进的3个基于大语言模型的时间序列预测模型进行实验，发现去掉大语言模型部分，改成一个attention网络，也能取得相同甚至更优......
WWW24 文本增强实现统一跨域时间序列预测
今天给大家介绍一篇WWW2024中，由于新嘉博国立大学和香港科技大学联合发表的多模态时间序列预测模型UniTime，通过文本信息实现统一跨域时间序列预测，论文标题，UniTime，ALanguageEmpoweredUnifiedModel......
时序预测Decoder中的时间步依赖问题
今天跟大家聊聊一个近期相对冷门的研究点，Decoder中的预测时间步依赖问题，目前主流的时间序列预测模型，Decoder一般采用一个简单的MLP网络，输入Encoder的表征，映射到预测结果，但是，这种建模方法并没有考虑到各个预测时间步之间......