低延时 基于Transformer的高效 流式语音识别模型
微软，Azure，语音团队与微软亚洲研究院的研究员们一起提出了一套结合，Transformer，家族的编码器和流式，Transducer，框架的解决方案，并提出了，Mask，is，all，you，need，的方法对模型进行快速训练以及解码，......
从了解token开始 解读AI大模型
什么是Transformer，Transformer是一种新颖的神经网络架构，它在2017年由Google的研究人员提出，用于解决机器翻译等自然语言处理的任务，Transformer的特点是，它完全摒弃了传统的循环神经网络，RNN，和卷积神......
基于Transformer的时间序列综述
引言，探索时间序列生成的重要性和挑战时间序列数据的生成是当前数据科学领域中的一个重要而具有挑战性的研究方向，时间序列数据广泛存在于各种重要领域，如医疗健康、金融市场、气象预测等，这些数据的有效生成可以极大地推动相关领域的发展，例如，医疗领域......
Encoding 详解Transformer中位置编码Positional
提到Transformer，大家就会联想到位置编码、注意力机制、编码器解码器结构，本系列教程将探索Transformer的不同模块在故障诊断等信号分类任务中扮演什么样角色，到底哪些模块起作用，前言本期基于凯斯西储大学，CWRU，轴承数据，进......
You Much Do How Attention Need? Transformer结构优势
前言本期基于凯斯西储大学，CWRU，轴承数据，进行Transformer的结构优势进行讲解，结合论文，HowMuchAttentionDoYouNeed，，探索不同模块对故障分类任务的影响力，1，HowMuchAttentionDoYouN......
一文梳理Transformer在时间序列预测中的发展历程代表工作
Transformer的序列建模能力，让其天然就比较适合时间序列这种也是序列类型的数据结构，但是，时间序列相比文本序列也有很多特点，例如时间序列具有自相关性或周期性、时间序列的预测经常涉及到周期非常长的序列预测任务等，这些都给Transfo......
使用Transformer来进行时序预测可还行
大语言模型的成功充分证明了Transformer架构的先进性，越来越多的人希望把它应用到其它领域，而非NLP领域本身，因而也催生了以一套Transformer架构统一各种模态的研究热点，而在工业界有一个非常常见的场景却鲜有涉及，那就是结构化......
高维多变量下的Transformer时序预测建模方法
今天给大家介绍一篇CIKM2024中的时间序列预测工作，这篇文章针对高维多变量时序预测问题，提出了一种基于Transformer的建模方法，论文标题，ScalableTransformerforHighDimensionalMultivar......
多步逻辑推理中的匹配策略 Transformer在复杂推理任务中的新进展
在自然语言处理，NLP，领域，Transformer是一种革命性的架构，Transformer模型因其卓越的语言理解和生成能力而成为了一个里程碑，它们在多种任务中展现出了前所未有的性能，从机器翻译到文本摘要，再到问答系统，Transform......
Transformer动画讲解
一、GPT的核心是TransformerGPT，GPT，GenerativePretrainedTransformer，是一种基于单向Transformer解码器的预训练语言模型，它通过在大规模语料库上的无监督学习来捕捉语言的统计规律，从而......