更难得的是，PoPE不仅性能能打，落地成本还极低。团队用Triton定制了 Flash ...

而在近期 LSTM 之父 Jürgen Schmidhuber 的 USI & SUPSI 瑞士 AI 实验室团队的一项新研究中，分析表明，当前流行的旋转位置嵌入（RoPE）方法中的 what 与 where 是纠缠在一起的。这种纠缠会损害模型性能，特别是当决策需要对这两个因素进行独立匹配时。

xLSTM的新闻大家可能前几天都已经看过了，原作者提出更强的xLSTM，可以将LSTM扩展到数十亿参数规模，我们今天就来将其与原始的lstm进行一个详细的对比，然后再使用Pytorch实现一个简单的xLSTM。 xLSTM xLSTM 是对传统 LSTM 的一种扩展，它通过引入新的门控机制和记忆 ...

何恺明残差学习奠基人的身份，也被“挑战”了。 为什么要说“也”？因为发起讨论的，又双叒是我们熟悉的Jürgen Schmidhuber——LSTM之父。 不过这一次，他不是要把功劳揽到自己身上，而是替LSTM的另一位作者Sepp Hochreiter发声： 残差学习这把改变深度学习格局的 ...

本文系统开发了LSTM、Attention-based LSTM和Transformer三种机器学习替代模型，用于预测柴油机在不同热力学条件下的点火延迟（ignition delay）。研究表明，LSTM类模型在预测精度（R2 > 0.995）和计算效率（训练时间236–310秒）上均优于Transformer模型（MSE 0.7797，训练537秒 ...

导语：“没有任何原因说明，机器不能拥有好奇心和创造力”。 雷锋网按：于尔根·施密德胡伯（Jürgen Schmidhuber）可谓深度学习的元老，他在1992年提出了多层级网络，利用无监督学习训练神经网络的每一层，再利用反向传播算法调优。而在1997年，他与 Sepp ...

雷锋网 AI 科技评论按：2019 年 8 月 29 日，世界人工智能大会 WAIC 2019 在上海世博中心举行。瑞士 USI 和 SUPSI 教授，NNAISENSE 联合创始人兼首席科学家，「LSTM 网络之父」 Jürgen Schmidhuber 也受邀出席大会。 8月30日，雷锋网 AI 科技评论和多家社会媒体一同对 Schmidhuber ...

为解决温室精准灌溉中植物水分状态实时监测难题，研究人员开展基于茎直径变化(SDV)的液流预测深度学习模型比较研究。通过LSTM、BiLSTM、LRCN和GRU四种递归神经网络架构分析番茄植株时序数据，发现BiLSTM模型表现最优（R2=0.83，MAE=4.41），GRU模型兼具高效性与准确 ...

自从 Transformer 模型问世以来，试图挑战其在自然语言处理地位的挑战者层出不穷。 这次登场的选手，不仅要挑战 Transformer 的地位，还致敬了经典论文的名字。 再看这篇论文的作者列表，图灵奖得主、深度学习三巨头之一的 Yoshua Bengio 赫然在列。 最近，大家 ...

直接给结论，不用。 甚至可以说，都要2026年了，如果你现在还抱着十年前的教材，非要先啃明白RNN，再搞懂LSTM里那个该死的遗忘门，最后才敢翻开Transformer的第一页，那你纯粹是在浪费生命。