这篇研究论文创新性地提出MaskHybrid框架，通过融合Mamba状态空间模型与Transformer架构（mAP15达74.13%），在34,711例腹部超声图像中实现肝静脉、胆囊等9类解剖标志物的高效分割（推理时间0.120±0.013秒），为临床实时诊断提供AI解决方案。 腹部超声(US)作为临床常规 ...

在医学图像分割中，CNNs 缺乏长程依赖、Transformer 参数爆炸等问题待解。研究人员提出 MSM-UNet，融合多尺度 Mamba 模块、小波变换特征增强注意力块等，在 ACDC 等数据集上 Dice 系数达 92.02、83.10、94.03，提升分割精度与效率。 在医学影像领域，精准分割是疾病诊断 ...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected] ...

Mamba 虽好，但发展尚早。 深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。 如此成功的一大关键推动力是注意力机制，这能让基于 Transformer 的模型关注与输入序列相关的部分，实现更好的上下文理解。

这就是最新 Falcon Mamba 7B 模型。 它采用 Mamba 状态空间语言模型架构来处理各种文本生成任务。 通过取消传统注意力机制，有效提升了模型处理长序列时计算效率低下的问题。它可以处理无限长序列，但内存需求不增加。无论上下文多长，生成每个 token 的时间 ...

【新智元导读】Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。 去年12月，CMU ...

一觉醒来，超越 Transformer 和 Mamba 的新架构诞生了？ 斯坦福、UCSD、UC 伯克利和 Meta 的研究人员提出了一种全新架构，用机器学习模型取代 RNN 的隐藏状态。 这个模型通过对输入 token 进行梯度下降来压缩上下文，这种方法被称为“测试时间训练层（Test-Time-Training ...

Transformer挑战者、新架构Mamba，刚刚更新了第二代： Mamba-2，状态空间扩大8倍，训练速度提高50%！ 更重要的是，团队研究发现原来Transformer和状态空间模型（SSM）竟然是近亲？？ 两大主流序列建模架构，在此统一了。 没错，这篇论文的提出的重磅发现：Transformer ...

如今，线性注意力和SSM连接起来后，前途一片大好，更快的算法、更好的系统优化，就在眼前了。 【导读】在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是 ...

今天分享清华大学的一篇文章：NetMamba: Efficient Network Traffic Classification via Pre-training Unidirectional Mamba。网络流量分类是一个重要的研究领域，旨在提高服务质量、简化网络管理并保护网络安全。现有流量分类模型面临两方面挑战：（1）模型效率不佳：广泛使用的 ...