VL-JEPA架构彻底抛弃了传统视觉语言模型逐个Token生成的低效模式，转而在抽象的嵌入空间中直接预测语义，以一半的参数量实现了SOTA的性能，并为实时视频理解带来了近3倍的效率提升。

今年上半年，谷歌发布了开放模型 Gemma 3 系列，性能强大，反响热烈，衍生出许多基于 Gemma 3 系列模型的优秀工作。这次更新的 T5Gemma 2 模型正是其中之一。 同时，谷歌向社区发布了 270M–270M、1B–1B 以及 4B–4B ...

现在，这项研究背后更多细节被公开了！来自Karpathy与真正作者两年前的邮件往来，引起了很多讨论。 一作Dzmitry Bahdanau，当时是Bengio实验室的一位实习生，在实习只剩5周时灵光一现提出了一个简化方案，相当于实现了对角注意力。

随着国内开源大模型的爆发，AI赋能投研正成为资管行业关注的焦点。2025年5月《推动公募基金高质量发展行动方案》提出强化核心投研能力建设等要求，引导资管行业持续强化数字化资源投入，加快“平台式、一体化、多策略”的投研体系建设。南方基金权益研究部周期组 ...

AI这个圈子有一个很神奇的特点：就是复利性基本为零。 每次我看到类似「202X年，入行YYY方向还来得及吗？」的问题的时候，我都会想到这个特点。 原因其实很简单，我只从科研上举一些例子。比方说从2023年之后入行做生成的小伙伴，你大概率不用再去了解基于GAN的一些知识，因为就算你弄得很懂，对于diffusion ...

【新智元导读】千团大战杀出三匹黑马，200万大奖竟被这届00后卷走了！历时4个月的广告算法大赛收官，全球2800支战队全部死磕「全模态生成式推荐」。令人惊喜的是，高校学生们的最新方案，已与工业界没有代差。

Android恶意软件检测中提出基于Transformer、编码器和解码器的创新模型，利用API调用和权限特征进行静态分析。实验表明该模型在malwaredataset上的平均分类准确率达90.01%，优于传统机器学习及深度学习方法。 近年来，随着移动互联网技术的迅猛发展，特别是第四代 ...

本研究针对器官尺度空间转录组数据的分析瓶颈，开发了基于自监督Transformer架构的CellTransformer工作流，成功实现了多百万细胞级MERFISH数据集的空间域识别。该方法不仅能准确复现Allen小鼠大脑通用坐标框架(CCF)的解剖结构，还发现了数百个未收录的皮质下亚区 ...

直接给结论，不用。 甚至可以说，都要2026年了，如果你现在还抱着十年前的教材，非要先啃明白RNN，再搞懂LSTM里那个该死的遗忘门，最后才敢翻开Transformer的第一页，那你纯粹是在浪费生命。

随着5G 国际标准的出炉，Polar码顺利入选控制信道编码方案，世界上各大通信设备生产商便开始基于标准设计基站和终端产品。 我们明白，从纯算法到实现工程化，中间还有很长一段路要走。一方面，我们需要保证算法的性能良好；另一方面，便于硬件实现。

这是最近网友不断对着Transformer八子之一的Noam Shazeer（为方便阅读，我们称他为沙哥）发出的灵魂疑问。 尤其是最近Meta FAIR研究员朱泽园分享了他们《Physics of Language Models》项目的系列新进展后，有网友发现，其中提到的3-token因果卷积相关内容，沙哥等又早在三 ...

如果有人问目前最火的基础模型是啥？那我一定回答是Transformer模型。Transformer模型自2017年提出以来，一直深受大家喜欢，其架构主要分为三种变体：Decoder-Only、Encoder-Only和Encoder-Decoder，每种变体都有其独特的特点和应用场景。 嵌入层处理：对输入文本的每个 ...