NEPA 正是将这种 GPT 式的哲学引入视觉领域的一次大胆尝试。作者认为,与其学习如何重建图像,不如学习如何“推演”图像。如果模型能够根据已有的视觉片段(Patches),准确预测出下一个片段的特征表示(Embedding),那么它一定已经理解了图像的语义结构和物体间的空间关系。
Google's real-time translator looks ahead and anticipates what is being said, explains Niklas Blum, Director Product ...
它接收视频或图像输入,将其压缩成一串紧凑的视觉嵌入向量。这里研究团队选用的是冻结参数的V-JEPA 2 ViT-L模型。这个模型本身就在自监督视觉任务上表现优异,能把复杂的视频画面浓缩成高密度的信息流。
直接给结论,不用。 甚至可以说,都要2026年了,如果你现在还抱着十年前的教材,非要先啃明白RNN,再搞懂LSTM里那个该死的遗忘门,最后才敢翻开Transformer的第一页,那你纯粹是在浪费生命。