小米的这个Attention Basin论文我也看了，一番话把我大脑震撼到稀碎！现在的大模型一直有个通病叫中间遗忘，就是说长文章只看开头结尾。结果小米直接从底层的注意力机制找根源！不用换模型，不用加算力，甚至不加任何延迟！仅仅在输入端做一次排序重组，长篇大论立马理解透彻！这tm比几乎是性价比最高，最简单能让ai智慧升级的办法了，真的是普惠全世界AI了！
小米的这个Attention Basin论文我也看了，一番话把我大脑震撼到稀碎！现在的大模型一直有个通病叫中间遗忘，就是说长文章只看开头结尾。结果小米直接从底层的注意力机制找根源！不用换模型，不用加算力，甚至不加任何延迟！仅仅在输入端做一次排序重组，长篇大论立马理解透彻！这tm比几乎是性价比最高，最简单能让ai智慧升级的办法了，真的是普惠全世界AI了！
