HySparse2
小米 MiMo 团队为即将发布的 MiMo-V3 打造的注意力架构,通过两级 KV 共享降低长上下文智能体工作负载的预填充成本与 KV 缓存体积。
关注评分
8.0
关注理由
- HySparse2 将长上下文 agent 的预填充 FLOPs 降低 2.92–5.02 倍、KV 缓存从 12.09GB 压缩至 2.69GB,直接改写长时运行编码与检索 agent 的单位经济性。若随 MiMo-V3 落地并经第三方复现,可能重塑长上下文推理的成本结构,值得工程团队提前跟踪其开源与推理框架适配进展。