@_LuoFuli
Представлена новая архитектура HySparse2 для MiMo-V3, ориентированная на агентный инференс и работу с длинным контекстом. По сравнению с Hybrid SWA в MiMo-V2.6 она снижает вычисления prefill в 5,02 раза и размер KV-кэша в 4,5 раза на 1 млн токенов, одновременно улучшая показатели извлечения контекста и перплексию.