端侧逼近“ChatGPT时刻”:面壁智能让35B模型跑在手机内存里
面壁智能发布多模态大模型MiniCPM-V 4.7,总参数量35B,运行时仅占3GB内存且支持完全断网使用。该模型通过重构底层推理基础设施及“前瞻专家调度(LES)”机制,解决MoE架构在手机端的内存与I/O瓶颈,在iPhone 18 Pro Max上推理速度达30+ token/s。视觉处理采用全链路压缩架构,视频处理耗时降至传统方案十分之一。测试显示,其在34项权威榜单中领先同档位模型,并在古籍识别、长文档解析等方面表现突出。该技术旨在突破端侧算力与内存限制,推动AI在无网环境及低端设备上的普惠应用。