大语言模型的运行即将迎来重大变革。在印度推进"印度AI计划"(IndiaAI)之际，科技公司卓若实验室(Ziroh Labs)开辟新路径，成功实现在普通CPU上高效运行大语言模型。
该公司开发的Kompact AI平台无需依赖昂贵的GPU即可运行复杂的大语言模型。公司联合创始人赫里希凯什·德万(Hrishikesh Dewan)表示，该平台不仅支持模型推理，还将在三个月内推出支持高达500亿参数模型的微调功能。
德万解释，他们没有采用常见的模型蒸馏和量化方法，而是从数学基础出发，在保持模型结构和参数规模不变的前提下进行理论层面优化。系统会根据具体硬件特性，包括CPU、主板、内存架构等进行专门调优，以实现最佳性能。
目前，该公司已成功优化DeepSeek、Qwen和Llama等17个AI模型，并通过IIT马德拉斯的性能和准确性评测。
卓若实验室已与印度理工学院马德拉斯分校(IIT Madras)和IITM Pravartak技术基金会展开合作，共同成立人工智能研究中心(CoAIR)。该中心旨在通过CPU优化方案，解决印度在AI计算资源方面的可及性问题。
IIT马德拉斯校长卡马科蒂(V Kamakoti)认为，这种方法更符合自然规律："有效的知识获取和推理应该在有限领域内进行，试图包揽一切反而不可持续。"
自Kompact AI推出以来，已收到来自医疗、远程监测、零售等领域的200多个应用需求。面对微软、Meta和谷歌动辄数百亿美元的AI基础设施投资，德万表示这反映了不同的发展路径："大公司有资金优势，我们则依靠技术创新，两者可以共存。"
卓若实验室成立于2016年，现有11人团队，采用自筹资金模式运营。除AI优化外，公司也在研发隐私保护技术，计划在2026年实现AI隐私保护功能。
