模型基本信息
印度孟买人工智能公司Fractal（Fractal）推出新型开源大语言模型Fathom-R1-14B。该模型在数学推理性能方面超越了o1-mini（O1-mini）和o3-mini（O3-mini），接近o4-mini（O4-mini）水平，训练成本仅499美元。
该模型已在Hugging Face平台开放试用，代码库托管于GitHub，采用MIT许可证发布，包含完整数据集和训练方案。Fathom-R1-14B基于Deepseek-R1-Distilled-Qwen-14B开发，拥有140亿参数，是印度AI计划下首个大型推理模型项目的组成部分。
项目背景
Fractal首席执行官斯里坎特·韦拉马坎尼（Srikanth Velamakanni）在LinkedIn表示："作为印度AI计划的一部分，我们计划开发三个不同规模的模型，包括小型、中型和拥有700亿参数的大型模型。这仅是一个初步验证。"
性能表现
在奥林匹克级别测试中，Fathom-R1-14B在AIME-25和HMMT-25考试中分别达到52.71%和35.26%的Pass@1准确率。使用额外推理时间（cons@64）后，准确率提升至76.7%和56.7%。在16K上下文窗口范围内，该模型性能接近闭源o4-mini（低配版）。
技术实现
模型采用监督式微调（SFT）、课程学习和模型合并等方法进行训练。Fractal还推出另一个变体Fathom-R1-14B-RS，通过结合强化学习和监督式微调，实现相似性能，成本为967美元。
公司其他进展
去年，Fractal推出多模态AI平台Vaidya.ai，提供免费医疗保健援助服务。同时，印度AI计划下负责开发基础大语言模型的初创公司Sarvam，近期发布了基于Mistral Small的240亿参数开放权重混合语言模型Sarvam-M。