跳到主要内容
返回时间线
sarvam.ai来源发表:

Sarvam发布决策模型Prism:44毫秒作答,25个模型中100毫秒内平均分最高

核心概要

Sarvam发布基于Sarvam 105B的决策模型Prism,面向企业工作流中需要快速、可校准判断的环节。在Sarvam自行测试的25个决策模型中,Prism在三个指数上的平均分为71.8,单次请求中位响应时间44毫秒,是100毫秒以内作答的模型中平均分最高的一个;总分更高的模型响应时间约为它的两到六倍。模型以开放权重发布,企业可在自有数据上继续训练并在自有基础设施上运行。

Source-provided article image: Introducing Sarvam Prism
sarvam.ai

深度剖析

企业工作流中的许多环节是一连串快速判断,Sarvam为此发布了一个专门输出选项概率的决策模型Prism,而不是让通用模型逐字生成答案。 此前同类决策模型已有多个,包括以卡尼曼“系统一”命名的Jev系列;这些模型在准确率与响应速度之间各有取舍。 在Sarvam自行测试的25个决策模型、三个指数平均分与中位响应时间的对照中,Prism为71.8分、44毫秒,是100毫秒以内作答的模型中平均分最高的;mammoth-1平均分75.2但耗时284毫秒,GLiDE 1.2为73.2分、116毫秒。

Prism的置信度被设计成可以按阈值直接使用:企业只在置信度高于阈值时执行决策,前提是模型报出的置信度不能低于实际正确率。 在90%及以上置信度的答案中,Prism在英文上预测错误率3.3%、实际2.2%,在印度语言上预测5.4%、实际4.4%,即错误少于置信度所预示的水平。 英文评测覆盖37个公开基准、226,088道题,印度语言评测为同样基准在10种印度语言和Hinglish上的20,108道题;同一设置下Clef英文预测2.8%、实际2.3%,Perplexity Decider、Microsoft-Decision-1和Jev 1.14的实际错误分别是其预测的1.5、1.8和2.7倍。

选项呈现顺序不再改变答案:Prism先把选项排成固定顺序再打分,然后按原选项名返回各自的概率。 直接按发送顺序读取选项时,Prism在打乱选项后有4.0%的题目答案改变;加入固定排序这一步后,2,000道题中没有一道改变答案。 测试对2,000道题各做四次打乱和四次不打乱的重发;同一批题上Perplexity Decider v1.2、GLiDE 1.2和mammoth-1在打乱后改变9%至10%的答案,Jev 1.14改变12.3%。

速度来自推理栈改造而非缩小模型:权重转为FP8使模型放进单张GPU,128个专家在一次分组内核中运行,前向过程录成CUDA Graph,微调适配器合并进模型权重。 Prism最初以16位精度跨两张B200 GPU运行,中位请求耗时664毫秒;上述改造后降到44毫秒,Sarvam称精度没有下降。 Sarvam报告注意力计算在超过2048个token的请求上快2.6倍,FP8使Jev决策指数变化0.01分,整体提速15.1倍;模型以Apache 2.0许可在Hugging Face发布,需单张至少120 GB显存的GPU。

启示与展望

已展示的范围是Sarvam自行运行的25个决策模型对照、三个指数的平均分与中位响应时间,以及英文和印度语言基准上的校准与选项顺序测试;此外还有700条记录智能体运行的评判测试和5,517道题的内部安全基准。Sarvam表示安全评测集将在未来数周扩充并公开,并会陆续发布更多基准。

校准结论建立在Sarvam自行复现的指数与内部印度语言基准上,安全评测使用的是内部基准,Sarvam称将扩充并公开。Jev 1.14与Microsoft-Decision-1仅通过API提供,表中响应时间为公开报告值,Sarvam从自有集群测得分别为431毫秒和533毫秒。