最近刷屏的Jev,到底是个什么东西 Original en chino

点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!

Agent时代最缺的不是更会说话的模型,而是海量、便宜、可校准的判断。它不聊天、不写代码、不生成任何一段文字,只返回三个东西:选项、分数、是或否。这个模型叫Jev,目前已经全面开放。

现有的大模型几乎都是为「人」优化的:RLHF训练模型输出人类喜欢的文字,哪怕你的程序只需要一个「是」或「否」,它也会先生成一段话,再由代码解析、验证、重试。

图片

TypeSafe AI的创始人Diogo Almeida参与了这套范式的奠基——InstructGPT和早期RLHF研究都有他,这些成果后来构成了ChatGPT的技术底座。但他离开OpenAI后的结论是:聊天能力超过人类的模型,并没有带来自动化。「人对着屏幕用」和「软件自己在后台跑」是两个场景,后者的瓶颈从来不是模型不够聪明,而是判断太慢、太贵、还不可信。

9月15日,他隐身开发两年后创立的TypeSafe AI带着4000万美元种子轮(DCVC领投,团队位于旧金山)发布Jev,定位为一个全新类别:System One Model,名字取自卡尼曼《思考,快与慢》里的「系统一」——快、直觉、负责海量小判断。截至目前,Vercel AI Gateway上线24小时内有近13%的付费团队用过它,是GPT-5.6系列同期的两倍以上;到9月20日,团队覆盖率27.8%、请求量占比20.8%。9月21日,TypeSafe宣布取消候补名单全面开放,新用户送5美元额度。发布帖在Hacker News拿到1715个赞登顶,据国内媒体报道,上线不到36小时有14万开发者涌入内测。图片

LLM 与Jev的区别是什么呢?

关键区别不在于Jev生成速度更快。Jev 根本不生成文本。传统的LLM接收上下文,并逐个生成 token。即使输出是一个小型 JSON 对象,每个 token 也依赖于上下文。图片

Jev 热门使用案例

40 秒分析 724 条竞品广告

图片

40 秒个性化推荐 700 条高意向潜在客户

图片

相关链接

  • 官方博客:https://typesafe.ai/blog/introducing-system-one-models-and-jev
  • 官方文档:https://docs.typesafe.ai/
  • 工作流评测站:https://evals.typesafe.ai/
  • Vercel接入公告:https://vercel.com/changelog/typesafe-ai-jev-now-available-on-ai-gateway
  • 独立实测:https://capitalandcompute.net/blog/typesafe-jev-system-one-models-cost-use-cases

内容介绍

一句话定义:输入一段非结构化状态(工单、页面、日志、Agent轨迹),外加你预先定义好的问题,Jev在70到500毫秒内返回类型安全的结构化判断,每个答案带校准过的置信度。

只支持三种问题原语,可以混在一次调用里:

  1. Choice:从给定选项里选一个。工单该转给billing、technical还是sales,它不解释,直接返回{billing:0.08, technical:0.85, sales:0.07}加一个置信度0.82
  2. Score:按量表打分,比如流失风险0到2级
  3. Noul:是或否,返回概率。比如「这条消息是越狱攻击吗:0.97」

答案只能出自你预设的选项,编不出第四个部门——这是「不会幻觉」说法的来源。置信度经过校准:标0.9的判断,期望上90%是对的,你的代码可以设一个阈值,低置信度自动转人工或转给更强的模型。

适用场景:Agent的工具路由和结果校验、客服/工单分类分流、内容风控和越狱检测、对LLM输出做实时质检、PB级数据的map-reduce打标。不适合的也很明确:聊天、写作、代码生成、需要推理链的开放任务。

方法概述

一套接口管输入输出,一套训练管概率诚实,一套采样管速度。

1. 三种判断原语(Choice/Score/Noul)

解决的问题是「软件要的不是一段话,是一个可执行的值」。传统LLM返回字符串,下游要解析、验schema、处理拒答和格式跑偏;Jev的输出空间在调用前就定义死了,类型错误在构造上不可能发生。要注意官方自己说得很清楚:这个「0%类型错误」不是实测出来的,是模式匹配有保证之后的构造性结论。选项基数最高支持255个,更高的场景走两阶段(先独立评分再显式选择)。

2. 校准决策训练(RLCD)

解决的问题是「LLM的置信度不可信」。RLHF优化的是人类偏好——模型学会说人爱听的话(官方的原话是「过度承诺」);RLCD(Reinforcement Learning for Calibrated Decisions)优化的是校准:模型报出的置信度必须匹配它实际的正确率。具体机制没有公开,这是全文最「黑盒」的部分,也是判断这套东西成色的关键未知数。

3. 并行采样器

解决的问题是「逐token生成太慢」。LLM一个token接一个token地生成,复杂任务端到端3到329秒;Jev在单次查询里并行产出所有答案,端到端70到500毫秒。这是它敢叫「System One」的硬件底气——也是《毁灭战士》Demo能做到每秒10次决策的原因(那局游戏的状态是文本结构而非画面,成本约7美元/小时)。

实验结果

官方口径

官方同时主动披露了四个偏差来源:测速从他们西海岸的笔记本上跑的;无法证明定价没有补贴;工作流评测是自家模型能力团队写的;参考答案用GPT-6 Astra和Fable 5.1的平均,天然偏向OpenAI和Anthropic系,可能低估了DeepSeek系模型的相对表现。 >

独立实测:价格和速度基本属实,倍数要看怎么算

发布一周内出现了一批独立测试,结论比较一致:

  • 速度和单价是真的。Every的实测:777次判断不到0.7秒,中位0.35秒对比前沿模型的8.83秒,约25倍;483条真实查询的第三方基准:中位314ms、P95 399ms,落在官方70-500ms区间内
  • 444.6倍要打折看。实测成本优势区间是8.6倍到580倍——444.6这个数恰好是对上最贵的Opus 5的单点值,不是平均;从官方自己的评测表手算,速度倍数最高约95倍
  • 准确率没有碾压。Every埋了7个缺陷,Jev抓到6个,对比的前沿模型7个全中;Arize用真实标签测,Jev 98.3%,一个TF-IDF基线98.4%
  • 最大的坑是弃权率。这是全网文章几乎都没写的:生产队列上9081次真实判断,30%的置信度不达标要升级处理,76倍的名义优势被摊薄到3.2倍;另一个测试里只传3个词的极简输入,57.8%的答案置信度不到0.5,有效倍数只剩1.3倍。省多少钱,取决于你的置信度阈值和状态给得够不够肥,不取决于那个宣传倍数

官方工作流评测:准确率对成本4个工作流平均:Jev(粉)在准确率68%附近的成本比各家前沿模型低一到一个数量级。注意这是厂商自建的评测。

稳定性是另一张牌

官方公布的对比里,传统LLM做结构化输出的错误率从0.58%一路涨到46.9%(haiku 4.5),工具调用错误率最高17%。Jev两项都是0%——但如前所述,这是构造保证,不是实测。真正值得看的是独立测试里它「相似输入返回相似答案」的一致性表现,这是判断可不可用于生产的关键。

结构化输出错误率与工具调用错误率左:结构化输出错误率;右:工具调用错误率。Jev的0%来自输出空间预定义,属于构造保证。

局限与未来方向

首先,它不会推理也不会生成。System Two的活(写代码、做规划、开放问答)一点没少地留在GPT们手里,Jev只吃那些「答案事先知道、还重复海量出现」的判断。

其次,所有倍数都绑定对比对象。对上Opus 5是几百倍,对上一个便宜的分类小模型可能只剩个位数倍——它要打败的不是「坏掉的工作流」,而是不断在进步的结构化输出模式和小模型。

此外,机制不透明。无论文、无权重、RLCD只有名字和优化目标,置信度校准在分布偏移下表现如何,目前没有长期数据。中文场景官方文档明示英文效果最佳,多模态输入(图像、音频)还没有。

最后,价格可能是补贴期价格。TypeSafe自己都没排除这一点,长期定价要看后续。

结论

Jev验证了一个判断:AI行业在「让机器把话说漂亮」上跑了四年,而软件自动化真正需要的接口是「给出类型安全的判断,附上诚实的置信度」。

对于做Agent和工作流自动化的团队,Jev值得直接试:今天已全面开放,5美元额度够跑几千次判断。但迁移前先测你自己的数据——跑几百条真实决策,量出弃权率,给升级调用留预算。如果弃权率超过三成,名义上76倍的便宜实际只剩3倍,账要按这个算。对于普通用户,它和你没关系,你不会直接用到Jev,但你的Agent可能正在后台用它——判断成本降一个数量级,能自动化的决策就多一个数量级,这是杰文斯悖论在AI上的重演。

另外还有一点想和大家说的是这是闭源商业API,价格、倍数、校准能力全部来自厂商口径加一周的独立小样本测试,别把它当成已验证的基础设施去重构关键链路。它更可能成为你系统里那个不起眼但每天跑几百万次的判断层——前提是,那些数字在别人手里也站得住。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

疑似使用AI生成,请谨慎甄别
举报/反馈
Compartir en: Weibo Qzone
¿Interesado en colaborar a partir de este artículo?
Le responderemos dentro de 1 día hábil
Dejar un mensaje