这么厉害的开源模型,你的手机上也能部署?
课代表立正
0:00 / 0:00
这么厉害的开源模型,你的手机上也能部署?
5 294 просмотра · 1 дн. назад
课代表立正
120 тыс. подписчиков
5 294 просмотра · 1 дн. назад
Jev 是 TypeSafe 做的决策模型,发布当天 Vercel 的 CEO 说 AI Gateway 上大约 13% 的活跃团队用了它。最出圈的是它能实时玩从没见过的游戏。鸭哥用开源的吃豆人做了三个实验:接上 Jev,10 局平均吃 178 颗豆,每步约 115 毫秒;同样的文字换给没做过决策训练的普通模型,微软 3.8B 的 Phi-4-mini 平均吃 232 颗;再让 27B 大模型离线给游戏状态打标签,蒸馏出一个 0.8B 小模型,按真实时钟平均吃 425 颗,每步 55 毫秒,小到能装进 iPhone 离线跑。
代价是它只在这一件事上更强。194 道和吃豆人无关的通用判断题,蒸馏出的 0.8B 只得 0.53,同样大小的决策模型 Tev1 得 0.66。所以结论不是“普通模型一定能替代 Jev”,而是换之前先在自己的任务上测:要零配置、开箱即用的广泛判断力,托管的 Jev 很好;要更低延迟、要离线在设备上跑、或者某个任务比通用能力重要得多,模型在自己手里,这些取舍才由你来定。
开头一分钟是立正:之前那期讲过,评价一个技术最重要的是找对标,这一期是鸭哥把 Jev 的对标做了出来。鸭哥用英文讲,画面里有中英字幕。
AI Builders 2027 下一期 10 月 12 日开课,两次直播课,立正和鸭哥各讲一半。课上给的优惠码 beyond-jev 减 $200,下面的链接已经带上:
https://maven.com/superlinear/aibuild...
错过报名截止,可以发邮件到 support@maven.com。
课件:https://ai-builders.com/resources/jev/
代码(README 里有课上每个数字对应的命令):https://github.com/grapeot/decision-p...
蒸馏出来的 0.8B 模型:https://huggingface.co/grapeot/decisi...
章节:
00:00 立正:为什么要看鸭哥这节课
01:06 开场:Jev 为什么值得一整节课
06:01 实验一:把 Jev 接进吃豆人,看它读到了什么
10:06 实验二:换成普通 LLM
12:31 两个质疑:输出可不可靠,结论能不能推广
14:24 实验三:模型归你以后,先让它更快
16:59 让它更聪明:27B 与 lockstep
18:40 蒸馏一个 0.8B,跑上 iPhone
20:11 代价:通用判断题
21:15 托管还是自己的模型,以及什么会留下来
23:22 课程介绍:AI Builders 2027