一篇论文让我停下来看了半小时 S0 Tuning


核心idea:不改模型权重,只调一个初始状态矩阵,就能大幅提升模型coding能力。
在Qwen3.5-4B上,只用48个HumanEval训练样本(不是48K,是48个),S0 tuning把pass@1提升了23.6个百分点。
对比LoRA,S0高了10.8个百分点。p值<0.001,统计显著。
在FalconH1-7B上,S0达到71.8%。
这意味调完之后模型速度不变,大小不变,只是"起跑位置"更好了。
对做本地模型部署的人来说,这打开了一扇门:拿一个通用模型,用几十个领域样本把它调成专用模型,不付任何性能代价。
论文在arxiv: 2604.01168。做模型适配的人应该读一下
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论