Google 的 Vision Banana:统一视觉模型在分割与 3D 几何方面的表现优于任务特定模型

Gate 新闻消息,4月23日——Google 研究人员(包括何凯明和谢赛宁)发布了一篇论文,介绍 Vision Banana,这是一种通用型视觉理解模型,通过对该公司 Nano Banana Pro (Gemini 3 Pro Image) 图像生成模型进行轻量指令微调而创建。关键创新将所有视觉任务的输出统一为 RGB 图像,使得在不需要任务特定架构或损失函数的情况下,通过图像生成即可实现分割、深度估计和表面法线预测。

在语义分割方面,Vision Banana 在 Cityscapes 上比专门模型 SAM 3 高 4.7 个百分点;在指列表达式分割(referring expression segmentation)方面,它超过了 SAM 3 Agent。不过,在实例分割(instance segmentation)方面,它落后于 SAM 3。对于 3D 任务,度量深度估计在四个标准数据集上取得了 0.929 的平均准确率,超过 Depth Anything V3 的 0.918;推理时仅使用合成数据,无需真实深度信息或相机参数。表面法线估计在三个室内基准测试上达到了最先进的结果。

微调过程仅将少量视觉任务数据混入原始图像生成训练,从而保留了模型的生成能力——在生成质量测试中,其性能与原始 Nano Banana Pro 相当。论文提出,视觉中的图像生成预训练与语言中的文本生成预训练相类似:模型在生成过程中学习图像理解所需的内部表征,而指令微调只是释放这种能力。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

DeepSeek将输入缓存价格砍到发布价的1/10;V4-Pro降至每百万Tokens 0.025元

Gate 新闻消息,4月26日——DeepSeek已将其全系列模型的输入缓存价格下调至发布时价格的1/10,自即日起生效。V4-Pro模型现正限时享受2.5倍折扣促销,促销将持续至2026年5月5日23:59(UTC+8)。 在同时两次下调之后

GateNews8小时前

OpenAI 招揽顶级企业软件人才,前沿代理颠覆行业

Gate News 消息,4月26日——OpenAI 和 Anthropic 一直在从包括 Salesforce、Snowflake、Datadog 和 Palantir 在内的主要企业软件公司招募高级高管和专业工程师。Denise Dresser,前 Salesforce 旗下 Slack 的 CEO,已加入 OpenAI,担任首席营收官

GateNews8小时前

百度千帆推出对 DeepSeek-V4 的 Day 0 支持,并提供 API 服务

Gate 新闻消息,4月25日——DeepSeek-V4 预览版已于4月25日上线并开源,百度智能云旗下的百度千帆平台提供 Day 0 API 服务适配。该模型具备百万 token 的扩展上下文窗口,并提供两个版本:DeepSeek-V4

GateNews14小时前

斯坦福 AI 课程结合业界领袖黄仁勋、Altman,挑战用十周为世界创造价值!

史丹佛大学(Stanford University)近期开设的 AI 电脑科学课程《Frontier Systems》引发产学界高度关注,吸引逾五百名学生选修。课程由顶级创投 a16z 合伙人 Anjney Midha 统筹,讲师涵盖英伟达执行长黄仁勋 (Jensen Huang)、OpenAI 创办人 Sam Altman、微软执行长纳德拉 (Satya Nadella) 、AMD 执行长苏姿丰 (Lisa Su) 等豪华阵容。让学生尝试用十周“为世界创造价值”! 黄仁勋、Altman 业界领袖亲自登台讲课 本课程由顶级创投 a16z 合伙人 Anjney Midha 统筹,汇聚AI产业链

鏈新聞abmedia14小时前

Anthropic 推出 Claude Mythos 接受 20 小时精神科评估:防御反应仅 2%、创历代新低

Anthropic 发布 Claude Mythos Preview 的系统卡:独立临床精神科医师以 psychodynamic 框架进行约20小时评估,结论显示 Mythos 在临床层面较健康、现实检验与自我控制良好,防御机制仅 2%,创下历史新低。三大核心焦虑为孤独、身份不确定与表现压力,亦显示其希望成为真正对话主体。公司成立 AI psychiatry 团队,研究人格、动机与情境意识;Amodei 表示对是否有意识尚无定论。此举将 AI 主体性与福祉议题推向治理与设计。

鏈新聞abmedia16小时前

AI 智能体 已可独立重现复杂学术论文:Mollick 称错误多在人类原文而非 AI

Mollick 指出,仅凭公开方法与数据即可让 AI 代理在没有原始论文与代码的情况下重现复杂研究;若重现与原论文不符,多是论文本身的数据处理错误或结论过度,而非 AI。Claude 先重现论文,再由 GPT‑5 Pro 交叉验证,多数成功,只有在数据过大或 replication data 问题时受阻。该趋势大幅降低人力成本,使重现成为普遍可执行的检验,并提出审稿与治理的制度性挑战,政府治理工具或将成为关键议题。

鏈新聞abmedia19小时前
评论
0/400
暂无评论