首页 生活 资讯 社会 财经 国内 国际 金融 理财 科技 文化 旅游 图片 教育
首页 > 资讯 > 正文

颇具争议的 AI 可解释性研究引起山姆・奥特曼关注

2026-11-17 18:29:24 环球市场播报

过去数月,OpenAI 与 AI 初创企业 Goodfire 就潜在收购或合作事宜展开谈判(我和同事今早发布报道,OpenAI 曾考虑以 50 亿美元及以上价格收购这家解析 AI “思考方式” 的初创公司)。谈判期间,OpenAI 首席执行官山姆・奥特曼对尼克・卡马拉塔的研究尤其感兴趣。卡马拉塔曾任职于 OpenAI,现就职于 Goodfire;他近期提出的关于人工智能如何思考的新观点,在行业内引发巨大反响。

卡马拉塔上个月发布一篇论文,上周又推出后续报告,在 AI 研究者圈子掀起热议。一部分人称赞该成果有望成为理解 AI 模型领域的重大突破;另一部分人则认为这只是炒作。这样两极分化的反应说明,AI 部分研究领域依旧很不成熟,科研人员甚至对 “什么才算高质量研究” 都无法达成共识。但即便技术尚未得到验证,相关初创企业依旧能拿到数十亿美元估值。


(资料图)

Goodfire 的核心研究方向是机制可解释性,业内简称 “mech interp”。该领域目标是搞懂 AI 模型的内部运行机制,而不仅仅观察它输出的外在行为。AI 模型由数万亿数值构成,如同 “黑盒”,人们无法像阅读传统软件代码那样直接读懂它。这就导致很难预判 AI 在全新场景下会做出什么行为,出现错误时也难以溯源。

卡马拉塔的论文标题为《神经网络本就清晰可读》,文中提出观点:AI 模型里的人工神经元(基于海量数值构建的数学函数),实际比科研人员过去所认为的更容易解读。照此推论,像 Goodfire 这类致力于解析 AI 内部逻辑的初创企业,发展前景会更加乐观。

举例来说,早在 2017 年,机制可解释性研究者就在一个图像 AI 模型中发现了一个特殊神经元:无论是输入汽车还是猫咪的图片,该神经元都会被激活。大量神经元都存在这种现象,同时处理多个看似毫无关联的任务,给研究人员带来极大困扰。事实上,2023 年卡马拉塔还在 OpenAI 工作时,曾尝试用 GPT‑4 去解析 GPT‑2 的神经元,结果发现最多仅有 1.7% 的神经元能够被解读。

但卡马拉塔认为,得益于模型训练技术与解析手段的进步,局面已经不再毫无希望。以阿里通义千问 Qwen3‑32B 为例,约 90% 的神经元只承担单一功能,具备被解读的条件。他重新研究那个同时响应猫和汽车的经典神经元后发现:猫脸与汽车前脸都具备相似的 V 形轮廓,这才是真正激活该神经元的特征。

“在我看来,可解释性领域的故事,很大程度上是:显微镜下观察到的事物,远比我们预想的状况要好。” 他写道,“只是显微镜本身没有调校到位,而需要调整的地方往往十分微妙。”

多位机制可解释性领域的顶尖研究者并不认同卡马拉塔的论文结论。他们表示研究方向有价值,但论文夸大了成果的意义。

谷歌 DeepMind 机制可解释性方向负责人尼尔・南达在社交平台表示:“这项工作很有意思,但我并不认为它给可解释性整体图景带来重大更新。” 南达写道,论文高估了人类目前对神经元的理解程度;就算全部神经元都能被读懂,模型运行机制依然会遗留大量未解问题。

OpenAI 研究员高 Leo Gao 也参与讨论,发布了题为《神经网络并非本就清晰可读》的反驳文章。他提出:“该论文远远不足以证明我们已经弄懂神经元的绝大多数行为;这些结果不能代表可解释性问题已经解决,也不能说明这项工作比过去想象中要简单得多。”

曾在 Goodfire 工作、现任职于 Anthropic 的利夫・戈顿复现了卡马拉塔的部分实验,得到不一样的实验结果。她同时指出:猫脸并不都是 V 形,而且该神经元对很多 V 形物体(例如鸟喙)并不会产生响应。

面对各界褒贬不一的评价,卡马拉塔依然表达了乐观态度。他在社交平台发文谈及 AI 可解释性:“我相信这个问题可以被解决。无论现有简单方案就能奏效,还是现有方案大体可行但仍需补充新工具,抑或是我们需要颠覆性新思路,我们终会找到答案。”

标签:

最新推荐

颇具争议的 AI 可解释性研究引起山姆・奥特曼关注
当前关注:华致酒行自历史高点跌80% 光大证券长城证券高位喊买
今热点:华新建材:拟为全资子公司巴西恩布公司提供112.92亿元担保
牛奶和奶粉有什么区别?牛奶和奶粉哪个营养更高?
贝蒂女包是什么牌子?贝蒂女包质量怎么样?
智汇矿业(02546)11月17日斥资310.29万港元回购18万股
11月17日捷荣技术涨停:无线耳机,手机产业链,智能手表概念热股
新消息丨自己挖坑自己填!王刚回应“电梯战神”外号,希望能继续效力国安
落后24分追到只差4分,篮网还是输了
[快讯]居然智家发布解除质押公告一股东累计质押201741万股
中信里昂微升小鹏汽车目标价2.3% 料明年海外市场销量将逾倍增长 焦点资讯
小学三年级植物记录卡怎么写?植物观察记录卡模板哪里找?
陕西八大怪是什么?陕西八大怪有哪些讲究?
炖鱼多长时间合适?炖鱼怎么做好吃?
新鲜的事有哪些?新鲜的事怎么写作文?
手机root有什么好处?手机root有什么风险?
大胜火箭!斯波肯定2配角,字母哥仍不满自身表现,汤普森谈回暖
小米米家智能嵌入式洗碗机灶下13套11月23日发售,2599元 每日讯息
借贷记账法是什么?借贷记账法的记账规则是什么?
大行评级|瑞银:强生收购Ollin证明信达生物眼科研发获认可,维持“买入”评级|焦点精选
焦点速看:最高溢价率32.84%!杭州单日土拍成交超50亿元
什么是公关礼仪?公关礼仪包括哪些内容?
什么是公关礼仪?公关礼仪包括哪些内容?
九阳股份“地天板” 出口点燃家电行情
安全色有哪几种?安全色对应的对比色是什么?
丽江有哪些历史文化?丽江古城有哪些人文故事?
BLG现身篮网主场看球赛,官方大屏幕隆重介绍,纽约人都认识了_焦点热闻
从开发到盘活:存量时代的房地产新逻辑 | 蔚言大义
建水县面甸乡禧烟花爆竹专卖店(个体工商户)成立 注册资本5万人民币-每日速看
焦点热议:消费电子板块短线拉升 影石创新涨超10%

中狐网 版权所有

声明:未经授权禁止建立镜像!转载、摘编、复制请注明文章出处!

京ICP备2022016840号-38

联系我们:345 5005 708@qq.com