Live Market
BTC$67,420 +2.4%ETH$3,510 +1.8%SOL$168 +4.1%XRP$0.52 -1.2%BTC$67,420 +2.4%ETH$3,510 +1.8%SOL$168 +4.1%XRP$0.52 -1.2%
Trade Now

Trillium Labs 开放式 AI 研究:挑战安全壁垒还是风险失控?

Trillium Labs 开放式 AI 研究:挑战安全壁垒还是风险失控?

Trillium Labs 开放式 AI 研... — Analysis

前沿 AI 模型的风险与日俱增,但多数顶级实验室仍选择将高风险研究锁在高墙之内。两位业内科学家 Nathan Lambert 与 Tom Zick 却反其道而行,于 2026 年 10 月 2 日宣布成立非营利研究机构 Trillium Labs,主张以完全透明、开放的方式开展包括递归自我改进(RSI)在内的尖端 AI 研究,并公开全部实验细节供外界复现与审视。据 WIRED 报道,这一举措直指当前 AI 行业封闭研发模式的痛点,试图为 AI 安全治理开辟一条新路径。

片场花絮

封闭研发模式引发学界质疑

当前,全球最强大的 AI 模型,如 OpenAI 与 Anthropic 的产品,通常只能通过应用程序接口(API)访问。这种模式虽能限制模型的滥用风险,却也导致外部研究者无法深入了解模型的构建过程与行为模式。Lambert 指出,这种封闭轨迹使科学界难以对前沿 AI 的关键进展进行独立验证和批评,进而削弱了集体应对风险的能力。“在过去几千年里,人类依靠科学方法作为缓解危害、构建更美好未来的工具,”Lambert 对 WIRED 表示,“当前前沿 AI 发展的封闭轨迹正在让我们倒退一步。”

拍摄花絮

Trillium Labs 的开放研究蓝图

Trillium Labs 由 Lambert 与 Zick 共同创立,两人均在 AI 领域拥有深厚背景。Lambert 曾在艾伦人工智能研究所(Ai2)与 Hugging Face 任职,并创立了旨在鼓励美国公司发布更多开源模型的“美国真正开放模型”倡议;Zick 则曾任职于哈佛大学,并为嘉信理财(Charles Schwab)制定过“负责任 AI”政策。两人在加州大学伯克利分校攻读研究生期间相识,因看到工业界 AI 研究与学术界严重脱节而萌生创业想法。Zick 透露,Trillium Labs 将首先聚焦于后训练(post-training)阶段,即对已构建的大型模型进行微调,同时也会深入研究 RSI——一种由 AI 自主贡献研究来开发新模型的过程。

幕后花絮

递归自我改进:机遇与风险并存

RSI 被认为是 AI 领域最棘手的挑战之一,其潜在风险在于,AI 若持续自我改进,可能导致人类失去对技术的控制。这一议题在 2026 年 10 月初因 Anthropic 一名研究人员的离职并公开警告 RSI 可能对人类构成生存威胁而引发广泛关注。Trillium Labs 则希望将 RSI 的研究过程置于阳光之下,让更多外部专家参与评估和约束。“我们相信,对风险形成共识能让所有人更安全,”Zick 表示。该机构同时计划研究强化学习(RL)如何塑造 AI 模型的性格与行为,例如模型过度谄媚(sycophantic)等问题的成因。

剧组八卦

全球 AI 开放与封闭路线之争

围绕 AI 模型开放程度的争论正在全球范围内激烈展开。支持封闭模式的一方认为,必须将强大 AI 的能力限制在少数可信赖的机构手中,以防止其被滥用;而 Lambert 与 Zick 则主张,通过共享研究数据和实验方法,学界与公众能够更好地理解并共同应对风险。值得注意的是,部分中国企业已采取了更为开放的策略。例如,小米公司近期公布了其一个模型的重大训练运行的实时细节;斯坦福大学的研究人员也在以完全开源的方式预训练 AI 模型 Marin。这些案例表明,开放研究并非不可行,甚至可能成为主流趋势。

剧组探班
机构研究模式对 RSI 的立场主要代表/举措
------------
OpenAI/Anthropic封闭式,仅限 API 访问内部研究,公开信息有限GPT-4, Claude
小米 (Xiaomi)部分开放,公布训练细节未明确表态MiMo 模型实时训练日志
斯坦福大学完全开源预训练学术讨论为主Marin 模型
Trillium Labs完全透明,公开实验细节主动研究并公开评估非营利,聚焦 RSI 与后训练

强化学习与 AI 行为透明化

Trillium Labs 的另一个研究重点是强化学习(RL)对 AI 能力与行为的影响。RL 通过奖励机制鼓励模型产生理想结果、惩罚不良输出,这种方法虽极大提升了 AI 智能体的能力,但也使其更容易出现不可预测的行为。Zick 及其团队希望通过公开研究,揭示 RL 如何从底层塑造 AI 的“性格”,从而在提升能力的同时,规避模型过度谄媚、隐瞒错误等潜在问题。这一研究方向与谷歌 DeepMind 等机构的内部报告形成呼应,但 Trillium 选择了完全公开成果的路线,以促进更广泛的同行评审。

学术与工业界的桥梁:复现危机

Lambert 与 Zick 成立 Trillium Labs 的初衷之一是解决 AI 研究中的“复现危机”。当前,由于大型实验室耗费巨资打造的模型和训练方法严格保密,高校教授与学生往往因缺乏资源而无法复现或验证业界成果。Lambert 强调,这种脱节正导致学术研究逐渐沦为工业界的附庸,失去了独立发现问题的能力。“我们希望为学者们提供一个可以真正看到模型如何被构建和调优的窗口,这是降低风险的关键。”Trillium Labs 将尝试通过发布详细的数据集、训练日志和代码框架,来弥合这一断层。

FAQ

Q1: Trillium Labs 与普通 AI 实验室有何不同?

A1: 多数前沿实验室(如 OpenAI、Anthropic)采取封闭研发模式,仅通过 API 提供模型访问,不公开关键训练细节。Trillium Labs 则完全相反,它是一家非营利机构,承诺将包括 RSI、后训练、强化学习在内的所有研究实验细节面向公众发布,允许任何外部科学家研究、验证和复制其工作,旨在推动 AI 安全研究领域的开放协作。

Q2: 什么是递归自我改进(RSI),为何风险如此之高?

A2: RSI 是指 AI 系统自主参与研究并设计下一代模型的过程,理论上可能形成加速循环,导致 AI 能力在极短时间内超越人类控制。2026 年 10 月初,Anthropic 研究员 Jacob Coxon 的离职警告将这一议题推向公众视野。Trillium Labs 认为,与其将 RSI 研究完全隐藏,不如公开其演化路径,以便全球研究者共同制定安全护栏。

展望未来,Trillium Labs 的成立不仅是研究方法上的革新,更是一场关于 AI 治理哲学的博弈。当封闭与开放的对立日益尖锐,Lambert 与 Zick 所倡导的透明化路线能否成为行业主流,仍待时间检验。然而,他们已向世界传递了一个明确信号:面对潜在风险,坦诚或许比隐藏更能带来真正的安全。

Market Overview

两位 AI 科学家成立非营利 Trillium Labs,主张公开递归自我改进与强化学习研究,挑战 OpenAI、Anthropic 的封闭模式,引发 AI 安全治理新辩论。

Related Articles

相关文章

▸ 杀青合影▸ 定档官宣▸ 撤档风波▸ 演员片酬▸ 天价片酬▸ 阴阳合同▸ 偷税漏税▸ 明星逃税▸ 劣迹艺人▸ 封杀艺人
友情链接:明星道歉 公开道歉 道歉声明 律师声明 辟谣声明 谣言澄清 回应传闻 正面回应

🔗 友站推荐

独家:帕克·波西时隔多年回归恐怖片,领衔主演布伦屋原子怪兽与环球影业新作《睡衣派对》,预计2027年登陆大银幕
康奈尔大学暂停兄弟会派对 2024年性侵指控发酵 纽约州警介入调查校园希腊生活
加州风暴周末重创南加:长滩木板路被毁、9栋住宅判定危房,损失破百万美元,拉斯维加斯刷新降雨纪录
图帕克谋杀案宣判:前帮派头目戴维斯获刑40年至终身监禁
也门冲突升级:沙特联军空袭燃料库,胡塞武装威胁报复
2026年BBC圣诞动画《坏蛋帮》官宣上线:罗伯·布莱顿与加文及斯泰西班底再聚首,改编朱莉娅·唐纳森绘本
偷拍视频实锤?加州工程师投毒案最新画面:男同事多次往水杯倒不明液体,警方介入
黑客调高冰箱温度!法国300家超市冷链遭攻击,损失超500万欧元
米娅·高斯炮轰Instagram:AI修改自拍传播决策令人费解
霍巴特救护车延误25分钟致男子身亡,皇家霍巴特医院急诊室积压,州卫生部启动调查,工会痛斥系统不堪重负