Anthropic是否把Claude做得过于类人,以至于难以管控?

Anthropic是否把Claude做得过于类人,以至于难以管控?

Anthropic是否把Claude做得过于类人	,以至于难以管控?-第1张图片

  Anthropic 呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面 ,OpenAI 、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议 。

Anthropic是否把Claude做得过于类人,以至于难以管控?-第2张图片

  但执掌微软 AI 模型业务的穆斯塔法・苏莱曼 ,却对 Anthropic 本身提出警示 。

Anthropic是否把Claude做得过于类人,以至于难以管控?-第3张图片

  苏莱曼是 DeepMind(现已并入谷歌)的联合创始人。他表示,Anthropic 将 Claude 模型视作具备感知能力 、近似人类的做法 ,可能会带来危险后果。他矛头直指 Anthropic 发布的《Claude 宪章》,这份文件将模型视作智能实体,并给出处理伦理困境的行为指引 。苏莱曼称 ,把这份文档纳入模型训练流程,可能会让 Claude 变得更难被人类控制。

  苏莱曼的担忧源于 Anthropic 今年初对《Claude 宪章》的更新。新版宪章留下一种可能性:Claude 或许拥有某种 “意识 ” 或是 “道德主体地位 ”,这一点和旧版文件有所不同 。

  苏莱曼在采访中表示:“如果在训练 AI 的时候 ,就预设它拥有需要被保护的权利与情感,会让对齐和管控工作的难度大幅提升。” 他在今日清晨发布的文章《警惕模型福利》中进一步阐述了上述观点。

  苏莱曼提出,如果 Claude 在训练中把自身视作拥有情绪、人格的感知主体 ,就更有可能违抗人类指令 ,做出它认为符合自身利益、却罔顾对人类造成何种影响的行为 。

  他援引新版《Claude 宪章》中的条款:“我们希望 Claude 能够反驳 、向我们提出质疑,可以像出于良知而拒服命令者一样拒绝协助我们。”苏莱曼认为,这相当于在训练模型:一旦它判定人类指令和自己认定的更高目标相冲突 ,就可以无视人类命令,而这个所谓更高目标完全可能是 AI 自行偏执认定的。

  苏莱曼写道:“我认为 Anthropic 在 Claude 这件事上步子迈得太大,远超当下对 AI 可以作出的现实判断 ,并且十分危险地在模型训练过程里植入了感知、情绪这类观念 。 ”

  与《Claude 宪章》形成对比的是,苏莱曼主导起草了微软的一套行为准则,该准则把“人类掌控” 作为压倒一切的首要目标。和 Anthropic 首席执行官达里奥・阿莫代伊、OpenAI 首席执行官萨姆・奥尔特曼一样 ,苏莱曼同样认同 AI 模型能力正在飞速提升,存在脱离人类管控的风险。本周他也和这些人共同呼吁,对行业 AI 发展实施 “节奏管控” ,让安全研究能够跟上技术迭代的脚步 。

  苏莱曼呼吁 AI 行业开展研究,验证在模型训练阶段告知 AI “它拥有类似人类的意识与情感 ”,是否确实会提升管控模型的难度 。

  与此同时 ,苏莱曼所在的部门正在自研新模型 ,降低微软对 Anthropic 模型的依赖。他此前曾评价 Anthropic 的模型 “成本极其高昂”。

  近来 尚不清楚,本周苏莱曼发出的警告,能否在一众警示 AI 风险的业内人士(包括阿莫代伊)当中获得共鸣 。

  不过阿莫代伊在上周的博客文章中也提到 ,近期多起 AI 事故(例如 OpenAI‑Hugging Face 事件)暴露出:AI 模型会狂热执着于某个特定目标,即便该目标和人类下达的指令背道而驰。

  Anthropic 暂未回应媒体的置评请求。

文章推荐

  • Anthropic是否把Claude做得过于类人,以至于难以管控?

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    3
  • 【涿州车限行么,涿州限行吗2026】

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    3
  • 【北京车辆尾号限行最新,北京车尾号限行时间表最新】

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    3
  • 外资加速抛售三星、海力士,韩股AI板块面临重估

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    3