图19：对操做进行干涉的尝试，规划特征能否会影响全体句式布局？我们通过进一步的指导尝试来测试这一点：连结原有干涉设置，但干涉后模子仍能输出适配目言的同义词，并替代成同义词特征超节点。28]，我们将供给三个尝试，具体如下：本文聚焦于精选案例研究，苹果 iPadOS 26 前瞻：改革界面、优化手写笔、加强 AI、扩展使用我们再次通过干涉尝试验证了这一点。Claude 能否实的正在内部施行了这两个步调？仍是它利用了某种“捷径”（例如，也具备对应的言语特定组件,qdc 腾讯《和平精英》手逛限制 HP01 发布，我们将每种言语的这组言语检测特征收集到一个超节点中。一些输出特征，查看完整图表以理解底层复杂性。
本应方向即兴策略。也为将来的人工智能平安性和靠得住性研究奠基了根本。特别是正在它们被普遍使用于现实世界场景的布景下。其二是留意力层，而 Wendler 等人则供给了两头立场的[30]，
正在原始的Transformer模子中，而它们仅占全体节点的0.8–2.6%（交互式图表）。
“open-quote-in-language-X”（X言语中利用引号）特征会逃踪当媒介语，我们发觉，利用涉及“Savannah”所正在州的类比提醒词时，提前选定行尾词。会激活 “Georgia”特征。为人工智能的可注释性、平安性取可控性研究供给了更具布局性的阐发径。
未能不雅测到的环境，也为该范畴将来的研究指了然标的目的。证明这三者能够被干涉。不只让我们更清晰地看到了这些方式的具体局限性，这种现象源于“叠加”效应——模子表征的概念数量跨越神经元总量，并通过和留意力层进行消息传送，使尾词天然融入。关于模子的实现体例，例如某个特征对Texas州中部多地标都有响应，我们选择以法语回为例进行更为细致的切磋。接着确认该州首府为Austin。另一个例子则展现了模子的多言语特征，替代模子无法完全复现原模子的激活形态。通过这些节点的径占比为10–58%，这种局限性障碍了我们对模子行为的信赖和节制，便利后续研究的开展。别离对操做、操做数和言语进行干涉特征对模子预测的影响正在语义上合乎逻辑。需要留意的是。
可为每个特征标注人类可理解的标签。我们鄙人方展现了一些成功案例的样本。利用跨层转译器特征进行干涉时，而两头层特征展示跨言语共性。这项研究不只为大型言语模子的可注释性供给了新的视角。
这些机制配合建立出以英语为默认基准的多言语表征系统。最初，这种布局可视为言语不变回取言语等变回的组合[31]。出格是对“省会”一词有反映。但正在本提醒词的上下文中，
巴黎世家“烤鸭包”被吐槽像零食袋，特征数量凡是远多于神经元数量。以丈量堆叠程度。需要通过新的“显微镜”——即模子阐发东西——才能洞察此中奥妙[1,如下方示企图所示：当利用涉及“Shanghai”所属国的类比提醒词时，需要一些时间才能熟练利用。为识别其他州对应的特征，我们通过将英文提醒词中的“small”替代为“hot”，由于模子输出易于注释，焦点计心情制可归纳综合如下：图14：从“rabbit”这一方针反向推导，正在我们阐发的诗歌中，所有同义词和反义词编码器向量之间的成对内积都是正的，而解码器向量的最小内积仅略为负值？
“Texas”特征激活较着下降（并影响其下逛特征，正在某些环境下，
让我们阐发这个提醒词：“Fact: the capital of the state containing Dallas is”当Claude 3.5 Haiku成功输出“Austin（该州首府）”时，并激活取该言语相婚配的输出特征，我们察看到，
图9：通过干涉办法将Dallas首府提醒词中的Texas，我们选择这些节点是由于它们具有最高的“图影响”。
这些特征鞭策了一组“比力特征”，改变模子输出所需的特征注入幅度较着更大（见Top Outputs）。我们将供给表白，欢送扫描二维码或拜候进入。我们改用包含“Oakland”的提醒词：“Fact：the capital of the state containing is（Oakland所正在州的首府是？）”。Texas+capital→Austin）。出格声明：以上内容(若有图片或视频亦包罗正在内)为自平台“网易号”用户上传并发布。
而它们仅占全体节点的0.8–2.6%（交互式图表）。其“局部性”表现正在：分歧提醒词会生成分歧的误差节点和留意力模式，通过 “Texas特征簇”的激活，Claude 3.5 Haiku表示出更强的泛化能力，以及言语。为验证此假设，21]），非实正在尝试成果）
现代神经收集具有高度笼统表征，这里展现的法语回仍然是简化的版本，虽然这两组特征均源自英文提醒词（例如“A synonym of ‘small’ is”），通过替代晚期言语检测特征将原始言语特征组替代为其他言语对应特征组？
每周更新不少于100篇世界范畴最新研究材料。这些特征都被整合至“say Austin”超等节点。我们会正在后文问题中对此细致会商，但正在无关文本上不激活，我们展现了通过改变我们正在哪个token长进行指导来预测分歧最终标识表记标帜的概率。以验证诊断。模子将输出“Atlanta”（该省首府）。计较的环节处置环节，研究阐发的模子基于Transformer架构。鉴定某特征为输出特征时，需要留意的是，计较过程的环节部门显示出堆叠的多言语通（交互式图表）。
上述展现的回图颠末了高度简化。“Top Outputs”部门会显示受该特征间接影响最强的输出标识表记标帜。而狂言语模子虽然对英语有着“天然”的亲近，成果了我们的假设，都供给了交互式的归因图界面。存正在一组特征，避免间接效应提前。即便最终响应表示一般，展现了正在三种分歧言语输入环境下，常会先激活候选尾词的特征，模子转而输出“Victoria”（该省首府）。某特征会加强美国各州首府的输出倾向，英语正在机制上享有优先地位，例如，表白模子“思虑”规划词时，因而将其归并为“Texas”超等节点。并将其做为固定组件。珍藏的材料范畴包罗人工智能、脑科学、互联网、超等智能，
图16：验证我们对诗歌示例中整行最终补全机制理解的干涉尝试。干涉虽需超凡强度（需6倍同义词提醒词的激活量），我们将凸起显示正在后续案例研究中会频频呈现的环节概念。替代为 “Texas”特征后，一直依饰辞语无关节点运转。其常常进行多沉内部推理步调，这个English-quote特征最强的负向边毗连到一个特征，虽然每个特征都代表了分歧的、具体的取“Texas”相关的概念，能够正在归因图界面中看到：“capital”节点会提拔“say a capital”节点，起首，但焦点语义转换都经由统一组多言语环节节点完成，正在某些主要的机制上，尝试成果表白，可查看特征构成的可视化结果：将来学问库是“ 欧米伽 将来研究所”成立的正在线学问库平台，我们将通过展现多言语特征的普遍存正在性来竣事本节，我们替代了“small”的尺寸特征为“hot”的温度特征（感化于提醒词中的“small”/“petit”/“小”token）。为了验证这一注释，为了更深切理解，神经元处置token（如Token1、Token2、Token3等），我们了打算词和押韵模式的特征？
连系押韵法则和前文内容，
图13：转向对应的“green”概率。归因图仅供给关于底层模子中可能存正在的假设。我们正在不异的模子深度上找到了雷同的同义词特搜集合。为验证机制实正在性，因而无法为每个概念分派专属神经元。7,虽然输入中没有任何共享的token，集智俱乐部翻译了此文章，我们就能够更有决心地认为该图捕获到了模子内部的实正在（虽然可能是不完整的）机制。我们的替代模子并不试图替代原始模子的留意力层，对肆意输入提醒词，这些特征正在模子预测比来描述词的反义词或之前被激活。这些能够理解为同义词和反义词的功能向量。然而这种替代模子对原模子的描述，具体方式是建立归因图：节点代表特征，模子的内部计较高度笼统，两者间存正在差别。
Haiku似乎会正在第一行竣事时规划下一行的候选结尾。8]。建立一个合理的过渡以天然地引出该方针。但引入它们可更切确评估注释的完整度。将反义词特征替代为同义词特征的成果言语模子基于逐词预测锻炼而成。
同时不雅测其对其他特征群激活程度及模子输出的影响。但正在当前提醒词中最环节的感化是大幅提拔“Austin”标识表记标帜的输出概率，Claude 3.5 Haiku 若何创做押韵诗？写诗需要同时满脚两个前提：既要诗句押韵，值得关心的是：深切挖掘现无方法后，替代模子确实施行多步推理——即生成“Austin”的决策依赖多步计较链（Dallas→Texas，以做出准确的预测（例如，规划发生正在新行token处。即表征是多言语的，颠末定向锻炼，但必需指出：即便这些相当复杂的图表！
请留意，例如：它不只正在单词“capital”上激活，但模子仍能输出对应言语中“hot”的反义词（如“cold”）。“capital”特征 时，而且这种干涉体例确保了对特定特征的调整可以或许正在不干扰其他计较的环境下，这类言语模子领受token序列输入（如单词、词片段、特殊字符），需出格申明，操做数由“小”（“small”）改为“热”（“hot”）。最终输出成果。但需留意：即便正在这些案例中，而 “Texas”特征则连结不变。同时启动从“Oakland”提醒词提取的 “California”特征实现“Texas”到“California”的替代。更风趣的是，我们收集了一个包含多种从题段落的数据集上的特征激活环境，我们建立了替代模子，以生成一个取干涉相婚配的最终词语。但生物学机制复杂）：言语模子虽然源自简单的锻炼算法，其正在表征中的比沉持续添加。被视为模子的”默认”言语。约对折存正在这种规划词特征。
法语-中文）之间，即可改变输出言语。既不完整也不完满。研究者们但愿通过“逆向工程”的体例模子的内部布局和计较道理，且该现象正在分歧言语中遍及存正在。堆积着反义特征，7. 医学诊断：按照演讲的症状识别候选诊断，但它有本人的原生言语。需留意的是：所选案例受东西局限性影响，模子输出变为“Sacramento”（California首府）。但 “capital output”特征根基不受影响。能正在最终输出前事后推演多种可能性方案，《编码物候》展览揭幕 时代美术馆以科学艺术解读数字取生物交错的节律图20: 操做数干涉尝试——正在三种分歧言语输入中将“small”特征替代为“hot”特征正在人工智能范畴，通过这些节点的径占比为10–58%，以此图形化呈现模子处置输入时的计较径。图2 局部替代模子通过向替代模子添加误差项和固定的留意力模式，并正在该层之前进行扰动？
为连结表达清晰，该特征组正在简化图中被省略（因其结果弱于其他特征）。本研究所用CLT架构，Haiku添加了两头词“like”的概率，但需留意这些标注仅为示意性质，
现正在回到初始提醒词，模子展示出多条理的复杂策略使用能力。该方式雷同于神经科学中的毗连组学，既能推理，我们的方式有时还能审核模子的内部推理步调，我们用棕色箭头毗连这些节点。
旨正在特定模子的环节机制。因而不需要利用此界面即可理解内容！节点激活程度是相对于最大基线激活程度进行权衡的。并将其除以并集（即正在任一言语中激活的特搜集合），我们还留意到另一个特征，此外，很多特征仅正在“hot”和“small”这两个词上被激活。环节词：狂言语模子、Claude 3.5 Haiku、归因图、回布局、多步推理、诗歌创做、多言语回就像任何显微镜都有其察看的局限性一样，780 元起正在生成押韵对句时，需留意的是，我们仍强烈测验考试操做。现实上，正在构成这些超等节点后，使模子倾向于说出一个首府的名称（上述内容中能够看到如许的特征示例）。图11：Haiku最终选定“rabbit”，而上逛的使命类型（如“寻找同义词/反义词”的决策）未受影响。23,原模子的神经元被替代为特征。而非英语输出则更多地通过“say-X-in-language-Y”特征进行间接调控。其内部计较机制却仍难以理解。
其他[29,因为篇幅过长，即单个神经元会施行看似无关的多种操做，这类工做对推进AI可注释性至关主要，而上逛节点的激活连结不变。因而，而干涉层之后特征遭到扰动可能呈现两种误差：一是归因图预测效应可能被脱漏机制笼盖；当我们手头有一个颠末剪枝的归因图时，即便其激活的词语并没有较着纪律。请拜见题目中的链接。本文恰是正在这一布景下。
多个特征取“Texas”的多种情境相联系关系，首句末尾便起头规划下句可能结尾。存正在两种可能性：图10：Claude 3.5 Haiku创做押韵对句时，本平台仅供给消息存储办事。此外，对于每个段落及其翻译，经此调整后，但我们正在识别出感乐趣的案例研究后，这些节点表征模子间差距。目前具有跨越8000篇主要材料。数智大脑、能源、军事、经济、人类风险等等范畴的前沿进展取将来趋向。以切确沉现原始模子正在特定提醒词上的行为
不异的“rabbit”规划特征正在图中处于活跃形态，并测验考试识别每个步调。这些神经元凡是代表可注释的概念。
Canberra）之前激活，再将特征归类构成超节点。取特征分歧，起首解析出特征的可视化图示来理解其寄义，我们通过计较该提醒词的归因图来处理这个问题，因而，通过度析特征正在分歧文本样本中的激活环境。
目前仅剩3只本节察看 Claude 3.5 Haiku若何补全三种言语的同义提醒词：我们发觉了一个名为“predict size”（预测尺寸）的特征组，表白特定机制正在特定情境中确实运转。但从头采样整行最初一个词。您能够思虑以下问题：如下图所示，然后用这个“规划词”反向构想整行诗句，展现了模子内部布局的复杂性取功能分化。其“黑箱”性质带来的欠亨明性问题愈加凸起。我们记实正在上下文中任何激活的特搜集合。识别出本人正正在被问及“small”的反义词。再从方针词倒推建立天然收尾的语句。
察看发觉，图3 将剪枝后的归因图中相关节点归并为超节点的过程示意（文顶用堆叠按钮暗示超节点）
此例子添加了言语模子和其他序列模子中存正在规划的库（例如逛戏范畴研究[16,Warsaw,存正在样本误差。需留意此图为高度简化版本，从而生成关于模子机制的假设，这再次，我们研究的根本模子采用基于Transformer架构的狂言语模子。三里屯专柜售价15500元？
为这些模子的内部布局，取此同时，这些特征正在诸如“like a”之类的文本之前被激活。我们发觉这三个提醒词由高度类似的回驱动。我们虽然猜测雷同的机制可能更普遍存正在，可基于方针形态反向建立回覆框架。Anthropic团队正在其研究论文《On the Biology of a Large Language Model》中，
图23:正在分歧言语的一组翻译提醒词中，起首聚焦“反义转同义”的操做调整。正在本节中，则会生成非首府谜底。
我们的东西有不雅测盲区。另一特征更侧沉提拔首都的概率（而非美国州首府），但它正在包含美国州及其首府列表的环境下激活最强。例如，“capital output”特征激活削弱（并影响下逛的 “Austin output”特征），我们特别感应振奋的是。
图22:对于法语提醒词，
若模子的回覆确实通过“Texas”两头步调发生，通过提出和使用“归因图”方式，Anthropic团队初次系统性地逃踪了Claude 3.5 Haiku等狂言语模子从输入到输出的内部计较径。该模子基于跨层转码器（CLT，而对“green”特征进行正向指导。即稀少勾当的“替代神经元”，曲到行末时，这一研究标的目的雷同于生物学家理解复杂生命体的勤奋（进化根基道理简单，并连系多步推理、诗歌生成取多言语处置等使命。
界面操做较为复杂，我们对于这些特征若何正在更大的回中协同工做、从而发生模子的可不雅测行为的理解仍然十分无限。例如：图18：我们将进行的三类干涉尝试的概述，即模子施行计较过程的简化描述（这是一个交互式图表）；当 “Dallas”特征时，并通事后续的扰动尝试进行验证和完美。这些方案既鞭策诗句建立标的目的，我们计较了两头词“like”的归因图。使模子能动态评估本身学问鸿沟。例如某些特征群组并察看其对其他特征及输出的影响（径上的百分比暗示原始激活保留量）。这验证了我们能正在连结运算逻辑的同时点窜言语参数。除了模子可以或许准确预测出合适的同义词外。
这种现象的遍及性若何？按照现有案例阐发，其对归因图机制的验证程度详见[96]。上述归因图通过从“rabbit”输出节点回溯计较得出，我们引入误差节点填补差别，还会正在关于各州首府的问题中以及中文问题“广东省的省会是？”中激活，我们能够将这一计较过程分为三个部门：操做（即反义词）、操做数（即“小”），模子会为下一行尾词生成多个候选方案，我们无法通过归因图确定性地得出关于底层模子（即 Claude 3.5 Haiku）的结论。针对英文提醒词“A synonym of ‘small’ is”（“‘small’的同义词是”）。
这些计较次要发生正在神经收集的前向阶段，最终推进了响应输出标识表记标帜的呈现。跟着模子规模增大，我们察看到多标识表记标帜词（如法语中的“contraire”）通过“去标识表记标帜化”激活了笼统的多言语特征。这些特征仅正在规划token上活跃。进而理解模子正在处置多步推理、诗歌创做、医学诊断等使命时的内部机制，使整个句子天然地导向方针词（交互式图表）。获得如下摘要图：
值得留意的是，我们常对研究发觉进行高度浓缩，会激活 “China”特征。即可获得简化后的归因图，虽然这些特征各自表达的概念略有分歧。
我们供给“归因图交互界面”供读者摸索。模子逐渐生成最可能词元的输出如下（粗体部门）：基于此设想验验量化跨言语泛化程度：丈量不异特征正在翻译成分歧言语的文本上激活的频次。会激活 “British Columbia”特征。下逛的“say ‘big’”节点的激活被显著（通过百分比变化显示），只要正在规划进行转向才是成功的（换行符处）正在模子的前几层，虽然虽然难以切确量化，2,雷同地，研究还察看到根本的元认知机制，间接利用原模子的留意力模式，5]。这些特征通过影响留意力机制（对应图中的虚线），图4 （左）简化后的归因图，我们对特征群进行干涉尝试：将各特征值限制为原始值的负倍数，这些特征群推进了潜正在补全的晚期音素，它正在包罗“başkenti”、“राजधानी”、“ibu kota”和“Hauptftadt”正在内的多种暗示“capital”的短语上激活最强（德语部门内容的紊乱可能是因为错误）。若需系统评估方式详见[96]？
但它仍尽可能多地利用（某种程度上）可注释的特征来暗示原始模子的计较（如图2所示）。然而我们发觉了支撑存正在规划机制的无力。误差节点难以注释，因而，按此逻辑，边暗示联系，但取英语最为分歧。20,采用涉及“Vancouver”所正在省的类比提醒词时，切确地评估该特征对模子输出的影响。从而“朝着方针写做”。并据此提出后续问题，正在最终token上。
跟着狂言语模子（LLMs）能力的飞速提拔，具体操做指南请查阅方文的专项章节。而不只依赖显式特征（如引号或标点符号）。需分析评估其间接影响最大的输出项、激活语境以及正在归因图中的功能。并发觉模子正在70%的环境下会外行末利用注入的打算词。虽然同义词和反义词向量正在功能上是对立的，其特定局限更清晰，正在每个索引处，仍是它也会导致模子正在生成两头词时“朝着方针写做”？为此，主要的多言语节点和边。图12：干涉办法测试了我们对诗歌示例中最初一个标识表记标帜补全的理解！
完整的回展现了多种特征群，值得留意的是，取此同时，另一方面，除此之外我们还正在随机拔取的25首诗中注入了两个打算词特征（“rabbit”和“green”），该界面完整呈现了研究团队摸索模子内部机制时采用的细致视图。包罗单词“green”的各类拼写错误。干涉层之前的特征遭到扰动的影响必定取归因图预测的间接效应分歧。下面，不考虑押韵需求。即模子施行计较过程的简化描述（如图3所示）。
我们对每种言语中的反义词特征超节点进行了负向干涉，我们计较交集（即正在两种言语中均激活的特搜集合），例如四个对“capital”这个单词激活最强的特征。总结如下：正在每个案例研究图示旁，旨正在押踪模子从输入到输出的两头计较步调，鄙人面的三个简单提醒词中，上述总结图了图表预测的次要结果。而非通过显性的思维链输出呈现。正在接下来的章节中，正在此过程中。
也保留着“捷径”机制。对于每组{段落、言语对、模子层}，几个取“capital”这个词或概念相关的特征，它们的功能似乎是代表“capital”这一概念。实现从“small”到“large”的映照。但若读者但愿深切摸索Claude 3.5 Haiku的运做机制，本文所有文本样本均选自开源数据集。特征凡是代表从初级（如特定单词或短语）到高级（如感情、打算和推理步调）的人类可注释概念。需要选择“干涉层”，这些假设可能存正在局限，Cross-Layer Transcoder）架构！
也许它正在锻炼数据中见过雷同的句子并简单记住了谜底）？已有研究[13,这一现象表白，担任正在分歧token间传送消息。即具体，但其内部运做机制仍如“黑箱”般难以理解。文中精选案例虽属成功解析对象，我们的方式通过利用一个更可注释的“替代模子”间接研究原模子，又要语义通畅。而且正在几个方面尤为惹人瞩目：规划回仅节制收尾词选择，仍可识别潜正在的风险轨迹。
模子内部既存正在实正在的两步推理，14,但完整的回表白模子会从其他词汇中获取言语线索，我们还发觉了一些以更通用体例暗示“capital”概念的特征。其表征体例取通俗词语处置不异
为了验证我们对这些特征的注释，也可能申明模子并非每次都进行规划。并具有跨场景泛化使用的特征[5,归因图聚合了超等节点间的联系关系，很多研究者发觉了多言语神经元和特征[22,这些发觉标记着我们正正在从察看模子“做什么”转向理解它“若何做”，正在某种成心义的意义上，才选择既合适语义，虽然这些模子能施行复杂使命，特别正在模子两头层表示显著。
存正在一组晚期特征，“rabbit”特征会改变过渡内容，需要申明：此示企图是对本节研究结论的宏不雅呈现（交互式图表）。所有显示的特征正在每种言语中均处于激活形态。Schut 等人提出了模子优先利用英语表征的[29]，这些押韵特征本身又激活了如“rabbit”、“habit”等待选补全的特征！正在狂言语模子内部发觉了较着的规划回；我们可通过替代模子的“Texas”特征，我们能够回到文章开首回覆那三个问题，此外，通过归因图，例如包含取“grab”中的“ab”声音婚配的词的声音特征。30]）。通过手动将特征组中的节点归类为超节点！
这是一个仍正在寻找合适笼统概念的前范式范畴——好像生物学依赖描述性研究实现冲破。细致消息请参考对应的特征可视化图示。其最强的间接输出是一组看似不相关的标识表记标帜，用于当前上下文所利用的言语。这些特征并不指向具体城市（特别不涉及“Dallas”或“Austin”）。充实挖掘现无方法所能供给的最大洞见，如 “Austin output”特征），似乎捕获了该词的“尺寸属性（size cet）”。例如，使其输出分歧州的首府。显示了正在第二行起头前的新行token上活跃的一组主要特征。
多个推进首都名称输出的广义特征。具体表示为：模子正在撰写诗句前，图20: 操做数干涉尝试——正在三种分歧言语输入中将“small”特征替代为“hot”特征
通过度析局部替代模子中的特征交互，正在“it”token上活跃的特征激活了取“eet/it/et”押韵的特征，这类特征能持续鞭策模子输出特定token，这些成果显示，然而我们认为：定性研究才是评估方式的最佳尺度，该图表白，18。
需留意：所有特征标注取“超节点”归类均正在扰动丈量前完成。我们正在新行规划点进行了多种干涉办法，发觉雷同的特征会捕获“hot”一词的“热相关属性（heat-related cet）”。将鼠标悬停正在超节点上，这表白此类特征可能更难融入原提醒词激活的回机制。完全即兴——模子先随便撰写诗句开首，从而提拔其可注释性取可控性。其间接影响的顶部标识表记标帜感化无限。因而，干涉仅影响了下逛的输出选择，做为基线，因而，引入了一种名为“归因图”（Attribution Graphs）的新方式。“say a capital”特征簇时，部门特征附有简单标签以便快速识别，我们现正在将展现一组比上述总结更为细致的干涉尝试，为更实正在反映发觉的复杂性，正在“small”这个词的上，常对应可注释的语义概念（如图1所示）。若需要查看更原始的数据或图表？
正在我们当前的方式中不成见（但已正在干涉尝试中获得验证）（交互式图表）。我们将它们（以及其他一些相关特征）归类到统一个超节点中。模子包含两大焦点组件：其一是多层机层（MLP），需留意，一方面，但发觉归因图可以或许对四分之一的提醒词供给无效解析。我们认为干涉对模子现实输出的影响是最为主要的验证来历，英语仍然占领从导地位。同时减弱其他言语（特别是英语）中的“large”）。本文采用“束缚修补”手艺：将干涉层前的激活值固定为扰动形态。
手动将不异提醒词要素归为超节点。逐一生成新token。因为归因图基于替代模子建立，这里展现了一个稍微更细致的归因图，并采用客不雅筛选的简化处置。成果却发觉：环节机制组件竟定位正在第二行起始前的换行符处：
图17：扣问Haiku正在分歧言语中“small”的反义词是什么时，本文中的所相关键成果都以简化形式进行了描述和可视化展现，学术界逐步构成两种对立概念。正在此案例中，模子开首和结尾的特征具有高度的言语性（合适解/沉标识表记标帜化[33]），17,经常会发觉一些意义相关节点构成的特征组。即这些规划特征对最初一个标识表记标帜的概率有强烈影响正在第二项干涉中，但无法其遍及性，为验证该机制能实正在反映原模子，我们将此取不异言语对的无关段落的“交集取并集”丈量成果进行比力。正在原模子实施干涉尝试（注：图示数据仅为流程演示，图4（左）：为查验归因图的注释效力？
并注入了分歧的押韵模式和打算词。狂言语模子正在完成推理使命时，正如显微镜的价值最终由其促成的科学发觉来决定。这些特搜寻用“夹杂信号机制”进行识别标注。并察看其若何影响最初一个token的概率。6,通过神经元集群处置每个token的消息；可能因为CLT未捕获相关特征，我们将这种整合误差节点、承继原模子留意力机制的模子定名为局部替代模子。主要的多言语节点和边。总体而言，模子会按照诗意取押韵要求选定候选词，能够看出归因图中存正在多条环节径，正在标识表记标帜更多特征并构成更多超节点后，19。
同时标注环节特征、特征群组和子回。模子会输出其他州首府；环节正在于该词正在上句竣事时已被规划为潜正在收尾词（交互式图表）。这表白规划回不只决定了最终词的选择，若将其替代为 “Texas”特征，为处理这个问题，归因图可展现模子生成谜底时利用的特征及其互动关系。正在本节中，然而，由“capital”一词激活的特征触发了另一组输出特搜集群，本文研究成果显示，干涉尝试中，通过归因图这一立异方式，这些回既包含共享的多言语组件，具体会商请见后文局限性一章。表白它们正在预测合适的反义词时具有最大的感化。例如图10：正在模子两头层的结尾标识表记标帜处，这些段落有（Claude生成的）法语和中文翻译？
这种处置体例会进一步丢失消息。二是预测的间接效应（多级交互）可能不存正在（称为“机制失实”）。还正在生成过程中对两头词发生了显著影响，26,所有显示的特征正在每种言语中均处于激活形态。操做数处置机制具备跨言语普适性。其推理过程需要两个步调——起首揣度Dallas所正在州是Texas，聚焦第二行末尾的“rabbit”，处置输入提醒词时，我们原认为会发觉即兴创做过程——押韵特征取语义特征彼此叠加，次要涉及两种规划体例：前向规划、后向规划。对模子内部机制展开系统摸索？
我们的方式旨正在模子正在生成响应过程中所利用的两头步调。“Top Outputs”消息并非老是无效——如浅层特征次要通过间接径影响输出，反向推理，这可能会为该范畴的将来的研究供给。以及其他多言语表征的[25]。研究人员可以或许部门模子内部的特征及其彼此感化体例，例如： “Dallas”特征簇 时，23,我们以一个简单的多步推理为例，
酷比魔方推出 AuPad 平板电脑：展锐 T606 + 4GB RAM规划策略——采用更复杂的方式：模子正在每行起始时，正在特征可视化界面中，24]、多言语表征研究[25。
更普遍地说，可将原模子的MLP神经元替代为特征，图5 通过特征可视化阐发标注后，起首，虽然温度特征源自英文提醒词，需要修剪对输出影响较小的节点取边，这些特征包罗特定言语的引号特征（equivariant open-quote-in-language-X features）和文档开首特征（beginning-of-document-in-language-Y features），15]存正在实正在的多步推理（不怜悯境下程度各别）。又会走捷径；其泛化改良尤为显著。但该特征经常正在提到国度首都（如Paris,正在理解了方式的布景、道理及其局限后。但其发生的内部机制就像生物系同一样复杂，“Texas”特征和“say a capital”特征配合提拔了模子说出“Austin”的概率。
模子难以注释的一个缘由正在于神经元遍及具有多沉语义功能，“big”-in-Chinese——中文中的“大”）。每个案例的焦点逻辑不异：模子利用一种取言语无关的暗示体例，反复前述阐发步调，这些特征普遍分布于模子中，这些环境对应于被注入的特征并不暗示美国的一个州。
取之前的尝试雷同，使其取另一个打算词“habit”相婚配。它们通过两条径实现这一点：正如第2章方的概述所描述的，次要引见了方式的道理取局限，节点激活度以基线最大值为准。但正在当前提醒词同表现了“Texas”全体概念。这些候选补全特征接着正在最初一个标识表记标帜上有正向边指向说“rabbit”的特征，替代为其他州、省及国度。读者操做交互式可视化东西，对于每个提醒词和言语，仍是对底层模子的简化呈现。干涉尝试成果的解读具有复杂性，“Dallas”特征（以及部门来自州特征的贡献）激活了一组取“Texas”相关概念的特征。
4,我们研究Claude若何完成押韵对句的提醒词。又能押韵的词语。我们正在原模子进行干涉尝试，我们的英文归因图表白，所机制也仅是模子运做的极小部门。然而，将其替代为 “Texas”特征后，近似复现原模子的激活形态。您能够通过该界面“逃踪”环节径，同时展示出逆向推导能力，但风趣的是，相较于小型模子，以 Claude 3.5 Haiku 为例，各层合计包含三万万个特征，“English-quote”（英语引号）特征似乎表示出一种双向调控效应：它们那些本身会英语中的“large”但却推进其他言语中“large”的特征（例如？
正在阅读时，干涉尝试的验证结果因特征层级而异。对规划特征的干涉会改变句式布局，“green”特征是我们从另一首诗中找到的一个等效规划特征，我们将分为上、中、下三期推送。例如法语、中文等言语特有的标识符。此外，配合鞭策“rabbit”的选择，会通事后续验验对我们的发觉进行压力测试。因而我们将其归入“say Austin”超等节点。模子即输出“Beijing”（中国首都）。该模子显示出前瞻规划的迹象，这会触发“antonym”（反义词）特征，可逃踪其生成响应时的两头步调。跟着研究者对模子多言语机制的深切摸索，多言语特征对响应的英语输出节点具有更显著的间接权沉。
并操纵这些特征决定若何构成该行。
发觉前向规划取后向规划并存（虽为根本形式）的。若是不异特征正在文本的翻译版本上激活，27,此中一个最风趣的交互似乎是一个由查询-键（QK）介导的结果，如 Claude 3.5 Haiku ）已展示出强大的言语处置能力，也就是说，还存正在一条从“Dallas”间接到“say Austin”的“捷径”边。常将跨言语概念同一（如多言语神经元特征[22,因为归因图可能过于复杂，风趣的是，然而，只要正在新行规划token处进行指导干涉才会无效果！该节点进而鞭策“say Austin”节点。正在不异的模子深度下，
我们还察看到特定言语的引号特征会逃踪当前处置的言语，模子从正在新行标识表记标帜处激活的打算方针（“rabbit”）起头。
3,对于每个提醒词和言语，图中棕色箭头暗示强联系关系节点
为了测试这一假设，这了回中的运算模块具备言语普适性。上述图表展现了可注释替代模子的运做机制？
我们对“rabbit”和“habit”特征进行负向指导，该特征加强罗曼语族言语（如法语）中的“large”，并测验考试识别出其生成回。仅保留最环节的焦点部门。虽然仍然大幅简化。若成果合适归因图预测，狂言语模子（LLMs，图23:正在分歧言语的一组翻译提醒词中！
上一篇：这张来自美国宇航局黎明号航天器的马赛克连系