Anthropic开发的Garçon工具解决了传统方法难以对超单节点大模型进行可解释性研究的问题。它允许研究人员通过启动服务器连接模型，并利用“钩子”接口在前向传播过程中访问和修改内部状态（如特定层的张量）。该工具自动处理多节点数据分发与服务器管理（如一小时闲置后自动关闭），显著简化了大规模模型的探测与干预实验工作流程。

本研究提出一个用于逆向工程Transformer语言模型的数学框架，通过分析仅含注意力机制的超简模型（两层或以下）来揭示其内部工作机制。研究发现：零层模型直接建模二元统计；单层模型是二元与“跳跃三元”模型的组合；两层模型则能通过注意力头组合形成“归纳头”，实现复杂的上下文学习算法。该框架将注意力头分解为独立的QK与OV电路，并将模型输出表述为可解释函数之和，为理解更大规模模型的计算原理提供了初步基础。

Runway 完成 3500 万美元 B 轮融资，Coatue 领投，Amplify Partners 等现有投资方跟投。资金将用于开发自动化视频编辑工具，降低视频创作门槛，帮助更多用户通过视频讲述故事。

研究团队利用分解认知（factored cognition）策略，使原本无法完成简单数学运算的 GPT-3 成功处理复杂算术任务。实验通过将复杂玩具任务拆解为可管理的子任务，验证分解方法在现实模型中的可行性。结果表明，即使不具备基础数学能力，该模型仍可通过任务分解解决其原生能力无法处理的复杂问题，为扩展语言模型能力边界提供了初步证据。

自回归语言模型（GPT-3、GPT-Neo、GPT-J 等）的多项选择任务评估存在多种实现路径。文章系统梳理了当前主流的归一化（Normalization）方法，针对模型在不同选项上的概率计算方式、长度偏差修正及分数标准化技术进行详细阐述，为统一语言模型评测标准提供方法论参考。

该评估系统对比了旋转位置编码（RoPE）与 GPT 类学习式位置编码在下游任务中的性能表现，通过多维度基准测试分析两种位置编码机制的应用差异，为 Transformer 模型架构中位置编码方案的选择提供实证依据。

EleutherAI 在成立一周年之际回顾转型历程，从松散志愿者社区发展为正式开源 AI 研究机构，期间发布 GPT-Neo（27 亿参数）、GPT-J（60 亿参数）等大语言模型及 The Pile（825GB）数据集，推动大模型训练民主化。首年成果为开源社区提供了可商用的 GPT 替代方案，标志着去中心化 AI 研究模式的成熟。

研究团队发布了一系列关于逆向工程神经网络的早期思考视频。这些视频旨在与同行分享非正式、初步的研究想法，内容相当于研究组会议上的早期成果报告。视频中的观点较为粗糙，可能存在错误，主要面向积极思考神经网络逆向工程的研究者。团队强调，自录制以来其想法已显著演进，且前几个视频的内容已被后续更完善的论文《A Mathematical Framework for Transformer Circuits》所取代。视频合集已发布于YouTube平台。

创造并开源大语言模型对AI安全具有净收益价值。文章论证了公开发布大模型能够提升AI系统的安全性与透明度，详细阐述了支持开放源代码策略的核心理由，解释了这种发布方式为何有助于推动AI安全领域的整体发展，而非增加潜在风险。

研究团队利用 eval harness 评估框架，通过对比 OpenAI API 模型在标准测试集上的性能表现，成功反向推算出其模型参数规模。该方法基于模型能力与参数量之间的相关性，分析了包括 GPT 系列在内的闭源模型在各项任务中的得分差异，揭示了 OpenAI 未公开披露的模型大小信息，为理解这些模型的实际规模与能力边界提供了量化依据。

该研究在 GPT-3 模型上系统评估了不同 Few-shot 描述提示对性能的影响，通过对比多种少样本提示模板，分析了提示设计差异如何改变模型输出质量。实验显示，描述方式的细微差别会导致 GPT-3 在任务表现上产生显著变化，为理解大语言模型的少样本学习机制及优化提示工程策略提供了实证参考。

研究团队对GPT-Neo模型开展下游任务微调实验，利用eval harness评测体系进行针对性训练，系统观测微调过程对其性能表现产生的具体影响。实验通过调整模型参数适配特定任务，评估预训练模型在下游场景中的能力变化与适应性表现，为理解微调对模型性能的优化效果提供实证数据支撑。

针对类 GPT 自回归语言模型开展激活函数消融实验，系统评估不同激活函数对模型性能的影响。通过对比分析各类激活函数在自回归架构中的表现差异，检验其对模型表达能力、训练稳定性及生成质量的作用机制，为大语言模型的激活函数选择与架构优化提供实验依据。

旋转位置编码（RoPE）作为一种新型位置编码技术，统一了绝对位置与相对位置编码方法。该技术突破了传统位置编码的局限，在保持绝对位置信息的同时实现了相对位置感知能力。测试验证表明，这种编码方案在模型性能和位置外推方面展现出优势，为大语言模型的位置表示策略提供了新的技术路径。

Runway 获 850 万美元 A 轮融资，Amplify Partners 领投，Lux Capital 与 Compound Ventures 跟投。这家成立近两年的机器学习创意工具公司起源于 NYU Tisch 艺术学院，现正扩招团队。

Runway 从2019年的机器学习平台发展为新一代创意工具，依托生成式机器学习、新分发渠道和Web技术三大驱动力，已支持用户训练超5万个AI模型、上传2400万资源。平台通过AI视频编辑、绿幕工具等技术缩小好莱坞与TikTok创作者的内容差距，服务IBM、Google及RISD等院校，致力于让创意实现从想法到执行的即时转化，重新定义AI时代的创作流程。

创业中最反直觉的秘密是，做困难的创业往往比容易的创业更易成功。容易启动的项目虽简单起步，却因缺乏使命感而难以吸引顶尖人才；反之，解决核聚变、基因编辑等难题虽需大量资源，却能靠"世界需要这个"的使命感招募人才，形成顺风。建议创业者设定宏大愿景但保持合理节奏，以10年而非3年的长期承诺建立复利优势。

将机器学习比作19世纪颜料管的发明。当年颜料管让户外写生成为可能，推动印象派革命；如今机器学习有望类似地释放艺术创造力，但现有工具对非技术背景艺术家门槛过高，如同当年研磨颜料的复杂工艺。作者呼吁开发更友好的机器学习工具，让艺术家无需编写底层代码即可实验，实现技术民主化。

Sam Altman 观察到，旧金山对争议话题的开放度已不及北京，过度政治正确正在扼杀创新。他指出，从牛顿研究炼金术到比特币的诞生，所有突破性想法最初都看似异端；当社会将持不同意见者视为异端而非辩论对象时，思想交流逐渐停滞，顶尖人才开始外流。警告称，若无法容忍"地球是圆的"这类曾经危险的观点，湾区将失去孕育 SpaceX 或比特币的土壤。