NO/FOMO

Independent AI signal, once a day

The AI briefing worth opening.

ISSUE DATE2025-08-12DEFAULT EDITION
This issue
—
All time
—

Twitter

6 stories
01

Skywork_ai_发布Matrix-Game 2.0:首个开源实时长序列世界模型

Skywork_ai发布了Matrix-Game 2.0,宣称这是首个开源、实时、长序列的交互式世界模型。该模型实现了25帧每秒的运行速度和长达数分钟的交互能力,旨在改变DeepMind Genie 3非开源的现状,为AI世界模型领域带来完全开放的解决方案。

02

Thom_Wolf_开源视觉推理模型GLM-4.5V取得重大进展

Thomas Wolf对开源模型在视觉推理方面取得的重大进展表示兴奋,强调其对多模态大模型(VLM)的重要性远超文本模型。他引用Z.ai发布的GLM-4.5V,指出该模型在开源视觉推理领域实现突破,性能达到SOTA,并在41个基准测试中表现出色,预示着开源VLM的严肃发展。

03

Miles_Brundage_Claude Sonnet 4上下文窗口大幅扩展

Anthropic的Claude Sonnet 4模型在API上实现了上下文窗口的重大升级,现已支持100万个token,相较之前提升了5倍。这意味着用户现在可以在单个请求中处理超过75,000行代码或数百份文档,极大地增强了模型处理长文本和复杂任务的能力,为开发者提供了更强大的工具。

04

allen_ai_发布MolmoAct:可思考指令的开放式行动推理模型

Allen AI发布了MolmoAct,一个全新的、完全开源的行动推理模型(ARM)。该模型旨在使能够在物理世界中采取行动的AI模型能够理解并执行人类指令,从而实现更智能的交互和自动化。MolmoAct的推出标志着AI在具身智能和机器人控制领域的重要进展,为研究人员提供了开放的工具。

05

sama_Sam Altman公布GPT-5上线后算力分配策略及未来扩容计划

OpenAI首席执行官Sam Altman针对GPT-5上线后激增的算力需求,公布了未来数月的算力分配优先级。他表示,将优先保障付费ChatGPT用户使用量,其次是现有API客户需求,随后提升免费版ChatGPT质量,最后再满足新增API需求。Altman透露,OpenAI计划在未来五个月内将算力规模翻倍,以缓解当前算力紧张局面。

06

NaveenGRao_提升AI智能体可靠性与生成模型评估新方法

Naveen Rao转发并评论了Jonathan Frankle关于生成模型评估的观点。Frankle指出,当前LLM评判器存在速度慢、成本高、不确定性及校准不足等问题。他提出PGRM作为一种新的评估方法,旨在解决这些局限性,从而提升AI智能体的可靠性。

GitHub

6 stories
01

POML: Prompt Orchestration Markup Language

POML(提示编排标记语言)是一种专为大型语言模型(LLM)高级提示工程设计的创新标记语言。它通过提供结构化提示、全面的数据处理、解耦的展示样式和集成的模板引擎,解决了传统提示开发中缺乏结构、数据集成复杂、格式敏感及工具不足等挑战。POML旨在提升LLM应用的结构性、可维护性和多功能性,赋能开发者构建更复杂、更可靠的LLM应用。

02

abogen

Abogen是一款强大的文本转语音工具,能够将ePub、PDF或文本文件快速转换为高质量音频,并同步生成匹配字幕。该工具基于Kokoro-82M模型,支持多种输出格式、自定义语音混合、批量处理队列及章节标记等高级功能。它广泛适用于制作有声读物、社交媒体配音及其他需要自然语音合成的场景,提供跨平台安装和Docker部署选项,极大提升了内容创作效率。

03

GPT4All

GPT4All是一个开源项目,旨在使大型语言模型(LLMs)能够在日常桌面和笔记本电脑上私密运行,无需API调用或GPU。它提供桌面应用程序和Python客户端,支持DeepSeek R1蒸馏模型、GGUF格式及Nomic Vulkan GPU推理。该项目致力于通过本地部署LLM,实现用户数据的私有化处理,并支持与Langchain等工具集成,为个人用户和开发者提供了便捷、高效的本地AI解决方案。

04

📒 Fine-tuning Notebooks

该GitHub仓库是Unsloth AI提供的模型微调笔记本集合,专注于简化大型语言模型(LLM)、多模态、文本到语音(TTS)及视觉模型的训练流程。它为用户提供了在Google Colab和Kaggle平台上进行数据准备、模型训练、评估和保存的指导性笔记本。项目强调易用性和社区贡献,旨在通过丰富的用例和模型支持,成为AI模型开发者进行高效微调的实用工具集。

05

FULL v0, Cursor, Manus, Same.dev, Lovable, Devin, Replit Agent, Windsurf Agent, VSCode Agent, Dia Browser, Trae AI, Cluely, Perplexity, Xcode, Spawn & Orchids.app (And other Open Sourced) System Prompts, Tools & AI Models

该GitHub仓库是一个全面的AI系统提示与模型集合,收录了包括Cursor、Devin、Replit Agent、VSCode Agent等主流AI工具的系统指令和底层模型信息。它提供了超过9000行深度洞察,揭示了这些AI系统的结构与功能。项目旨在通过Discord社区提供最新指令的早期访问,并强调AI初创公司数据安全的重要性,提供安全审计服务。该资源对于研究AI工具的内部机制、进行逆向工程以及提升AI系统安全性具有重要价值。

06

Buttercup Cyber Reasoning System (CRS)

Buttercup是由Trail of Bits为DARPA AIxCC项目开发的网络推理系统(CRS),旨在自动化发现并修复开源代码库中的软件漏洞。该系统通过AI/ML辅助的模糊测试发现漏洞,并利用多智能体AI驱动的补丁生成器进行修复。Buttercup集成了协调器、种子生成器、模糊测试器、程序模型和补丁生成器等组件,支持C和Java语言,并兼容OSS-Fuzz,显著提升了软件供应链的安全性和自动化漏洞管理能力。

wechat

6 stories
01

在线强化学习+流匹配模型!Flow-GRPO:首个在线RL驱动的Flow Matching生成模型

Flow-GRPO是首个将在线强化学习引入流匹配(Flow Matching)生成模型的框架。该模型创新性地将确定性ODE采样器转换为等效的SDE采样器,从而为在线RL的引入提供了随机性基础,并优化了去噪过程。Flow-GRPO通过集成GRPO算法,有效解决了流模型在处理多对象组合、空间关系及文本渲染等复杂场景时的挑战。实验证明,Flow-GRPO显著提升了文本到图像(T2I)生成的准确性和人类偏好对齐度,同时通过去噪缩减策略大幅加速了训练过程,为高质量生成模型的发展开辟了新路径。

02

腾讯开源Stand-In!轻量级身份保留视频生成新突破

腾讯开源了轻量级、即插即用的Stand-In框架,旨在解决高保真身份保留视频生成中训练参数庞大及兼容性不足的问题。该框架通过引入条件图像分支和受限自注意力机制,仅需少量训练样本和极低额外参数,便能实现跨分支信息交互与精准身份控制。Stand-In在身份保留文本生成视频任务中达到SOTA性能,并在视频质量与身份一致性上表现卓越,同时具备极强兼容性,可无缝拓展至主题生成、姿态引导、风格化及换脸等多种应用场景,展现了其在生成式AI领域的巨大潜力。

03

物理学「AlphaGo时刻」?40年未竟之事被AI一举攻破,顶尖物理学家集体傻眼

人工智能在物理学领域取得突破性进展,被誉为“物理学的AlphaGo时刻”。AI成功设计出反直觉的光学元件布局,将LIGO引力波探测器灵敏度提升10%-15%,解决了困扰物理学家数十年的难题。此外,AI还重新设计了量子纠缠实验,并发现了比人类公式更精确的暗物质公式,甚至独立重现了爱因斯坦相对论的核心基石“洛伦兹对称性”。这些案例表明,AI正从单纯的工具转变为强大的科学合作者,预示着AI辅助发现新物理学的时代即将到来。

04

一觉醒来,GitHub没了?CEO辞职,微软接管,开发者天塌了

GitHub首席执行官Thomas Dohmke宣布辞职,GitHub不再独立运营,而是整体并入微软新成立的CoreAI工程集团。此举标志着GitHub从代码托管平台转变为微软AI战略的“智能体工厂”和“AI训练兵工厂”,旨在通过Copilot等工具推动“AI优先”的软件开发范式。微软将GitHub深度整合进其AI部门,预示着未来开发者可能更多地监督AI生成代码。这一变革不仅是人事调整,更是软件开发模式的彻底转向,开发者需适应GitHub作为微软AI核心武器库的新定位。

05

LLM总是把简单任务复杂化,Karpathy无语:有些任务无需那么多思考

文章指出,随着推理大模型和思维链的普及,大模型虽具备“深度思考”能力,能胜任复杂任务,但却日益将简单任务复杂化。Andre j Karpathy等专家观察到,LLM在默认状态下过度倾向于“自主代理”模式,对简单查询进行冗长推理,导致响应缓慢且效率低下,尤其在编码和图像编辑等场景中问题显著。这种现象可能源于大模型为长周期复杂任务基准测试优化,使其将所有任务都视为高风险“考试”。文章强调,用户需要一种机制来明确指定任务所需的思考深度,以避免不必要的过度思考,提升LLM的实用性。

06

是「福尔摩斯」,也是「列文虎克」,智谱把OpenAI藏着掖着的视觉推理能力开源了

智谱AI近日开源了其旗舰视觉推理模型GLM-4.5V,该模型在多项视觉任务中展现出卓越性能。它不仅在“图寻”游戏中击败99.99%人类玩家,还具备超强的图像识别、长视频理解、GUI Agent应用潜力及复杂文档图表解读能力。GLM-4.5V拥有106B总参数,采用先进架构和三阶段训练策略,在41个公开视觉多模态榜单中达到开源SOTA水平。此次开源旨在推动AI技术从跑分竞赛转向实际应用,为开发者提供强大的多模态基础模型,共同塑造AI未来。

huggingface

6 stories
01

视觉强化学习:一项综述

强化学习(RL)与视觉智能交叉领域的最新进展,使得智能体不仅能够感知复杂的视觉场景,还能在其中进行推理、生成和行动。本综述对该领域进行了批判性且最新的综合分析。我们首先形式化了视觉强化学习问题,并追溯了策略优化策略的演变,从RLHF到可验证奖励范式,以及从近端策略优化到群相对策略优化。随后,我们将200多项代表性工作组织成四大主题支柱:多模态大语言模型、视觉生成、统一模型框架以及视觉-语言-动作模型。对于每个支柱,我们都考察了算法设计、奖励工程、基准进展,并提炼出课程驱动训练、偏好对齐扩散和统一奖励建模等趋势。最后,我们回顾了涵盖集合级保真度、样本级偏好和状态级稳定性的评估协议,并指出了包括样本效率、泛化能力和安全部署在内的开放挑战。我们的目标是为研究人员和从业者提供一个快速发展的视觉强化学习领域的连贯图景,并突出未来研究的有前景方向。相关资源可在以下链接获取:https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning。

02

自进化AI智能体综合综述:连接基础模型与终身智能体系统的新范式

大型语言模型的最新进展激发了人们对能够解决复杂现实世界任务的AI智能体的日益增长的兴趣。然而,大多数现有智能体系统依赖于部署后保持静态的手动配置,这限制了它们适应动态和不断变化环境的能力。为此,最近的研究探索了智能体进化技术,旨在根据交互数据和环境反馈自动增强智能体系统。这一新兴方向为自进化AI智能体奠定了基础,它们将基础模型的静态能力与终身智能体系统所需的持续适应性连接起来。在本综述中,我们对自进化智能体系统的现有技术进行了全面回顾。具体而言,我们首先引入了一个统一的概念框架,该框架抽象了自进化智能体系统设计背后的反馈循环。该框架强调了四个关键组成部分:系统输入、智能体系统、环境和优化器,为理解和比较不同策略提供了基础。基于此框架,我们系统地回顾了针对智能体系统不同组件的广泛自进化技术。我们还研究了为生物医学、编程和金融等专业领域开发的特定领域进化策略,在这些领域中,优化目标与领域约束紧密耦合。此外,我们专门讨论了自进化智能体系统的评估、安全和伦理考量,这些对于确保其有效性和可靠性至关重要。本综述旨在为研究人员和从业者提供对自进化AI智能体的系统性理解,为开发更具适应性、自主性和终身性的智能体系统奠定基础。

03

Omni-Effects:统一且空间可控的视觉特效生成

视觉特效(VFX)是现代电影制作中不可或缺的视觉增强技术。尽管视频生成模型为视觉特效制作提供了经济高效的解决方案,但现有方法受限于针对单一特效的LoRA训练,这使得生成仅限于单个效果。这一根本性限制阻碍了需要空间可控复合特效的应用,即在指定位置同时生成多个特效。然而,将多样化特效整合到统一框架中面临主要挑战:特效变体之间的干扰以及多特效联合训练期间的空间不可控性。为了解决这些挑战,我们提出了Omni-Effects,这是首个能够生成提示引导特效和空间可控复合特效的统一框架。我们框架的核心包括两项关键创新:(1) 基于LoRA的专家混合(LoRA-MoE),它采用一组专家LoRA,在统一模型中整合多样化特效,同时有效减轻跨任务干扰。(2) 空间感知提示(SAP),它将空间掩码信息整合到文本标记中,从而实现精确的空间控制。此外,我们在SAP中引入了一个独立信息流(IIF)模块,用于隔离与单个特效对应的控制信号,以防止任何不必要的混合。为了促进这项研究,我们通过结合图像编辑和首尾帧到视频(FLF2V)合成的新颖数据收集流程,构建了一个全面的视觉特效数据集Omni-VFX,并引入了一个专门的视觉特效评估框架来验证模型性能。大量实验表明,Omni-Effects实现了精确的空间控制和多样化的特效生成,使用户能够指定所需特效的类别和位置。

04

WideSearch:智能体广域信息搜寻基准测试

从专业研究到日常规划,许多任务都受限于广域信息搜寻,这项工作重复性高但认知复杂性低。随着大型语言模型(LLMs)的快速发展,由LLMs驱动的自动化搜索智能体为将人类从这项繁琐工作中解放出来提供了有前景的解决方案。然而,由于缺乏合适的基准测试,这些智能体执行此类“广域上下文”信息收集的可靠性和完整性能力在很大程度上尚未得到评估。为了弥补这一空白,我们引入了WideSearch,这是一个旨在评估智能体在这些大规模收集任务中可靠性的新基准。该基准包含200个手工精选的问题(100个英文,100个中文),涵盖15个以上不同领域,并基于真实用户查询。每个任务都要求智能体收集大规模的原子信息,这些信息可以逐一客观验证,并将其整理成结构良好的输出。严格的五阶段质量控制流程确保了数据集的难度、完整性和可验证性。我们对10多个最先进的智能体搜索系统进行了基准测试,包括单智能体、多智能体框架以及端到端商业系统。大多数系统的总体成功率接近0%,表现最好的也仅达到5%。然而,如果给予足够的时间,通过多个人工测试员的交叉验证可以达到接近100%的成功率。这些结果表明,当前的搜索智能体在广域信息搜寻方面存在严重缺陷,突显了智能体搜索未来研究和开发的紧迫领域。我们的数据集、评估流程和基准测试结果已在https://widesearch-seed.github.io/ 公开。

05

MolmoAct:能在空间中进行推理的动作推理模型

推理是目标导向行动的核心,然而大多数机器人基础模型将感知和指令直接映射到控制,这限制了其适应性、泛化能力和语义基础。我们引入了动作推理模型(ARMs),这是一类视觉-语言-动作模型,通过结构化的三阶段流水线整合了感知、规划和控制。我们的模型MolmoAct将观察和指令编码为深度感知的感知令牌,生成可编辑轨迹追踪形式的中级空间规划,并预测精确的低级动作,从而实现可解释和可控的行为。MolmoAct-7B-D在模拟和真实世界环境中均表现出色:在SimplerEnv视觉匹配任务上实现了70.5%的零样本准确率,超越了闭源的Pi-0和GR00T N1;在LIBERO上平均成功率为86.6%,在长周期任务上比ThinkAct额外提高了6.3%;在真实世界微调中,比Pi-0-FAST额外提高了10%(单臂)和22.7%(双臂)的任务进展。它还在分布外泛化方面比基线高出23.3%,并在开放式指令遵循和轨迹引导方面获得了最高的人类偏好评分。此外,我们首次发布了MolmoAct数据集——一个包含超过10,000条高质量机器人轨迹的训练中期机器人数据集,涵盖了各种场景和任务。使用该数据集进行训练使通用性能比基础模型平均提高了5.5%。我们发布了所有模型权重、训练代码、我们收集的数据集以及我们的动作推理数据集,将MolmoAct确立为最先进的机器人基础模型,同时也是构建ARMs的开放蓝图,通过结构化推理将感知转化为目标导向的行动。

06

Grove MoE:迈向高效卓越的附随专家MoE大语言模型

专家混合(MoE)架构是现代最先进(SOTA)大语言模型(LLM)的基石。MoE模型通过实现稀疏参数激活来促进可扩展性。然而,传统的MoE架构使用同质且大小统一的专家,无论输入复杂性如何,都会激活固定数量的参数,从而限制了计算效率。为了克服这一限制,我们引入了Grove MoE,这是一种新颖的架构,其灵感来源于异构的big.LITTLE CPU架构,并集成了不同大小的专家。该架构具有新颖的附随专家和动态激活机制,能够在扩展模型容量的同时保持可控的计算开销。基于此架构,我们提出了GroveMoE-Base和GroveMoE-Inst,这是通过在中训练和后训练阶段对Qwen3-30B-A3B-Base模型应用升级策略而开发的330亿参数LLM。GroveMoE模型根据token复杂性动态激活31.4亿至32.8亿参数,并实现了与同等甚至更大规模的SOTA开源模型相当的性能。