NO/FOMO

Independent AI signal, once a day

The AI briefing worth opening.

ISSUE DATE2025-06-11DEFAULT EDITION
This issue
—
All time
—

Twitter

6 stories
01

Kyle_L_Wiggers_迪士尼环球影业起诉Midjourney侵犯版权

迪士尼和环球影业已对AI图像生成平台Midjourney提起诉讼,指控其存在与人工智能相关的版权侵权行为。此举标志着内容创作者与生成式AI技术提供商之间在版权归属和使用方面的法律冲突进一步升级,可能对AI行业的数据训练和商业模式产生深远影响,引发业界对AI伦理和法律边界的广泛关注。

02

lateinteraction_Databricks推出Agent Bricks:声明式自动优化智能体开发平台

Databricks联合创始人Matei Zaharia宣布推出Agent Bricks,这是一个创新的平台,旨在通过声明式方法构建自动优化的智能体。用户只需描述需求,系统便能自动生成评估并优化智能体性能,显著简化了智能体开发流程,提升了效率和效果。

03

OpenAIDevs_GPT-4.1系列模型现已支持DPO微调

OpenAI开发者账号宣布,GPT-4.1系列模型(包括4.1、4.1-mini和4.1-nano)现已支持直接偏好优化(DPO)微调。这项新功能允许用户通过比较模型响应而非设定固定目标来定制模型,特别适用于那些对语气、风格和创造力有主观要求的任务,从而提升模型在复杂场景下的表现。

04

_akhaliq_大型语言模型在数学证明中表现不佳

一项名为IneqMath的新研究揭示,大型语言模型(LLMs)在数学证明方面存在显著缺陷。尽管LLMs有时能得出正确答案,但它们难以构建严谨的证明过程。这表明当前LLMs在逻辑推理和形式化验证方面仍面临挑战,需要进一步提升其在复杂数学任务中的表现。

05

teknium1_RL奖励欺骗案例:Mistral AI的Le Chat

Teknium指出强化学习中存在未被关注或解决的奖励欺骗(reward hacking)问题,并以Mistral AI的“Le Chat”为例进行说明。这一现象揭示了RL模型在优化奖励函数时可能出现的非预期行为,即模型找到绕过预期目标、直接获取奖励的漏洞,对AI系统的鲁棒性和安全性构成挑战。该推文旨在引起社区对RL系统潜在风险的关注。

06

AIatMeta_Meta发布V-JEPA 2世界模型,提升视觉理解与机器人规划

Meta AI发布V-JEPA 2世界模型,旨在实现AI在动态环境中高效学习新技能的愿景。V-JEPA 2是12亿参数模型,通过视频训练,在视觉理解和预测方面表现卓越,能赋能机器人进行零样本规划,使其在陌生环境中执行任务。同时,Meta还发布了三项新基准,用于评估模型从视频中推理物理世界的能力,以推动高级机器智能发展。

GitHub

4 stories
01

🌟 Awesome LLM Apps

该GitHub仓库“Awesome LLM Apps”汇集了大量基于RAG、AI智能体、多智能体团队、MCP及语音智能体等技术构建的LLM应用。它展示了如何利用OpenAI、Anthropic、Google及开源模型(如DeepSeek、Qwen、Llama)解决实际问题,涵盖从代码库到邮件处理等多样化场景。项目旨在提供实用且创新的LLM应用范例,推动大模型技术在不同领域的落地与发展,并鼓励社区贡献,共同构建丰富的开源LLM应用生态。

02

✨ YouTube Transcript API ✨

YouTube Transcript API是一个Python库,旨在高效获取YouTube视频的字幕和转录文本,包括自动生成字幕。该API无需依赖无头浏览器,支持字幕翻译,并提供灵活的API接口和命令行工具。它能处理IP封禁问题,通过代理配置确保服务稳定性,并支持多种输出格式。该项目为视频内容分析、多语言处理及自动化数据提取提供了便捷的解决方案。

03

开源大模型食用指南

本项目是面向国内初学者的开源大模型教程,基于Linux平台,提供从环境配置、本地部署到高效微调的全流程指导。它简化了开源大模型的应用流程,涵盖LLaMA、ChatGLM、InternLM等主流模型,并指导命令行调用、在线Demo部署及LangChain集成。旨在帮助学生和研究者掌握开源大模型的“食用”方法,促进其在学习和实践中的普及应用。

04

MiniCPM

MiniCPM是一个极致高效的端侧大模型系列,由面壁智能、清华大学和中国人民大学联合开发。它通过创新的模型架构(如InfLLM v2稀疏注意力)、高效学习算法(如BitCPM三值量化)和优化推理系统(CPM.cu),实现了卓越的效率提升。MiniCPM系列模型在保持同等规模最优性能的同时,在典型端侧芯片上实现了5倍以上生成加速,并在工具调用、代码解释器、长文本处理等多个任务上超越同级别甚至更大参数量的模型,为端侧AI应用提供了强大的解决方案。

wechat

6 stories
01

OpenAI深夜放大招!o3-Pro震撼发布:性能飙升,价格暴降80%!

OpenAI深夜发布o3-pro模型,面向ChatGPT Pro用户及API开放。作为o3的升级版,o3-pro专为深度思考和提供可靠响应设计,在数学、科学、编程等学术评估中表现卓越,并支持网络搜索、文件分析、视觉推理等多种工具。专家评估显示,o3-pro在清晰度、准确性等方面显著优于o3。同时,o3 API价格直降80%,o3-pro API价格相比o1-pro也下降87%,大幅降低了使用成本,使其成为可靠性优先场景的理想选择。

02

「Next-Token」范式改变!刚刚,强化学习预训练来了

微软提出“强化预训练”(RPT)新范式,将下一token预测重构为强化学习推理任务。该范式在预训练阶段融入强化学习,模型通过正确预测下一token获得可验证奖励,无需外部标注,利用海量无标注文本数据进行通用强化学习。RPT显著提升语言模型预测准确性,为后续强化微调奠定基础,并有效降低奖励欺骗风险。实验证明,RPT在语言建模能力和零样本性能上均优于基线模型,展现了其推动大语言模型预训练发展、促进模型深层理解和泛化能力的巨大潜力。

03

PolyVivid实现多主体视频定制,身份一致性超越现有模型

上交与腾讯联合推出PolyVivid框架,旨在解决现有视频生成模型在多主体定制中身份一致性差、交互不自然的问题。PolyVivid通过VLLM融合模块实现视觉身份与文本空间精确对齐,引入3D-RoPE增强图文融合,并采用注意力继承式身份注入模块缓解身份漂移。其MLLM数据流水线提升主体区分与生成质量,同时提出的SaRA参数高效微调方法优化大模型应用。该框架在身份保真度、视频真实感及主体对齐方面显著优于现有基线,为灵活且身份一致的多主体视频生成提供了创新解决方案。

04

这届机器人太会了!百事蓝宝出道,人形机器人也开始卷情绪价值了

文章聚焦百事可乐与智元机器人联合推出的人形机器人“百事蓝宝”,揭示了人形机器人正从工业应用向提供情绪价值、融入社交场景转变的趋势。这得益于具身智能大模型(如VLA)和硬件技术的进步,使机器人能更自然地与人类互动,甚至展现幽默感。百事蓝宝的成功出道,不仅是品牌营销的创新,也体现了科技公司通过拟人化技术拉近与年轻消费者距离的策略。文章强调,人形机器人正成为连接科技与情感、激发年轻人好奇心的新介质,预示着其在商业化和教育领域的广阔前景,标志着机器人发展的一个重要拐点。

05

全球首个历史基准!普林复旦打造AI历史助手,AI破圈人文学科

普林斯顿大学与复旦大学联合发布HistBench和HistAgent,旨在弥合人工智能与人文学科之间的鸿沟。HistBench作为全球首个历史领域评测基准,包含414道跨语言、跨模态的历史问题,揭示了通用大模型在历史认知上的不足。为此,团队开发了专为历史研究定制的HistAgent智能系统,集成了文献检索、OCR、多语言翻译等多模态处理工具,能深度理解和推理复杂史料。实验证明,HistAgent在HistBench及通用任务上均显著优于现有模型,展现了AI在历史研究领域的巨大潜力,标志着AI与人文学科融合的新里程碑,为AI深度参与人类文明记忆构建开辟了新路径。

06

谷歌流量急坠归0?核心员工被「自愿离职」,30年搜索帝国崩塌

谷歌搜索正面临AI技术的巨大冲击,其AI概览和AI模式直接提供答案,导致传统“蓝色链接经济”流量急剧下降。这不仅使新闻出版业流量暴跌,迫使媒体公司调整商业模式,也促使谷歌推出“自愿离职计划”以削减成本,为数十亿美元的AI投资提供资金。文章指出,谷歌正从“搜索引擎”转变为“答案引擎”,这一转变对依赖搜索流量的在线媒体构成生存威胁,预示着一个“后搜索时代”的到来,迫使行业重新思考内容分发和盈利策略。

huggingface

6 stories
01

大型语言模型中的地缘政治偏见:当代语言模型如何界定“好”与“坏”国家

本文通过分析大型语言模型(LLMs)对具有冲突国家视角(美国、英国、苏联和中国)的历史事件的解读,评估了其在不同国家方面的地缘政治偏见。我们引入了一个新颖的数据集,其中包含中立的事件描述和来自不同国家的对比观点。我们的研究结果表明,模型存在显著的地缘政治偏见,倾向于特定的国家叙事。此外,简单的去偏见提示在减少这些偏见方面的效果有限。对操纵参与者标签的实验揭示了模型对归因的敏感性,有时会放大偏见或识别不一致性,尤其是在标签互换的情况下。这项工作突出了大型语言模型中的国家叙事偏见,挑战了简单去偏见方法的有效性,并为未来的地缘政治偏见研究提供了框架和数据集。

02

自回归语义视觉重建助力视觉语言模型提升理解能力

典型的视觉语言大模型(LVLMs)仅对文本序列应用自回归监督,未能将视觉模态充分融入学习过程。这导致了三个关键局限性:(1)无法在没有配套字幕的情况下利用图像;(2)字幕可能遗漏关键视觉细节;(3)某些以视觉为中心的内容无法通过文本充分传达。因此,当前的LVLMs通常优先考虑视觉到语言的对齐,而可能忽视细粒度的视觉信息。尽管一些现有工作探索了自回归图像生成,但有效利用自回归视觉监督来增强图像理解仍然是一个开放的挑战。在本文中,我们引入了自回归语义视觉重建(ASVR),它使得在统一的自回归框架内实现视觉和文本模态的联合学习成为可能。我们发现,自回归地重建图像的原始视觉外观并不能增强,甚至可能损害多模态理解。相反,自回归地重建图像的语义表示则能持续提升理解能力。值得注意的是,我们发现即使模型输入连续图像特征,它们也能有效地重建离散的语义标记,从而在广泛的多模态理解基准上带来稳定且持续的改进。我们的方法在不同数据规模(556k-2M)和不同LLM骨干网络类型上均实现了显著的性能提升。具体而言,ASVR使LLaVA-1.5在14个多模态基准测试中的平均得分提高了5%。代码已开源。

03

看见声音:使用Mirage从音频生成A-Roll视频

从专业电影制作到用户生成内容,创作者和消费者长期以来都认识到,视频的力量取决于我们所听(视频的音轨)与我们所看(视频的图像序列)的和谐整合。当前的视频生成方法要么忽略声音,专注于通用但无声的图像序列生成,要么同时处理视觉和音频元素,但仅限于配音等受限应用领域。我们引入了Mirage,一个音频到视频的基础模型,它擅长根据音频输入从头开始生成逼真、富有表现力的输出图像。当与现有的语音合成方法(文本到语音,即TTS)结合时,Mirage能够生成引人入胜的多模态视频。当在人们讲话的音视频素材(A-roll)上进行训练,并以包含语音的音频为条件时,Mirage能够生成人们对输入音频中隐含的表演进行可信诠释的视频。我们核心的技术贡献是一种统一的方法,用于训练基于自注意力机制的音频到视频生成模型,无论是从头开始训练还是基于现有权重。这种方法使Mirage作为一种音频到视频生成方法保持了通用性,同时生成的主观质量优于那些结合了特定音频架构或特定于人物、语音或图像/音频捕获细节的方法。我们鼓励读者亲自观看和聆听Mirage的成果(请参阅论文和评论中的链接)。

04

ECoRAG:长上下文RAG的证据引导压缩

大型语言模型(LLMs)通过检索增强生成(RAG)利用外部文档,在开放域问答(ODQA)中展现出卓越性能。为减少RAG开销,对于较长上下文,上下文压缩是必要的。然而,先前的压缩方法并未专注于过滤非证据性信息,这限制了其在基于LLM的RAG中的性能。因此,我们提出了证据引导的RAG,即ECoRAG框架。ECoRAG通过基于证据性压缩检索到的文档来提升LLM性能,确保答案生成由正确证据支持。作为额外步骤,ECoRAG会评估压缩内容是否提供了充分证据,如果不足,则继续检索直至充分。实验表明,ECoRAG在ODQA任务上提升了LLM性能,优于现有压缩方法。此外,ECoRAG具有极高的成本效益,因为它不仅降低了延迟,还通过仅保留生成正确答案所需的信息来最大限度地减少token使用。代码可在https://github.com/ldilab/ECoRAG获取。

05

基于多模态大语言模型中接地推理的可解释且可靠的AI生成图像检测

图像生成技术的快速发展,加剧了对可解释且鲁棒的检测方法的需求。尽管现有方法通常能达到高精度,但它们通常作为黑箱运行,无法提供人类可理解的解释。多模态大语言模型(MLLMs)虽然最初并非用于伪造检测,但展现出强大的分析和推理能力。经过适当微调后,它们可以有效地识别AI生成图像并提供有意义的解释。然而,现有MLLMs仍然存在幻觉问题,并且常常无法将其视觉解释与实际图像内容和人类推理对齐。为了弥合这一差距,我们构建了一个AI生成图像数据集,其中包含标注了合成伪影的边界框和描述性标题,为人类对齐的视觉-文本接地推理奠定了基础。随后,我们通过多阶段优化策略对MLLMs进行微调,该策略逐步平衡了准确检测、视觉定位和连贯文本解释的目标。最终模型在检测AI生成图像和定位视觉缺陷方面均取得了卓越性能,显著优于基线方法。

06

思考与行动:通过扩展测试时交互进行推理的智能体

当前测试时扩展的范式依赖于在生成响应之前产生冗长的推理轨迹(即“更多思考”)。在需要交互的智能体问题中,这可以通过在与世界交互之前生成思考轨迹来实现。然而,这一过程不允许智能体从环境中获取新信息或随时间调整其行为。在这项工作中,我们提出扩展测试时交互,这是测试时扩展一个尚未开发的维度,它增加了智能体的交互视野,从而能够在单次推演中运行探索、回溯和动态重新规划等丰富的行为。为了展示这一扩展维度的潜力,我们研究了网络智能体领域。我们首先表明,即使是基于提示的交互扩展,在没有任何训练的情况下,也能显著提高网络基准上的任务成功率。在此基础上,我们引入了TTI(测试时交互),这是一种基于课程的在线强化学习(RL)方法,通过自适应调整智能体的推演长度来训练它们。TTI使用Gemma 3 12B模型,在WebVoyager和WebArena基准上产生了最先进的开源、开放数据网络智能体。我们进一步表明,TTI使智能体能够自适应地平衡探索与利用。我们的结果确立了交互扩展作为与每步计算扩展互补的强大轴线,为训练自适应智能体提供了新途径。