LLM Wiki

操作日志

87分钟阅读

操作日志

[2026-07-14] ingest | 股票基础知识教程 P2–P13

[2026-07-13] ingest | A100 Training 01：A100 SXM GPU 节点认识、配置与带宽测试

  • 来源：raw/🤖 AI/AI Infra/A100 Training 01：A100 SXM GPU 节点认识、配置与带宽测试（视频转录）.md（Bilibili BV1CGN26EEeT，五道口纳什，32 分 24 秒；本地 mlx-whisper large-v3-turbo 音频转录，942 个带时间戳片段）
  • 新建页面：资料摘要：A100 SXM GPU 节点认识、配置与带宽测试、GPU 节点互联与分层带宽（概念）
  • 新增图表：A100 SXM 节点分层互联与验机流程.excalidraw（CPU/DRAM → PCIe → A100 SXM4 → NVSwitch → GPU 的数据路径，以及验机顺序）
  • 更新页面：Wiki 目录（AI Infra / GPU 系统资料摘要、概念清单、最近更新）
  • 课件与代码：已用当前 GitHub 授权账号读取并归档 wdkns/modern_genai_bilibili/agentic_rl/training_projs：Jupyter 课件 当拿到一个A100的节点.ipynb，以及 scripts/hbm_bw_core.py、scripts/pcie_bw_core.py。前者给出节点拓扑、GPU Burn、nvbandwidth、NCCL 与 uv 环境命令；后两者分别实现 pinned-memory H2D/D2H payload 带宽与本地 HBM copy / stream-add（2N / 3N traffic）微基准。代码已保存到 raw/🤖 AI/AI Infra/A100 Training 01：课件与代码/ 并补充进资料摘要。
  • 核心洞察：性能诊断先问数据“从哪里到哪里”——HBM、GPU 间 NVLink/NVSwitch、CPU–GPU PCIe、节点间网络是不同层次；只有把拓扑、方向、并发和 NUMA 写清，带宽与 TFLOPS 数字才具有可比较的工程含义。

[2026-07-13] ingest | An Introduction to Flow Matching and Diffusion Models (MIT 6.S184)

[2026-07-10] ingest | GSRM: Generative Speech Reward Model for Speech RLHF

  • 来源：raw/🤖 AI/语音合成/GSRM - Generative Speech Reward Model for Speech RLHF.pdf（arXiv 2602.13891，Meta Superintelligence Labs，2026-02-14 下载 PDF 原件，12 页）
  • 新建页面：资料摘要：GSRM（生成式语音奖励模型）、生成式奖励模型（Generative Reward Model）（概念）
  • 新增图表：GSRM 两阶段架构.excalidraw（声学特征提取 → CoT 推理 → 自然度分数 → 在线 RLHF verifier）
  • 更新页面：Wiki 目录（语音合成 + 概念清单 + 最近更新）
  • 核心洞察：把语音自然度评测从「黑箱标量回归」重构为「可解释声学特征 + 特征接地 CoT 推理」的生成式奖励模型，模型-人相关性逼近人类评分者一致性；直接 RL 训奖励易 reward hacking，SFT 知识注入不可省。

[2026-07-09] refactor | 知识库层级重构为领域优先

  • 动机：文件浏览器中 阅读进度.md 紧挨 金融 文件夹（误以为嵌套）——根因是 wiki/sortspec.md 未列出 AI/、金融/、阅读进度.md，未列项被 custom-sort 丢到末尾按字母排；更深层需求是将「机能文件夹（概念/资料摘要/综合分析）」与「领域文件夹」混排的顶层，改为按学习分类的领域优先结构。
  • 结构变更：raw/ 与 wiki/ 顶层统一为 emoji 学习领域——🤖 AI（原 AI/ + 训练方法/）、💰 金融投资（原 金融/）、📙 人文社科（原 宗教/ 下沉为子主题）、🔢 数学/💻 CS/🎃 外语/🎹 音乐/🎨 画画/🛎️ 技能（预留占位）。机能文件夹（概念/资料摘要/综合分析/领域页/assets）内嵌到各领域，不再全局共享。
  • 文件移动：约 120 个文件全部 git mv 保留历史；wiki/概念/ 拆分（6 宗教概念 + 1 金融概念分流到对应领域，其余入 🤖 AI/概念/）；wiki/资料摘要/ 拆分（伊斯兰、股票分流）；wiki/AI/ 两页并入 🤖 AI/领域页/；wiki/assets/excalidraw/ → 🤖 AI/assets/excalidraw/。
  • 引用更新：脚本化前缀替换全库 62 个 md——[[raw/AI/→[[raw/🤖 AI/、[[raw/金融/→[[raw/💰 金融投资/、[[raw/宗教/→[[raw/📙 人文社科/宗教/、[[raw/训练方法/→[[raw/🤖 AI/训练方法/；路径式 wikilink（[[AI/音频生成/音频生成]]→[[🤖 AI/领域页/音频生成]] 等，名称冲突保留完整路径）。
  • Schema 与导航：重写 AGENTS.md「目录结构」为领域优先 + 各领域自带机能文件夹，调整 Ingest/Lint/Query 流程措辞；补齐 wiki/sortspec.md（列全领域 + 阅读进度.md 归入基础设施区，修复原始症状）与 raw/sortspec.md；重排 Wiki 目录 与 知识库概览；6 个占位领域各建 领域页/ 索引。
  • 核心洞察：Obsidian bare [[wikilink]] 按文件名解析、不受移动影响，仅路径式 wikilink 与 [[raw/…pdf]] 源徽章需改写——这是本次断链风险的唯一来源，已全部覆盖并验证。

[2026-07-09] query | 解读 TangoFlux 摘要/模型结构/MMDiT，并标记已读

[2026-07-08] query | 解读 Tango 2 摘要与具体方法，并标记已读

  • 查阅页面：资料摘要：Tango 2、DPO（直接偏好优化）（基于已编译 wiki 作答，未回退原件）
  • 结果：已回答（摘要解读 + DPO-diffusion 方法链详解）；将 资料摘要：Tango 2 标记为 read: true（read_date 2026-07-08），新增「对话洞见」条目沉淀三段式方法链、β=2000 易混点、prompt 扰动为何有效

[2026-07-08] query | 解读 Tango 摘要/Introduction/声压级混合，并标记已读

  • 查阅页面：资料摘要：Tango；回退细读原件 Introduction 与 Section 2.3（声压级混合公式）
  • 结果：已回答；将 资料摘要：Tango 标记为 read: true（read_date 2026-07-08），新增「对话洞见」小节沉淀声压级混合公式解读、Introduction 反驳 AudioLDM 的核心张力、与 Imagen 的划界

[2026-07-08] ingest | Tango 2 + TangoFlux：Tango 系列二、三代

  • 来源：raw/AI/音频生成/Tango/Tango 2 - Aligning Diffusion-based…DPO.pdf（arXiv 2404.09956，SUTD+Meta+密歇根）+ raw/AI/音频生成/Tango/TangoFlux - Super Fast and Faithful…CRPO.pdf（arXiv 2412.21037，SUTD+NVIDIA+Lambda）——均按 arXiv 下载 PDF 原件
  • 知识分组：Tango 主题达 3 份文档，raw 与 wiki 均新建「Tango」子文件夹（raw/AI/音频生成/Tango/、wiki/资料摘要/Tango/），原有 资料摘要：Tango + 其 PDF 一并移入，并修正页内 PDF 链接
  • 新建页面：资料摘要：Tango 2、资料摘要：TangoFlux
  • 更新页面：资料摘要：Tango（「后续发展」重写为三代演进链 + 相关补链）、音频生成（奠基工作表新增两行）、Wiki 目录、本日志
  • 核心洞察：Tango 系列三代共享冻结 FLAN-T5 文本编码器，主线变化在生成器与对齐——Tango（LDM）→ Tango 2（LDM + 离线 diffusion-DPO/Audio-alpaca）→ TangoFlux（换 Rectified Flow + MMDiT/DiT + 在线偏好优化 CRPO，515M 参数 3.7s 生成 30s/44.1kHz 达 SOTA）。

[2026-07-07] ingest | Qwen2.5-Omni + Audio Flamingo 3：音频理解 LALM 双篇

  • 来源：raw/AI/音频理解/Qwen2.5-Omni Technical Report.pdf（arXiv 2503.20215，阿里 Qwen Team）+ raw/AI/音频理解/Audio Flamingo 3.pdf（arXiv 2507.08128 v2，NVIDIA+UMD）——均按 arXiv 下载 PDF 原件
  • 知识分组：音频理解主题首现 2 份文档，raw 与 wiki 均新建「音频理解」子文件夹（raw/AI/音频理解/、wiki/资料摘要/音频理解/）
  • 新建页面：资料摘要：Qwen2.5-Omni、资料摘要：Audio Flamingo 3
  • 更新页面：LALM（大型音频语言模型）（sources 新增两篇 + history 补「理解分支两条代表路线」+ 相关）、Wiki 目录（新增「音频理解 / LALM」分组 + 最近更新）
  • 核心洞察：两模型同以 Qwen2.5-7B 为骨干却走两条路——Qwen2.5-Omni 是全模态感知 + 流式语音输出（Thinker-Talker 双脑 + TMRoPE 音画时间对齐，工业闭源数据、理解生成并重）；Audio Flamingo 3 是完全开源纯音频理解 SOTA（AF-Whisper 单编码器统一语音/声音/音乐 + on-demand thinking + 长音频≤10min），在 20+ 基准上以更小数据超越 Qwen2.5-Omni 与 Gemini 2.5 Pro。

[2026-07-07] ingest | DashengTokenizer：冻结语义 + 声学注入的统一 tokenizer

  • 来源：raw/AI/音频生成/Dasheng/DashengTokenizer - One Layer is Enough for Unified Audio Understanding and Generation.pdf（arXiv 2602.23765 v2，小米 MiLM Plus）——按 arXiv 下载 PDF 原件
  • 新建页面：资料摘要：DashengTokenizer
  • 知识分组：Dasheng 家族出现第 2 份文档，raw 与 wiki 均新建 Dasheng/ 子文件夹并移入 资料摘要：Dasheng AudioGen + DashengTokenizer（wikilink 按 basename 解析，移动不破坏引用；仅修正 AudioGen 页内 PDF 全路径链接）
  • 更新页面：神经音频编解码（RVQ）（对照表新增「连续统一 tokenizer」行 + 相关）、音频生成（sources + 连续表示路线 + 高维语义-声学潜空间趋势）、条件流匹配（CFM）（history 补 DashengTokenizer 替换 VAE 的证据）、音频生成（新范式探索新增一行 + 篇数 24→25）、资料摘要：Dasheng AudioGen（互链潜空间基座）、Wiki 目录
  • 新增图表：DashengTokenizer 架构图.excalidraw（左冻结语义编码器 + 右 Mel→线性声学注入 → 加性融合统一特征 → Vocos 解码；含 L_sem 语义保留损失与关键结论面板）
  • 核心洞察：范式反转——不再往低维声学模型蒸馏语义，而是冻结高维语义编码器、仅用一层 0.66M 线性投影把声学信息「加」回去。同一连续表示（1280 维 @25Hz）在 X-ARES 22 任务理解上多项 SOTA、25Hz 重建即达顶尖、TTA/TTM 直接超越 VAE（FAD 3.06 vs 4.27），从而挑战「音频合成必须靠 VAE」的定论；这套表示正是 资料摘要：Dasheng AudioGen 的生成潜空间基座。

[2026-07-07] read | 标记已读 + 对话洞见沉淀：Dasheng AudioGen

  • 页面：资料摘要：Dasheng AudioGen 写入 read: true / read_date: 2026-07-07
  • 新增小节：该页「对话洞见」——沉淀本轮人机讨论：低维VAE(d=128) vs 高维语义-声学表示(d=1280) 的「重建好≠合成好」、优势主因是语义先验非重建、DashengTokenizer 本文未细讲、“架构创新薄/数据即护城河”的批判、数据来源 ACAV100M→ACAVCaps 私有 77k 小时全自动标注
  • Schema 变更：AGENTS.md 阅读状态章节新增「对话洞见沉淀（标记已读时必做）」固定流程——每次标记 source 已读须追加/更新 ## 对话洞见 小节，记录用户疑问/认可洞见/批判判断/延伸线索
  • 更正：此前误判 DashengTokenizer 页缺失，实为已存在 资料摘要：DashengTokenizer（与本篇同在 wiki/资料摘要/Dasheng/ 分组）

[2026-07-07] ingest | Bagpiper：Rich Caption 统一音频理解-生成

  • 来源：raw/AI/音频生成/Bagpiper - Solving Open-Ended Audio Tasks via Rich Captions.pdf（arXiv 2602.05220，CMU+LY+NVIDIA）
  • 新建页面：资料摘要：Bagpiper
  • 更新页面：LALM（大型音频语言模型）（history + sources + 相关，理解-生成一体化/语义层统一）、音频生成（统一基础模型表新增一行 + 篇数 23→24）、Wiki 目录
  • 新增图表：Bagpiper 统一理解-生成架构.excalidraw（① 物理音频⇄丰富字幕双向映射；② Caption-then-Process 理解/生成两大工作流）
  • 核心洞察：用「丰富字幕」作人类认知概念的通用语义代理，把开放式音频任务重构为 LLM 文本推理问题——统一发生在语义层（区别于 UniMoE-Audio/AudioCALM/UniSonate 的架构层统一）；循环一致性 Text-Sim 0.840 远超级联管线，实证理解-生成一体化的价值

[2026-07-07] read | 批量标记已读（6 篇）

[2026-07-07] feature | 新增”阅读状态”功能

  • Schema 扩展：AGENTS.md frontmatter 规范新增 read / read_date 字段（仅 source 页），并定义”标记为已读”约定
  • 新建页面：阅读进度（Dataview 看板，自动汇总已读/未读 source 页）
  • 标记已读：资料摘要：UniMoE-Audio → read: true + read_date: 2026-07-07
  • 更新页面：Wiki 目录（基础设施区加入阅读进度入口）

[2026-07-07] query | 逐节解读 UniMoE-Audio（摘要/引言/相关工作/方法/实验）

[2026-07-03] ingest | 股票基础知识教程-001-K线的构成及市场意义

  • 来源：raw/金融/股票基础知识教程/股票基础知识教程-001-K线的构成及市场意义.md
  • 新建页面：资料摘要：股票基础知识教程-001-K线的构成及市场意义、K线（蜡烛图）
  • 更新页面：Wiki 目录（新增「金融/投资」领域分组）
  • 新增概念：K线（蜡烛图）— 涵盖 OHLC 四要素、实体与影线、阴阳线、特殊形态（十字星/T 字线/一字板）、多空博弈连续谱
  • 新增图表：Mermaid K线结构解剖图（阴阳线双列）、常见形态对照表、多空力量连续谱
  • 核心洞察：K 线是技术分析的「原子」— 所有指标和形态都建立在其上；每根 K 线是多空博弈在该时段的即时快照，实体长短反映力量强弱、影线长短反映阻力/支撑

[2026-07-01] query/ingest | 从 Codex 会话整理 RL/蒸馏知识

  • 来源：Codex 会话 019f1c25-4a57-7211-9638-711ccbc6adfb（2026-07-01，6 轮对话，模型 gpt-5.5）
  • 会话主题线：OPD → verl → OPD 深入 → KD → on/off-policy + policy-gradient loss → policy-gradient loss 详解
  • 新建页面：Knowledge Distillation（知识蒸馏）、Policy Gradient（策略梯度）、verl
  • 更新页面：On-Policy Distillation（在策略蒸馏）（新增 KD/Policy Gradient/verl 交叉引用）
  • 新增概念：Knowledge Distillation（知识蒸馏，Forward/Reverse KL 对比）、Policy Gradient（策略梯度，advantage 机制）、verl（字节跳动 LLM RL 后训练框架）
  • 核心洞察：OPD 是在 on-policy 条件下做 KD，用 reverse KL 作为 per-token advantage 驱动 policy gradient；verl 是承载这套流程的工程基础设施

[2026-07-01] ingest | On-Policy Distillation

[2026-07-01] query | MAR Diffusion Loss 公式推导讨论 → 新建概念页

  • 查阅页面：资料摘要：MAR
  • 结果：基于 MAR Section 3 Method 的解读 + 用户追问 Diffusion Loss 与 Flow Matching 的数学区别，新建概念页 DDPM 前向与反向扩散公式推导（前向加噪重参数化推导、反向去噪贝叶斯+神经网络近似推导、Flow Matching 对比、MAR 中的嵌入方式），更新 资料摘要：MAR（新增 Diffusion Loss 数学基础链接 + CFM 链接）
  • 归入：wiki/概念/

[2026-06-30] ingest | ControlAudio — 渐进扩散建模统一时间控制+可懂语音 TTA

  • 来源：raw/AI/音频生成/ControlAudio Tackling Text-Guided Timing-Indicated and Intelligible Audio Generation via Progressive Diffusion Modeling.pdf（arXiv 2510.08878，ACL 2026 Main；清华+生数科技+USTC+Monash；PyMuPDF 提取全文 20 页）
  • 新建页面：资料摘要：ControlAudio
  • 更新页面：音频生成（22→23 篇，扩散路线表新增 ControlAudio）、DiT（Diffusion Transformer）（sources+应用表+相关）、音频生成（sources+可控性挑战+可控生成趋势 8）、Wiki 目录
  • 新增概念：无（复用 DiT / 音频生成 / CFG 已有概念；Controllable TTA 待更多相关论文覆盖后提取）
  • 新增图表：

    ControlAudio 渐进扩散建模架构.excalidraw

    ⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

    Excalidraw Data

    Text Elements

    %%

    Drawing

    {
  "type": "excalidraw",
  "version": 2,
  "source": "https://github.com/zsviczian/obsidian-excalidraw-plugin",
  "elements": [
    {
      "id": "title-main", "type": "text", "x": 80, "y": 18, "width": 840, "height": 35,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5001, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "ControlAudio：渐进扩散建模 — 三阶段训练 + 渐进引导采样", "fontSize": 24, "fontFamily": 5,
      "textAlign": "center", "verticalAlign": "middle", "containerId": null,
      "originalText": "ControlAudio：渐进扩散建模 — 三阶段训练 + 渐进引导采样", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "data-title", "type": "text", "x": 40, "y": 70, "width": 280, "height": 22,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5101, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "📦 数据构建（标注 + 模拟）", "fontSize": 16, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "middle", "containerId": null,
      "originalText": "📦 数据构建（标注 + 模拟）", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "data-annotate-box", "type": "rectangle", "x": 40, "y": 100, "width": 200, "height": 100,
      "angle": 0, "strokeColor": "#a5d8ff", "backgroundColor": "#a5d8ff", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 5201, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "data-annotate-text", "type": "text", "x": 50, "y": 108, "width": 180, "height": 84,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5202, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "标注管线\nAudioSet-SL → 双分离\n→ Gemini 2.5 Pro 转录\n152k 高质量事件", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "标注管线\nAudioSet-SL → 双分离\n→ Gemini 2.5 Pro 转录\n152k 高质量事件", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "data-sim-box", "type": "rectangle", "x": 280, "y": 100, "width": 200, "height": 100,
      "angle": 0, "strokeColor": "#a5d8ff", "backgroundColor": "#b2f2bb", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 5301, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "data-sim-text", "type": "text", "x": 290, "y": 108, "width": 180, "height": 84,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5302, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "模拟管线\nLibriTTS-R 语音\n+ WavCaps/VGG 背景\n171k 复杂场景 (SNR 2-10dB)", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "模拟管线\nLibriTTS-R 语音\n+ WavCaps/VGG 背景\n171k 复杂场景 (SNR 2-10dB)", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "data-prompt-box", "type": "rectangle", "x": 520, "y": 100, "width": 240, "height": 100,
      "angle": 0, "strokeColor": "#d0bfff", "backgroundColor": "#d0bfff", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 5401, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "data-prompt-text", "type": "text", "x": 530, "y": 108, "width": 220, "height": 84,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5402, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "统一语义建模\n单一 Flan-T5 编码 text\n+ timing + phoneme\n@{} 结构化提示 + 音素 token", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "统一语义建模\n单一 Flan-T5 编码 text\n+ timing + phoneme\n@{} 结构化提示 + 音素 token", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "train-title", "type": "text", "x": 40, "y": 220, "width": 280, "height": 22,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5501, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "🔄 渐进模型训练（三阶段）", "fontSize": 16, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "middle", "containerId": null,
      "originalText": "🔄 渐进模型训练（三阶段）", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "stage1-box", "type": "rectangle", "x": 40, "y": 252, "width": 230, "height": 110,
      "angle": 0, "strokeColor": "#a5d8ff", "backgroundColor": "#a5d8ff", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 5601, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "stage1-text", "type": "text", "x": 50, "y": 260, "width": 210, "height": 70,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5602, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "Stage 1: TTA 预训练\n条件: text only\n大规模文本-音频对\n1M steps · DiT 骨干\n建立通用 TTA 能力", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "Stage 1: TTA 预训练\n条件: text only\n大规模文本-音频对\n1M steps · DiT 骨干\n建立通用 TTA 能力", "autoResize": true, "lineHeight": 1.25
    },
    {
      "id": "stage1-label", "type": "text", "x": 60, "y": 240, "width": 60, "height": 18,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "#a5d8ff", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5603, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "🔥 冻结", "fontSize": 11, "fontFamily": 5,
      "textAlign": "center", "verticalAlign": "middle", "containerId": null,
      "originalText": "🔥 冻结", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "arrow1", "type": "arrow", "x": 270, "y": 307, "width": 40, "height": 0,
      "angle": 0, "strokeColor": "#ffd8a8", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 3, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5701, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "points": [[0, 0], [40, 0]]
    },
 
    {
      "id": "stage2-box", "type": "rectangle", "x": 310, "y": 252, "width": 230, "height": 110,
      "angle": 0, "strokeColor": "#ffd8a8", "backgroundColor": "#ffd8a8", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 5801, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "stage2-text", "type": "text", "x": 320, "y": 260, "width": 210, "height": 70,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5802, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "Stage 2: 时间控制微调\n条件: text + timing\n条件随机切换防遗忘\n0.5M steps\n精确时间窗口控制", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "Stage 2: 时间控制微调\n条件: text + timing\n条件随机切换防遗忘\n0.5M steps\n精确时间窗口控制", "autoResize": true, "lineHeight": 1.25
    },
    {
      "id": "stage2-label", "type": "text", "x": 330, "y": 240, "width": 60, "height": 18,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "#ffd8a8", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5803, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "🔥 冻结", "fontSize": 11, "fontFamily": 5,
      "textAlign": "center", "verticalAlign": "middle", "containerId": null,
      "originalText": "🔥 冻结", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "arrow2", "type": "arrow", "x": 540, "y": 307, "width": 40, "height": 0,
      "angle": 0, "strokeColor": "#ffd8a8", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 3, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 5901, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "points": [[0, 0], [40, 0]]
    },
 
    {
      "id": "stage3-box", "type": "rectangle", "x": 580, "y": 252, "width": 230, "height": 110,
      "angle": 0, "strokeColor": "#b2f2bb", "backgroundColor": "#b2f2bb", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 6001, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "stage3-text", "type": "text", "x": 590, "y": 260, "width": 210, "height": 70,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6002, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "Stage 3: 联合训练\n条件: text + timing + phoneme\n解冻 Flan-T5 联合优化\n0.5M steps · 三条件随机切换", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "Stage 3: 联合训练\n条件: text + timing + phoneme\n解冻 Flan-T5 联合优化\n0.5M steps · 三条件随机切换", "autoResize": true, "lineHeight": 1.25
    },
    {
      "id": "stage3-label", "type": "text", "x": 600, "y": 240, "width": 60, "height": 18,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "#b2f2bb", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6003, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "🔓 解冻", "fontSize": 11, "fontFamily": 5,
      "textAlign": "center", "verticalAlign": "middle", "containerId": null,
      "originalText": "🔓 解冻", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "infer-title", "type": "text", "x": 40, "y": 385, "width": 280, "height": 22,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6101, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "🎯 渐进引导采样（推理）", "fontSize": 16, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "middle", "containerId": null,
      "originalText": "🎯 渐进引导采样（推理）", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "infer-noise", "type": "ellipse", "x": 60, "y": 430, "width": 60, "height": 40,
      "angle": 0, "strokeColor": "#a5d8ff", "backgroundColor": "#e0e0e0", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6201, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "infer-noise-text", "type": "text", "x": 65, "y": 440, "width": 50, "height": 20,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6202, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "z_T ~ N", "fontSize": 11, "fontFamily": 5,
      "textAlign": "center", "verticalAlign": "middle", "containerId": null,
      "originalText": "z_T ~ N", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "infer-arrow1", "type": "arrow", "x": 120, "y": 450, "width": 80, "height": 0,
      "angle": 0, "strokeColor": "#ffd8a8", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6301, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "points": [[0, 0], [80, 0]]
    },
 
    {
      "id": "phase1-box", "type": "rectangle", "x": 200, "y": 420, "width": 260, "height": 60,
      "angle": 0, "strokeColor": "#ffd8a8", "backgroundColor": "#ffd8a8", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 6401, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "phase1-text", "type": "text", "x": 210, "y": 425, "width": 240, "height": 50,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6402, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "Phase 1: 时序结构建立\nt ∈ [1.0, 88]\n条件: text + timing (无音素)\nw_low = 3", "fontSize": 12, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "Phase 1: 时序结构建立\nt ∈ [1.0, 88]\n条件: text + timing (无音素)\nw_low = 3", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "infer-arrow2", "type": "arrow", "x": 460, "y": 450, "width": 80, "height": 0,
      "angle": 0, "strokeColor": "#b2f2bb", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6501, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "points": [[0, 0], [80, 0]]
    },
 
    {
      "id": "phase2-box", "type": "rectangle", "x": 540, "y": 420, "width": 270, "height": 60,
      "angle": 0, "strokeColor": "#b2f2bb", "backgroundColor": "#b2f2bb", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 6601, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "phase2-text", "type": "text", "x": 550, "y": 425, "width": 250, "height": 50,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6602, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "Phase 2: 语音内容渲染\nt ∈ (88, 0]\n条件: text + timing + phoneme\nw_high = 9", "fontSize": 12, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "Phase 2: 语音内容渲染\nt ∈ (88, 0]\n条件: text + timing + phoneme\nw_high = 9", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "infer-arrow3", "type": "arrow", "x": 810, "y": 450, "width": 60, "height": 0,
      "angle": 0, "strokeColor": "#b2f2bb", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6701, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "points": [[0, 0], [60, 0]]
    },
 
    {
      "id": "infer-output", "type": "ellipse", "x": 870, "y": 430, "width": 60, "height": 40,
      "angle": 0, "strokeColor": "#b2f2bb", "backgroundColor": "#b2f2bb", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6801, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "infer-output-text", "type": "text", "x": 875, "y": 440, "width": 50, "height": 20,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6802, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "z_0 → x", "fontSize": 11, "fontFamily": 5,
      "textAlign": "center", "verticalAlign": "middle", "containerId": null,
      "originalText": "z_0 → x", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "results-title", "type": "text", "x": 40, "y": 510, "width": 350, "height": 22,
      "angle": 0, "strokeColor": "#1e40af", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 6901, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "📊 核心结果（ACL 2026 Main）", "fontSize": 16, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "middle", "containerId": null,
      "originalText": "📊 核心结果（ACL 2026 Main）", "autoResize": true, "lineHeight": 1.25
    },
 
    {
      "id": "results-box", "type": "rectangle", "x": 40, "y": 540, "width": 800, "height": 70,
      "angle": 0, "strokeColor": "#d0bfff", "backgroundColor": "#f0e6ff", "fillStyle": "solid",
      "strokeWidth": 2, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": {"type": 3}, "seed": 7001, "version": 1, "isDeleted": false, "boundElements": [],
      "updated": 1, "link": null, "locked": false
    },
    {
      "id": "results-text", "type": "text", "x": 55, "y": 548, "width": 770, "height": 54,
      "angle": 0, "strokeColor": "#1e3a5f", "backgroundColor": "transparent", "fillStyle": "solid",
      "strokeWidth": 1, "strokeStyle": "solid", "roughness": 0, "opacity": 100, "groupIds": [],
      "roundness": null, "seed": 7002, "version": 1, "isDeleted": false, "boundElements": null,
      "updated": 1, "link": null, "locked": false,
      "text": "AudioCondition: Eb 55.58 (SOTA) / At 79.52 (SOTA) | AC-Filtered: WER 6.84 (SOTA) | AudioCaps: FAD 1.56 (持平 Stable Audio)\n10 类事件 8 类最优 · Speech 类 Eb 39→64 · 可控性不牺牲基础 TTA 质量", "fontSize": 13, "fontFamily": 5,
      "textAlign": "left", "verticalAlign": "top", "containerId": null,
      "originalText": "AudioCondition: Eb 55.58 (SOTA) / At 79.52 (SOTA) | AC-Filtered: WER 6.84 (SOTA) | AudioCaps: FAD 1.56 (持平 Stable Audio)\n10 类事件 8 类最优 · Speech 类 Eb 39→64 · 可控性不牺牲基础 TTA 质量", "autoResize": true, "lineHeight": 1.25
    }
  ],
  "appState": {
    "gridSize": 20,
    "gridStep": 5,
    "gridModeEnabled": false,
    "viewBackgroundColor": "#ffffff"
  },
  "files": {}
}
    指向原始笔记的链接
    （三阶段渐进训练流水线 + 渐进引导采样两阶段 + 数据管线 + 核心结果面板）
  • 核心洞察：ControlAudio 首次在统一 DiT 框架内实现时间控制（AudioCondition Eb 55.58）+ 可懂语音（AC-Filtered WER 6.84），核心方法论是”渐进”贯穿全流程——数据构建（标注→模拟，逐步增加条件粒度）、模型训练（三阶段课程学习+条件随机切换防遗忘）、推理采样（先低引导建时序再高引导渲染语音），最终不牺牲基础 TTA 质量（AudioCaps FAD 1.56 持平 Stable Audio）。这一”渐进复杂度注入”策略对多条件可控生成具有方法论层面的借鉴意义。

[2026-06-29] ingest | GIVT + MAR + DiTAR — 连续值自回归三条技术路线（GMM / 扩散 / 流匹配）

  • 来源：三篇论文详情通过 arXiv WebFetch 获取（无本地 PDF，基于公开摘要与训练知识撰写）
    • GIVT: arXiv 2312.02116, ECCV 2024, Google Research
    • MAR: arXiv 2406.11838, NeurIPS 2024 Spotlight, MIT/FAIR (Kaiming He 组)
    • DiTAR: arXiv 2502.03930, ICML 2025, 字节跳动
  • 新建页面：资料摘要：GIVT、资料摘要：MAR、资料摘要：DiTAR
  • 更新页面：
    • CALM（连续自回归语言建模） — sources 新增三篇 wikilink，history 表细化论文信息与会议
    • Diffusion Autoregressive 架构 — 修复 DiTAR 与 VoxCPM 两阶段架构的混同（DiTAR 属 CALM 单阶段路线），更新”与相邻概念对比”表新增 CALM 列，更新时间线涵盖 DiTAR/AudioCALM
    • Wiki 目录 — 新增”连续值自回归（跨模态）“分组 + 最近更新
  • 核心洞察：GIVT（GMM 头，2023.12 初版）→ MAR（Diffusion Loss，2024.06）→ DiTAR（扩散头+语音，2025.02）→ AudioCALM（AR-Flow，2026.06），勾勒出一条从视觉到音频的”连续预测头替代离散 softmax”技术路线——两年内从类别条件图像生成演进到通用音频统一 SOTA

[2026-06-29] ingest | UniMoE-Audio — Dynamic-Capacity MoE 统一语音与音乐生成

  • 来源：raw/AI/音频生成/UniMoE-Audio/UniMoE-Audio - Unified Speech and Music Generation with Dynamic-Capacity MoE.pdf
  • 新建页面：资料摘要：UniMoE-Audio
  • 更新页面：MoE（混合专家）（Dynamic-Capacity MoE / Top-P 路由 / 空专家 / Top-P vs A-MoME 对比）、音频生成（统一框架趋势）、Wiki 目录
  • 新增图表：UniMoE-Audio Dynamic-Capacity MoE 架构.excalidraw（Top-P 路由流程 + 三阶段训练课程）
  • 核心洞察：Top-P 动态路由 + 空专家实现弹性计算分配，三阶段课程解决模态冲突，~40k 小时数据取得与 10M 小时量级可比性能

[2026-06-29] ingest | AudioCALM — CALM 范式：连续自回归语言建模统一语音/音效/音乐

  • 来源：raw/AI/音频生成/AudioCALM/AudioCALM - Continuous Autoregressive Language Modeling for Universal Audio Generation.pdf
  • 新建页面：资料摘要：AudioCALM、CALM（连续自回归语言建模）
  • 更新页面：音频生成、音频生成、条件流匹配（CFM）、MoE（混合专家）、Wiki 目录
  • 新增概念：CALM（连续自回归语言建模）— 自回归 LM + 流匹配头融合范式，消除 codec 瓶颈
  • 新增图表：

    AudioCALM 架构图.excalidraw

    ⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

    Excalidraw Data

    Text Elements

    指向原始笔记的链接
  • 核心洞察：AudioCALM 开创了将自回归 next-token prediction 从离散 token 扩展到连续音频潜变量的新范式，通过 AR-Flow 块因果注意力 + A-MoME 非对称专家 + description-style conditioning，单一权重在语音/音效/音乐三类基准上均达 SOTA，且原生支持流式变长生成

[2026-05-26] lint | 全库巡检 + 修复

查阅页面：全部 59 个 wiki 页面 + 34 个 raw 文件

1. 死链（3 → 已修复 3）✅

  • 资料摘要：VoxCPM.md sources 字段 2 处引用 raw/ 文件路径 → 改为 [[🤖 AI/领域页/VoxCPM]]
  • Tokenizer-Free TTS.md related_concepts 中 [[语音离散编码（Speech Tokenization）]] → 改为纯文本并标注”待创建独立概念页”

2. 标签统一：TTS → 语音合成（6 处）✅

统一 TTS → 语音合成（AGENTS.md 一词一义规则），影响页面：

  • 概念/Tokenizer-Free TTS.md
  • AI/语音合成/VoxCPM.md
  • 资料摘要/资料摘要：VoxCPM.md
  • 概念/Diffusion Autoregressive 架构.md
  • 资料摘要/资料摘要：LongCat-AudioDiT.md
  • 资料摘要/资料摘要：UniSonate.md（保留 TTM/TTA 作为独立任务类型标签）

3. 知识库概览更新 ✅

  • 环境导航 节补全为可点击链接（大模型/音频生成/语音合成三大领域）
  • 更新 updated 时间戳

4. Wiki 目录格式修复 ✅

  • [[知识库概览]] 裸条目归类为”基础设施”并添加描述

5. 过时页面 ✅ 通过

无页面标记 易过时 标签。

6. 孤页 ✅ 通过

所有页面均至少有一个内容页面的入站链接（不含 Wiki 目录/操作日志）。

7. 标签规范 ✅ 通过（修复后）

  • 无 source 页面使用 概念 标签
  • 无同义词标签（TTS 已统一为 语音合成）
  • 所有概念页均有 概念 标签

8. 资料覆盖 ✅ 通过

raw/ 下 34 个内容文件全部有对应资料摘要页，无遗漏。

9. 概念覆盖 ⚠️ 建议（1）

  • 语音离散编码（Speech Tokenization） — Tokenizer-Free TTS 概念页提及，建议在覆盖更多相关论文后创建独立概念页

巡检总结

类别状态数量
死链✅ 已修复3 处
标签统一✅ 已修复6 处
知识库概览✅ 已更新1 处
Wiki 目录格式✅ 已修复1 处
过时页面✅ 通过0
孤页✅ 通过0
标签规范✅ 通过0
资料覆盖✅ 通过34/34
缺失概念💡 建议1（语音离散编码）
矛盾/冲突✅ 通过0

知识库规模

  • wiki/ 页面：59（20 概念 + 34 资料摘要 + 3 综合分析 + 2 领域/实体 + 3 基础设施 + 4 excalidraw = 66 含资产）
  • raw/ 资料：34 份（大模型 13 + 扩散模型 1 + 语音合成 5 + 音频生成 16）
  • 死链率：0%（0/N wikilinks）

[2026-05-26] ingest | GenAU — Taming Data and Transformers for Audio Generation

  • 来源：raw/AI/音频生成/GenAU - Taming Data and Transformers for Audio Generation.pdf
  • 新建页面：资料摘要：GenAU
  • 更新页面：音频生成（新增 GenAU 条目）、音频生成（概念页，补充 FIT 架构与数据质量洞察）、Wiki 目录
  • 新增概念：无（FIT/Q-Former 待多篇论文覆盖后提取）
  • 新增图表：

    GenAu 架构图.excalidraw

    ⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

    Excalidraw Data

    Text Elements

    指向原始笔记的链接
    （AutoReCap-XL 数据管道 + GenAu FIT 生成架构）
  • 核心洞察：GenAU 从数据+模型双轴系统性解决环境音频生成的缩放问题——AutoReCap-XL（47M 片段+AutoCap CIDEr 83.2）证明合成标注规模化可行，GenAu（FIT+1D-VAE 1.25B）验证了 FIT 骨干在音频扩散中的优势（比 UNet IS +16%、比 DiT IS+13%）。反直觉发现：仅扩大低质量数据无增益，标注质量与数量同等重要。

[2026-05-25] ingest | 批量摄取音频生成奠基性论文（MusicGen, DiffRhythm, AudioLDM, Tango）

  • 来源：
    • raw/AI/音频生成/MusicGen - Simple and Controllable Music Generation.pdf
    • raw/AI/音频生成/DiffRhythm - Blazingly Fast and Embarrassingly Simple End-to-End Full-Length Song Generation with Latent Diffusion.pdf
    • raw/AI/音频生成/AudioLDM - Text-to-Audio Generation with Latent Diffusion Models.pdf
    • raw/AI/音频生成/Tango - Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model.pdf
  • 新建页面：资料摘要：MusicGen、资料摘要：DiffRhythm、资料摘要：AudioLDM、资料摘要：Tango
  • 更新页面：音频生成（新增”奠基性工作”分区）、Wiki 目录
  • 新增概念：无
  • 新增图表：无
  • 核心洞察：四篇构成了音频生成的”地基”——MusicGen 代表 LM 路线先河（2023），AudioLDM 确立扩散路线 TTA 范式（ICML 2023），Tango 证明更好的文本理解（Flan-T5）可大幅节省训练数据（1/63），DiffRhythm 将扩散路线推向全曲生成极致（10秒4分45秒）。加上此前摄入的 2025-2026 前沿工作，知识库已完整覆盖音频生成从奠基到前沿的完整脉络。

[2026-05-25] ingest (增强) | UniSonate: 统一语音/音乐/音效生成的 Flow-Matching 框架

  • 来源：raw/AI/音频生成/UniSonate - A Unified Model for Speech, Music, and Sound Effect Generation.pdf
  • 新建页面：资料摘要：UniSonate
  • 更新页面：音频生成、音频生成（概念页）、DiT（Diffusion Transformer）（补充 MM-DiT 双流变体）
  • 新增概念：无（复用已有 CFM/DiT/FSQ/音频生成概念）
  • 新增图表：

    UniSonate MM-DiT 架构.excalidraw

    ⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

    Excalidraw Data

    Text Elements

    指向原始笔记的链接
    （MM-DiT 双流架构图）
  • 增强内容：Instruction-Content Alignment 范式命名、架构参数（14 Joint + 6 Single DiT / 1.34B / RoPE）、Dynamic Token Injection 数学公式（λ 因子）、多说话人对话机制（speaker-id token）、数据集细节、伦理考量
  • 核心洞察：联合训练产生正向迁移——语音+音乐+音效一起训练反而让 TTS WER 从 2.24% 降到 1.47%，打破了”多模态联合训练必然负迁移”的预设。Dynamic Token Injection 巧妙地将无结构音效”符号化”为伪音素，让 Transformer 用统一的离散符号推理处理全部音频模态。

每次 ingest / query / lint 操作的时间线记录。

[2026-07-02] ingest | 伊斯兰简史(1/3) · 伊斯兰的起源

  • 来源：raw/宗教/伊斯兰简史(1of3)-伊斯兰的起源.md（YouTube 视频 whisper 转录稿）
  • 原始视频：青蛙刀圣1993《穆斯林从何而来？追溯1400年前，伊斯兰的起源》
  • 新建页面：
    • 资料摘要：[[资料摘要：伊斯兰简史(1)-伊斯兰的起源]]（type: source, media: video）
    • 概念页（6 个）：[[亚伯拉罕诸教]]、[[古兰经]]、[[穆罕默德]]、[[伊斯兰五功]]、[[希吉拉]]、[[乌玛]]
  • 更新页面：无（首批宗教领域资料）
  • 新增概念：亚伯拉罕诸教、古兰经、穆罕默德（封印先知+社会改革家双视角）、伊斯兰五功（信仰替代血缘的社会机制）、希吉拉（622迁徙，伊斯兰历元年）、乌玛（穆斯林共同体蓝图）
  • 新增图表：Mermaid 时间线图（穆罕默德两阶段改革 610–632）嵌入资料摘要页
  • 核心洞察：用”三本书”续写+修正框架理解三大一神教递进关系；伊斯兰与基督教的关键差异根植于各自诞生时的政治环境（无政府部落 vs 罗马帝国行省）

[2026-06-16] lint | 巡检 + 修复

项目结果
死链1 处（资料摘要：VoxCPM sources 引用 raw PDF）— 已修复
孤页0
过时页面0
缺失概念1（KV Cache，GQA/MLA 多次提及）— 已创建概念页
标签问题5 个页面同时使用 TTS 和 语音合成（同义词）— 已统一
Frontmatter3 个基础设施页面缺少 sources/confidence — 已补全
资料覆盖28/28 raw 文件均已摄取
raw/ 收件箱空

修复详情：

  • 资料摘要：VoxCPM：sources 中 [[raw/.../VoxCPM_arXiv.pdf]] → [[🤖 AI/领域页/VoxCPM]]
  • 5 个页面：统一移除重复标签 TTS，保留 语音合成（VoxCPM 资料摘要/实体页/Diffusion AR/Tokenizer-Free TTS/LongCat-AudioDiT）
  • Wiki 目录/操作日志/知识库概览：补全 sources: [] 和 confidence: medium
  • 新建 KV Cache — 自回归推理核心优化，补充 GQA/MLA 的 related_concepts 为 wikilink
  • GQA/MLA 概念页：related_concepts 中纯文本 KV Cache → [[KV Cache]]

[2026-05-21] merge | 从 Maxwell-Mou-wiki 迁移 VoxCPM 内容

  • 来源：
    • raw/AI/语音合成/VoxCPM/VoxCPM_arXiv_2509.24650.pdf
    • raw/AI/语音合成/VoxCPM/VoxCPM_GitHub_README.md
  • 新建页面：
  • 新增图表：
  • 核心洞察：VoxCPM 通过可微分量化瓶颈实现 Tokenizer-Free TTS，在连续潜空间中端到端训练，VoxCPM2 以 2B 参数支持 30 语言、Voice Design 和 48kHz 输出，是开源 TTS 的重要里程碑。

[2026-05-17] ingest | B站视频：上帝视角拆解三年 LLM 架构演进

[2026-05-16] query | 了解 DiT 模型

[2026-05-09] ingest + synthesis | DiT 论文全景整理

  • 来源：raw/AI/扩散模型/DiT - Scalable Diffusion Models with Transformers.pdf
  • 新建页面：
  • 更新页面：
  • 新增概念：无（DiT 概念页已存在）
  • 核心洞察：DiT 论文脉络清晰分三阶段——原始 DiT 确立范式 (2022-23) → 多模态/视频扩展 (2023-24) → 效率优化+架构进化 (2024-26)；音频领域的 DiT 迁移（AudioX/LongCat/Fugatto）是重要的跨领域应用

[2026-05-08] ingest | 通用音频生成 10 篇论文批量摄取

[2026-05-04] refactor | raw/ 目录按领域拆分

将 raw/AI/ 下的 15 个文件按研究方向拆分：

  • raw/AI/大模型/ — 12 篇论文（LLaMA 系列、GPT-4/4o、Gemini、Claude 3、InstructGPT、DPO、DeepSeek-V2、Mixtral、Qwen2）
  • raw/AI/语音合成/ — 3 篇论文（CosyVoice 1/2/3）
  • Wiki 页面路径无需调整（wiki/ 按页面类型组织，不按领域）

[2026-05-04] lint-fix | 全库巡检问题修复

基于上一轮 lint 结果，执行以下修复：

死链修复（32 处 → 0）

  • A 类（12 个 sources 字段）：将所有资料摘要页 frontmatter sources 中的 raw PDF 文件名替换为有效 wikilink，交叉引用概念页和系列相关页面
  • B 类（22 处正文短名称）：[[GPT-4]] → [[资料摘要：GPT-4 Technical Report]]、[[Llama 2]] → [[资料摘要：Llama 2]] 等，统一使用完整页面名称
  • 移除 资料摘要：Qwen2 中的自引用 [[Qwen2]]

标签修复（5 处）

交叉引用补充

  • 在三篇 CosyVoice 资料摘要页添加 [[CosyVoice 系列对比]] 入站链接，消除弱连接
  • 通过 sources/related_concepts 修复自动补强了 Constitutional AI、多模态 LLM 等页面的入站链接

未修复项（有意保留）

  • KV Cache 作为 related_concepts 中的纯文本，等待独立概念页创建
  • PPO、SFT 保留为纯文本（通用 ML 概念，无需为本知识库创建独立页）
  • wiki/sortspec.md — Obsidian 排序配置，非 wiki 内容，无需处理

[2026-05-04] lint | 全库巡检

查阅页面：全部 32 个 wiki 页面 + 15 个 raw 文件

1. 死链（32 处）⚠️ 严重

A 类：sources 字段中链接到 raw 文件名（8 处） 以下页面在 frontmatter sources 中使用了 raw PDF 文件名作为 wikilink，这些文件不是 wiki 页面，链接无效：

这些 sources 字段应该改为指向资料摘要页的 wikilink（如 [[资料摘要：CosyVoice]]），或留空。

B 类：正文「相关」节使用短名称（24 处） 以下页面在正文/相关节中使用不存在的短名称 wikilink：

应统一为完整 wikilink 名称（如 [[资料摘要：Llama 2]]）。

2. 弱连接页面（4 个，接近孤页）⚠️ 中等

以下页面仅被 Wiki 目录 和/或 操作日志 链接，无其他 wiki 页面引用：

建议在相关概念/资料摘要页的「相关」节中添加对这些页面的引用。

3. 标签问题（5 处）⚠️ 中等

a) 概念 标签出现在 source 类型页面上（3 处）：

b) 同义词标签：TTS 和 语音合成 并存（2 种写法），应统一为 语音合成。

c) 资料摘要：CosyVoice tags 含 零样本，但该标签未在其他语音合成 source 页使用（不一致）。

5. 概念页 sources 字段为空（8 个）⚠️ 低

以下概念页 frontmatter 的 sources 为空，虽然正文中可能有引用：

6. 资料覆盖 ✅ 通过

raw/AI/ 下 15 个文件全部已摄取，无遗漏。

7. 概念覆盖 ⚠️ 建议

以下概念在多个页面中被提及但缺少独立概念页：

  • KV Cache — 在 MLA/GQA 的 related_concepts 中提及
  • DiT（Diffusion Transformer） — 资料摘要：CosyVoice 3 中提到 CFM 骨干升级为 DiT
  • SFT（监督微调） — CosyVoice 系列多次讨论 speaker fine-tuning

8. 其他

  • wiki/sortspec.md 和 raw/sortspec.md 是 Obsidian 排序配置文件，非 wiki 内容，无需处理。
  • 无过时页面（所有页面均在一周内创建/更新，无 易过时 标签触发）。

巡检总结

类别状态数量
死链（A类 sources）⚠️ 需修复10 处
死链（B类 短名称）⚠️ 需修复22 处
弱连接页面⚠️ 关注4 个
标签问题⚠️ 需修复5 处
related_concepts 格式⚠️ 建议统一8 个页面
概念页 sources 为空⚠️ 建议补充8 个页面
缺失概念页💡 建议3 个
资料覆盖✅ 通过15/15
过时页面✅ 通过0

最紧迫的问题是 32 处死链，其中 A 类（sources 字段引用 raw 文件名）是早期批量导入时的遗留格式问题，B 类是跨页面引用使用了不规范的短名称。建议统一批量修复。

[2026-05-04] ingest | CosyVoice 1/2/3 三篇论文批量摄取

  • 来源：
    • raw/AI/CosyVoice - A Scalable Multilingual Zero-shot TTS based on Supervised Semantic Tokens.txt
    • raw/AI/CosyVoice 2 - Scalable Streaming Speech Synthesis with Large Language Models.txt
    • raw/AI/CosyVoice 3 - Towards In-the-wild Speech Generation via Scaling-up and Post-training.txt
  • 新建页面：
  • 新增概念：
  • 新增图表：无（架构图均为论文内嵌，建议后续生成 Excalidraw 架构演变图）
  • 新增综合分析：CosyVoice 系列对比 — 三代演进全景对比
  • 核心洞察：阿里通义 CosyVoice 三代演进沿着清晰的技术轴线——tokenizer（VQ→FSQ→多任务 MinMo）→ 流式（因果流匹配）→ 规模化（100万小时/1.5B）→ 后训练（DPO→DiffRO），代表了 LLM-based TTS 从实验室到工业级产品的完整路线图

[2026-05-04] 概念提取 | 批量创建 7 个概念页

[2026-05-04] 批量 ingest | 11 篇大模型关键论文

[2026-05-04] 深层补充 | InstructGPT 技术细节补充

  • 来源：raw/AI/InstructGPT - Training language models to follow instructions with human feedback.pdf
  • 补充内容：PPO 完整超参数表 / SFT+RM+RLHF 三层训练细节（含分模型大小的 LR/batch/epoch） / Table 6 精确数据量拆分 / 标注员一致性 72.6%~77.3% / RM 5-fold CV 泛化 / 7 项消融实验 / 对齐计算开销
  • 核心洞察：预训练数据混合 γ=27.8 是缓解对齐税的关键，仅增大 KL 系数无法恢复退化；人类偏好信号本身有 ~30% 固有不确定性

[2026-05-03] deep ingest | InstructGPT PDF 全文深度摄取

  • 来源：raw/AI/InstructGPT - Training language models to follow instructions with human feedback.pdf
  • 方法：PyMuPDF 提取 68 页全文
  • 更新页面：资料摘要：InstructGPT（补充 SFT 超参、RM 6B 细节、PPO-ptx 变体、数据集统计、标注员人口统计、局限性分析）
  • 更新页面：RLHF（人类反馈强化学习）（补充标准实现细节、标注员偏差说明、RM 规模选择、与相邻概念对比）
  • 新增图表：-
  • 核心洞察：InstructGPT 的技术细节揭示 RLHF 的工程权衡 —— SFT 过拟合反而有用、RM 并非越大越好（175B 不稳定）、标注员群体偏差（40 人、英语为主、东南亚裔过半）是当前 RLHF 方法的内在局限。

[2026-05-09] lint | 全库巡检

死链（2，已修复）

孤页（1）

  • 音频生成 — 仅 Wiki 目录 链接，无其他内容页面入站。建议从概念页或资料摘要页添加反向链接。

过时页面（0）

  • 无页面标记 易过时 标签。

缺失概念（3）

  • DiT（Diffusion Transformer） — AudioX、Fugatto、LongCat-AudioDiT、CosyVoice 3 均使用 DiT 骨干，操作日志此前已标记。
  • PPO（近端策略优化） — RLHF 核心组件，RLHF（人类反馈强化学习） related_concepts 提及，InstructGPT 深度涉及。
  • SFT（监督微调） — 对齐训练基础步骤，RLHF（人类反馈强化学习） related_concepts 提及。

标签规范（2）

  • 知识库概览、Wiki 目录、操作日志 缺少 type frontmatter（基础设施页面，影响低）。
  • wiki/sortspec.md 非 wiki 页面（Obsidian 排序配置），不应纳入巡检范围。

资料覆盖

  • 全部 25 份 raw/ 资料均已有对应资料摘要页。✓

风格不一致（1）

  • [[🤖 AI/概念/音频生成]]（路径式，10 处）与 [[音频生成]]（标题式，4 处）共存，均有效但风格不统一。建议统一为标题式 [[音频生成]]。

知识库规模

  • wiki/ 页面：43 个（含 13 概念 + 25 资料摘要 + 2 领域/综合 + 3 基础设施）
  • raw/ 资料：25 份（大模型 12 + 语音合成 3 + 音频生成 10）
  • 标签：内容类 3（概念/深度/综述）、元标签 3（基础/进阶/长青）、领域类 ~25
  • 死链率：0.7%（2/280+ wikilinks），健康

[2026-05-09] fix | 巡检问题修复

死链修复（2）

新建概念页（3）

修复页面

[2026-06-04] ingest | MOSS-SoundEffect v2

  • 来源：raw/AI/音频生成/MOSS-SoundEffect/（v2 README + v1 模型卡，OpenMOSS/MOSS-TTS 仓库；无 arXiv，PDF 缺位故保存官方 markdown 原件）
  • 新建页面：资料摘要：MOSS-SoundEffect v2
  • 更新页面：DiT（Diffusion Transformer）（来源+应用表+相关）、条件流匹配（CFM）（来源+演进时间线+相关）、音频生成（16→17 篇，扩散路线表新增一行）、Wiki 目录
  • 新增概念：无（复用 DiT / 条件流匹配）
  • 新增图表：MOSS-SoundEffect v2 架构图.excalidraw（text→Qwen3→DiT/Flow Matching→DAC VAE→波形 流水线 + v1/v2 对比面板）
  • 核心洞察：MOSS-SoundEffect 的 v1→v2 演进（离散 token 自回归 MossTTSDelay → DiT+Flow Matching 连续潜空间扩散）是音频生成领域”扩散/流匹配回潮”的又一例证，与 CosyVoice 3、UniSonate、LongCat-AudioDiT 同向；差异在于它是开源、生产级、双语的专用音效模型。暂无公开评测（arXiv 待发布），故标 confidence: medium。

[2026-06-05] ingest | Stable Audio 3

  • 来源：raw/AI/音频生成/Stable Audio 3 - Technical Report.pdf（arXiv 2605.17991，2026-05-18，Stability AI；PyPDF 提取全文 26 页）
  • 新建页面：资料摘要：Stable Audio 3
  • 更新页面：音频生成（17→18 篇，扩散路线表 + 关键概念）、DiT（Diffusion Transformer）（来源+应用表+相关）、条件流匹配（CFM）（来源+演进时间线+相关）、音频生成（来源+少步生成路线+相关）、Wiki 目录
  • 新增概念：对抗后训练（Adversarial Post-Training） — 真实数据上对抗微调实现少步扩散生成（ARC / ADD 谱系）
  • 新增图表：Stable Audio 3 架构图.excalidraw（SAME 编码器→扩散 Transformer→SAME 解码器 数据流 + 三条件注入 + 三阶段训练流水线面板）
  • 核心洞察：Stable Audio 3 把图像域的两条经验迁移到音频——① 高维语义结构潜空间（RAE→SAME，4096× 压缩）利于扩散收敛；② 对抗后训练 + 少步采样（8 步 Ping-Pong、无 CFG）。叠加原生变长生成与 inpainting 编辑，在合规数据上做到开源音乐/音效双 SOTA 且可在 MacBook/消费级 GPU 运行，是「潜空间扩散回潮」中工程完成度最高的代表作之一。

[2026-06-05] ingest | Dasheng AudioGen

  • 来源：raw/AI/音频生成/Dasheng AudioGen - A Unified Model for Generating Coherent Audio Scenes from Text.pdf（arXiv 2605.27838，2026-05-27，小米 MiLM Plus + 上海交大 X-LANCE；PyPDF 提取全文 14 页正文）
  • 新建页面：资料摘要：Dasheng AudioGen
  • 更新页面：音频生成（18→19 篇，统一基础模型表新增一行）、DiT（Diffusion Transformer）（来源+应用表+相关）、条件流匹配（CFM）（来源+演进时间线+相关）、音频生成（来源+统一/语义-声学潜空间趋势+PAFI）、Wiki 目录
  • 新增概念：无（复用 DiT / 条件流匹配 / 音频生成）
  • 新增图表：Dasheng AudioGen 架构图.excalidraw（多视图字幕→T5→flow-matching DiT→DashengTokenizer 解码→混合音频 数据流 + 训练编码器分支）
  • 核心洞察：首个非自回归、专为「连贯混合音频场景」（语音+音乐+音效同段）设计并评测的统一 TTA。两大设计——结构化多视图字幕（6 视图特殊 token，细粒度分层监督 + agentic 兼容）与高维语义-声学统一潜空间（DashengTokenizer 1280维@25Hz），使一个简单 flow-matching DiT 即在混合场景大幅超越专家流水线（SMA FAD 2.17 vs 6.38）。与 Stable Audio 3 的 SAME 同期印证「高维语义-声学潜空间 > 低维 VAE」。

[2026-06-05] ingest | MCLP（角色扮演 TTS）

  • 来源：raw/AI/语音合成/Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability.pdf（arXiv 2601.22661 v2，2026-05-27，ICML 2026；StepFun + 中科院自动化所 + 北航；PyPDF 提取全文 15 页）。来源经 ICML 海报页 icml.cc/virtual/2026/poster/63266 反查得 arXiv PDF。
  • 新建页面：资料摘要：MCLP（角色扮演 TTS）
  • 更新页面：资料摘要：DeepSeek-V2（GRPO 节加概念页链接）、DiffRO（可微奖励优化）（相关+MCLP/GRPO 反链）、Wiki 目录
  • 新增概念：GRPO（组相对策略优化） — 去 Critic 的 PPO 变体（来源：DeepSeek-V2 + MCLP，复用已有提及）
  • 新增图表：MCLP GRPO 奖励循环.excalidraw（actor 采样 G rollouts → MCLP 风格奖励 / CER 内容约束 → 门控复合 → GRPO 更新 闭环）
  • 核心洞察：把抽象的「说话风格一致性」转化为基于 LALM 上下文似然的可计算指标（MCLP）+ 可优化奖励，再以 GRPO + 门控复合奖励（MCLP 风格 + CER 内容，CER>τ 清零防奖励黑客）优化角色扮演 TTS。风格 MOS 3.576 远超最强基线 2.86。是「LALM 即评测器/奖励器」思路在表现力语音合成的落地，与 DiffRO 同属 TTS 奖励驱动后训练潮流。

[2026-06-05] lint | 全库巡检 + 修复

查阅范围：69 个 wiki 页面 + 8 张 Excalidraw + 39 份 raw 资料。

1. 死链（3 真实 → 已修复 3）✅

  • [[资料摘要：InstructAudio]]（资料摘要：UniSonate 相关节）→ 该前身论文未摄取，改为纯文本注明「尚未摄取」。
  • [[S³ Tokenizer]]（本日志 2026-05-09 fix 条目）→ 修正为全名 [[S³ Tokenizer（监督语义语音分词器）]]。
  • [[资料摘要]]（本日志 2026-05-09 lint 条目，泛指）→ 去链接化为纯文本。
  • 说明：本日志另有约 33 处「死链」为历史 lint 记录中反引号转义的引用（如 [[GPT-4]]），Obsidian 渲染为代码而非断链，不计入；![[*.excalidraw]] 嵌入均解析正常。

2. 孤页（0）✅

  • 全部内容页均有入站链接，无孤页。

3. 过时页面（0）✅

  • 无 易过时 标签且超 30 天未更新的页面。

4. 资料覆盖（38/38）✅

  • 全部 39 份 raw 文件（MOSS-SoundEffect 为 2 文件→1 页）均有对应资料摘要页，覆盖率 100%。

5. Frontmatter 规范（0 问题）✅

  • 69 页全部具备 type / tags / created / updated 字段，格式统一。

6. 概念覆盖（1 建议）💡

7. 标签规范（2 低优先观察）⚠️

  • 深度(19，内容类型) 与 深度学习(12，领域) 并存，含义不同但易混淆；建议保持但注意区分。
  • 单次使用的机构/英文缩写标签：天大/快手/清华、TTA/TTM/Flow Matching——与中文领域标签风格不一，影响低，暂保留。

巡检总结

类别状态数量
真实死链✅ 已修复3
孤页✅0
过时页面✅0
资料覆盖✅38/38
Frontmatter✅0 问题
缺失概念💡 建议1（LALM）
标签观察⚠️ 低2

知识库整体健康：69 页、零孤页、零过时、资料 100% 覆盖、死链率 ~0（修复后）。唯一明确缺口是 LALM 概念页，建议后续补建。

[2026-06-05] ingest | MOSS-Audio-Tokenizer + MOSS-TTS（OpenMOSS 家族）+ 补建 LALM 概念页

[2026-06-15] query | 哪篇音效论文支持结构化 caption 与事件发生时间

[2026-06-15] query | AudioX 论文 PDF 中结构化 caption 与 timestamp 位置

  • 查阅页面：资料摘要：AudioX、Wiki 目录
  • 查阅原始资料：raw/AI/音频生成/AudioX/AudioX - A Unified Model for All Audio Generation Tasks.pdf
  • 结果：已回答；定位到 PDF 第 4 页 Sec.3 Dataset Process（structured fields）、第 8 页 Table 2（T2A-bench/AudioTime timestamp 指标）、第 17-18 页 Appendix A.1.2（SED timestamps 样例与由 SED 生成 caption）、第 19 页 Appendix A.2（AudioTime Timestamp/onset-offset 指标）、第 20-21 页 Appendix A.3（category+timestamp prompt 与 TS-acc 定义）。

[2026-06-15] query | 翻译 AudioX Appendix A.1.2 IF-caps 数据集细节

  • 查阅页面：资料摘要：AudioX
  • 查阅原始资料：raw/AI/音频生成/AudioX/AudioX - A Unified Model for All Audio Generation Tasks.pdf
  • 结果：已回答；翻译 Appendix A.1.2 “Further Details on the IF-caps Dataset”，重点保留 caption、category、SED、time_relation 字段及 SED/time relation 生成增强 caption 的样例。

[2026-06-15] query | AudioX 是否能按 prompt 控制时长、顺序与语音生成

  • 查阅页面：资料摘要：AudioX、资料摘要：Dasheng AudioGen、资料摘要：UniSonate
  • 查阅原始资料：raw/AI/音频生成/AudioX/AudioX - A Unified Model for All Audio Generation Tasks.pdf、raw/AI/音频生成/Dasheng AudioGen - A Unified Model for Generating Coherent Audio Scenes from Text.pdf、raw/AI/音频生成/UniSonate - A Unified Model for Speech, Music, and Sound Effect Generation.pdf
  • 结果：已回答；资料摘要：AudioX 对通用音频/音效事件支持事件级 count/order/timestamp/duration 指令评测，但不是严格 TTS；语音文本内容与字/句级时间控制更接近 资料摘要：Dasheng AudioGen 的 <|asr|>/<|speech|> 或 TTS 专用模型，但 Dasheng 仍是固定 10s 且无显式事件 start/end schema。

[2026-06-15] ingest | AudioX-Turbo

  • 来源：raw/AI/音频生成/AudioX/AudioX-Turbo - A Unified Framework for Efficient Anything-to-Audio Generation.pdf（arXiv 2606.12555 v1，2026-06-10；HKUST + Tsinghua + Noiz AI 等；PyPDF 提取全文 24 页）+ raw/AI/音频生成/AudioX/AudioX-Turbo README.md（GitHub 原始 README）。按知识分组规则新建 raw/AI/音频生成/AudioX/，并将原 AudioX PDF 归入同主题文件夹；wiki 摘要归入 wiki/资料摘要/AudioX/。
  • 新建页面：资料摘要：AudioX-Turbo、分布匹配蒸馏（DMD）
  • 更新页面：资料摘要：AudioX（补充 AudioX-Turbo 后续关系）、音频生成（19→20 篇，统一基础模型表新增 AudioX-Turbo）、音频生成（少步/实时化趋势）、条件流匹配（CFM）（Flow Matching 版 DMD 蒸馏）、DiT（Diffusion Transformer）（AudioX-Turbo MMDiT 应用）、对抗后训练（Adversarial Post-Training）（DMD+判别器相邻路线）、知识库概览、Wiki 目录
  • 新增概念：分布匹配蒸馏（DMD） — 用教师 score 与学生诱导分布 score 差异训练少步生成器，AudioX-Turbo 将其适配到 Flow Matching。
  • 新增图表：AudioX-Turbo 加速框架.excalidraw（多模态条件→MAF→AudioX-Base 教师 / 4-step 学生 / fake model / diffusion discriminator→DMD+对抗损失→输出与效率）
  • 核心洞察：AudioX-Turbo 把 AudioX 的“统一 anything-to-audio”问题推进到“统一且高效”——先用 MMDiT+MAF 训练 AudioX-Base 教师，再通过 Flow Matching 版 DMD + diffusion-based discriminator 蒸馏为 4-step CFG-free 学生；IF-caps-Pro 扩展到约 9.2M 结构化样本。其边界同样清晰：10 秒短 clip、speech 未覆盖、极端 timestamp 指令仍会退化。

[2026-06-16] query | MusicGen 和 AudioGen 是否是 RVQ+LLM 架构

[2026-07-03] lint | 知识库巡检

[2026-07-07] lint | 知识库巡检

  • 死链：内容页面（概念/资料摘要/综合分析/领域页）0 真实死链。仅 [[Wiki 目录]] 中 1 处历史条目 [[On-Policy Distillation 三种后训练方法对比|Excalidraw 对比图]] 缺 .excalidraw 后缀，为软断链（可选修复）。操作日志.md 内约 40 处「死链」经核实全部为历史 lint 记录中反引号转义引用（渲染为代码）或格式模板占位符（[[raw/...]]、[[资料摘要]] 等），不计入。
  • 孤页：0 — 所有 wiki 内容页均有入站链接。
  • 过时页面：0 — 标记 易过时 的页面均在 30 天窗口内。
  • 资料覆盖：100% — raw/ 下 52 份资料全部有对应资料摘要页；raw/收件箱/ 为空，无待摄取资料。
  • 标签规范：0 未打标签页面；无重复/别名标签。标签碎片化依旧偏高（约 65 个唯一标签，其中约 30 个仅用 1 次，如 快手/天大/清华/TTM/TTA 等机构与细分标签），建议后续做一次标签合并。
  • 缺失概念（Explore 研判，≥3 处提及且无独立页）：
    • CFG（无分类器引导） — 13 处提及，音频扩散/流匹配论文推理与训练核心手段，价值高
    • 神经音频编解码 / RVQ（残差矢量量化） — 11 处，可与待建的「语音离散编码」合并为大页
    • CLAP（对比语言-音频预训练） — 12 处，既是对齐编码器/损失又是评测指标
    • （可选）音频潜空间 VAE — 14 处但含义分散
    • 「语音离散编码（Speech Tokenization）」仍为待建（2026-05 已记录）
  • 矛盾检查：未发现跨页相互矛盾的事实性声明（抽核 CosyVoice 三代×对比页、VoxCPM、DiT、AudioX 系列、Mixtral/MoE、Llama 2/3、连续值 Token AR 簇，参数量/性能/归类均一致）。唯一小瑕疵：资料摘要：Llama 2 正文提「34B/70B 采用 GQA」但同页参数表未列 34B（34B 未公开），属页内叙述小不一致，非跨页矛盾。
  • Canvas：无 .canvas 文件，暂无知识关系地图。
  • 结论：知识库健康度良好，无死链/孤页/过时/覆盖缺口。可选优化项按优先级：① 新建 CFG / RVQ / CLAP 概念页；② 标签合并去碎片；③ 修 Wiki 目录 的 excalidraw 软断链 + Llama 2 页内小瑕疵。

[2026-07-07] ingest | 补建三个高频缺失概念页（CFG / RVQ / CLAP）

  • 来源：无新 raw 资料，基于 lint 发现的高频缺失概念（跨 13/11/12 处提及）+ 训练知识，交叉引用现有资料摘要
  • 新建页面：
  • 更新页面：音频生成（related_concepts + 相关 + 评测行链接）、LALM（大型音频语言模型）（RVQ 链接）、对抗后训练（Adversarial Post-Training）（CFG/CLAP 链接）、条件流匹配（CFM）（CFG 链接）、Wiki 目录（概念区新增 3 条）
  • 新增概念：CFG、神经音频编解码（RVQ）、CLAP
  • 核心洞察：三者是音频生成领域的横向知识轴——CFG 管「条件引导与少步化代价」、RVQ 管「离散化前端」、CLAP 管「跨模态对齐与评测」，补齐后音频生成领域的交叉引用网络显著更完整。三新页分别获 5/3/3 个入站引用，无孤页，无新增死链。

[2026-07-07] lint | 标签合并去碎片 + 两处小修

  • 标签合并（保守、零信息损失）：
    • 删除机构标签 快手/天大/清华（仅 3 页、无统一机构标注体系，信息已在正文）
    • TTA → 删除（页面已有 音频生成，重复）
    • TTM → 音乐生成（统一为已有领域标签）
    • 图像生成 → 视觉生成（真同义词，统一为 raw 领域目录用名；影响 DiT 论文全景、资料摘要：DiT）
    • 单次使用标签由 22 降至 17；刻意保留 位置编码/归一化/量化/流式/个性化/可控生成/数据集 等有意义的分类轴（删除会损失可检索性）
  • 两处小修：
    • Wiki 目录：On-Policy Distillation 三种后训练方法对比 链接补 .excalidraw 后缀，软断链修复
    • 资料摘要：Llama 2：补注 34B 已训练但 Meta 未公开发布（澄清引言「开源系列 7B/13B/70B」与表格含 34B 的表面出入——实为发布策略而非矛盾）
  • 结论：标签碎片化缓解，全库仍 0 空标签页面；正文措辞未受影响。

[2026-07-07] ingest | MusicGen（升级占位摘要为通读全文版）

  • 来源：raw/AI/音频生成/MusicGen - Simple and Controllable Music Generation.pdf（NeurIPS 2023，17 页全文通读）
  • 背景：资料摘要：MusicGen 原为 2026-05-25 批量摄取时的占位版（内容偏薄、无图、sources 空）；本次通读 PDF 后重写为完整摘要
  • 更新页面：
    • 资料摘要：MusicGen — 补齐 codebook 交错模式（flatten/delay/parallel 数学框架 + 消融数据表 4）、EnCodec 参数（50Hz/4×2048）、三档规模消融、旋律 chromagram argmax 瓶颈、立体声零成本微调、记忆化实验、完整训练/评测设置；交叉链接 RVQ/CLAP/CFG 概念页
    • Wiki 目录 — MusicGen 条目描述增补「Delay Pattern 去级联 + 双条件」
  • 新增图表：MusicGen 架构与 Codebook 交错模式.excalidraw（主流程 + 4 种交错模式 FAD 对比 + 规模/立体声要点）
  • 核心洞察：MusicGen 的真正贡献不是”用 LM 生成音乐”，而是把 K 路 RVQ token 的排布抽象为通用交错模式——Delay Pattern 以 1/4 的序列长度（1500 vs 6000 步）逼近扁平化的最佳质量，用一个单阶段 Transformer 替代了 MusicLM 式的多模型级联。RVQ/CLAP/CFG 三概念页此前已预链接本页，本次补全其反向内容与图示。

[2026-07-07] query | MusicGen 全文精读（引言/方法/实验）+ 标记已读

[2026-07-07] query | Bagpiper 全文精读（摘要/引言/方法/codec/采样）+ 标记已读

  • 查阅页面：资料摘要：Bagpiper
  • 结果：已回答——逐节解读 abstract / introduction / method（2.1–2.3）；澄清多个机制：①理解模板中 Caption 后接 CoT 的用意 = 解耦「感知（caption）」与「推理（CoT）」，CoT 由文本 LLM（Qwen3-235B/GPT-OSS-120B）从真值 caption 纯文本合成、呈 User Intent→Key Evidence→Inference→Plan 四段式；②Gumbel Top-k = 加权无放回采样，温度控贪心/多样；③codec 为直接 adopt 的 X-Codec 8 层（非自训、非16层），论文不涉 codec 重构质量
  • 联网核查：主页 bagpiper-cmu.github.io 目前仅 demo 站，权重/数据/代码均未开源；但 600B 数据原料几乎全为公开 HF 数据集
  • 页面变更：资料摘要：Bagpiper 标记 read: true + read_date: 2026-07-07；新增「对话洞见」小节（用户疑问 CoT/Gumbel Top-k、批判性判断、数据开源状态、codec 与音效重构延伸线索）

[2026-07-07] query | DashengTokenizer 摘要/引言/方法精读 + 标记已读

  • 查阅页面：资料摘要：DashengTokenizer
  • 结果：已回答——逐节解读 abstract / introduction / methodology（公式 1–5 + Table 2 架构）；澄清两个机制：①”高维/低维”指特征向量宽度（channel 维），非信息量——语义编码器输出宽向量（1280 维）但时间粗，声学 codec latent 刻意压成窄瓶颈；②[B] Acoustic Tokenizer + Semantic Distillation 的实现（冻结语义老师蒸馏进 RVQ 第一层 Q₁、分阶段训练、有损量化 + train-test 失配两大硬伤）
  • 页面变更：资料摘要：DashengTokenizer 标记 read: true + read_date: 2026-07-07；新增「对话洞见」小节（用户疑问：维度方向/[B] 实现机制；批判性判断：加法融合+L_sem 缰绳是”两头都赢”支点、“One layer” 指训练之简非体量之小）

[2026-07-08] read | 标记 MAR 为已读

  • 页面：wiki/资料摘要/资料摘要：MAR.md
  • 变更：frontmatter 写入 read: true / read_date: 2026-07-08；updated 更新为 2026-07-08
  • 新增：「对话洞见」小节（Intro/Method 解读中厘清的核心论证链、MAR vs latent diffusion、MAR vs MAGE 温度差别、批判性判断与延伸线索）
  • 核心洞察：自回归管 token 间依赖、扩散只管单 token 分布——离散 token 非必需，只需损失函数 + 采样器

[2026-07-08] ingest | SD3（MMDiT）

[2026-07-09] read | 标记 SD3（MMDiT）为已读

  • 页面：wiki/资料摘要/资料摘要：SD3（MMDiT）.md
  • 变更：frontmatter 写入 read: true / read_date: 2026-07-09；updated 更新为 2026-07-09
  • 新增：「对话洞见」补充「通读时厘清的核心理解点（2026-07-09）」7 条
  • 核心洞察：MM-DiT 的”图像输入”不是目标图而是带噪潜表示 z_t（推理从纯噪声起步逐步去噪）；时间步经正弦编码→MLP→融入 c_vec→AdaLN 逐层调制；文本双路（pooled 走调制、序列走注意力）；MM-DiT=两套独立权重仅在注意力汇合；(1+scale)/AdaLN-Zero 的零初始化恒等启动稳训练

关系图谱

反向链接