音乐：自动识别音准与速度的工具调研（含 deeppiano.com）

TL;DR

• 定义：这里将“音乐”聚焦为“对演奏/演唱音频做音准（pitch）与速度/节拍（tempo/beat）自动分析与评分”；deeppiano.com 的具体能力与隐私条款目前无法在线核验。
• 如果你只是想“看自己弹得准不准/快不快”，优先用 3–5 段短样本试用 deeppiano.com，并记录它输出的指标（如 cent 偏差、BPM、稳定性曲线）与是否可导出（CSV/JSON/MIDI）。
• 若需要可控/可复现/不上传录音：用开源组合实现同类能力（librosa/Essentia + CREPE/pYIN + madmom），钢琴再补“转谱→对齐→评分”（Magenta Onsets & Frames 或 Spotify Basic Pitch）。

Key Insights

• “音准”需要先定口径：无参考谱时只能估计瞬时音高与抖动；有参考（MIDI/乐谱或目标录音）才能判定“错音/跑调”并定位到音符级。
• “速度”常被混用：BPM（整体速度）、beat tracking（每拍位置）、timing deviation（与参考对齐后的提前/滞后）；自由速度（rubato）要用对齐算法（DTW）否则BPM意义有限。
• 钢琴是多音高（polyphonic）+ 踏板共振：单音高跟踪容易被和弦/泛音干扰；更稳的路线是“音符级转谱（note events）→与参考MIDI对齐→统计错音与时值偏差”。
• 在线工具的成败多取决于产品约束：上传与存储、是否用于训练、长音频限制、导出与API能力；这些决定能否融入长期练习记录流程。

Playbook

• 需求定标：明确对象（钢琴/人声/其他）、是否有参考谱（MIDI/MusicXML/目标录音）、反馈粒度（总分/小节/音符）、实时（<200ms）或离线。
• 建立“真值”测试集：10–20 段音频（每段30–60秒，含慢/快/和弦/踏板），同时保留参考MIDI或在DAW中导出点击轨/节拍标注；统一采样率(44.1k/48k)与响度。
• 对比评测输出：为每段生成(1) pitch曲线(Hz/cent)、(2) BPM与beat序列、(3) onset/音符列表；用 mir_eval 计算 pitch MAE、voicing F1、beat F-measure、onset F1，并记录失败场景（踏板、密集和弦、噪声）。
• 落地形态：若 deeppiano 输出可导出且准确率达标则直接集成；否则用本地流水线（Python + FFmpeg）封装CLI/网页，保留可替换模型接口（便于后续换 pitch/beat/transcription 模型）。

Expert Views

• 开源音频算法工程师（paraphrase）：先用可复现的开源基线跑通指标与误差分析，再评估黑盒网站；否则难以定位问题与持续优化。
• 音乐教育教练（paraphrase）：学习反馈要“可行动”，比起一个总分，更需要指出错音位置、节拍提前/滞后区间，并给出针对性练习（慢速、分手、节拍器分层）。
• 数据隐私/合规顾问（paraphrase）：录音可能包含可识别信息；上传前应核对隐私政策、保存期限、删除机制与是否用于训练，必要时选择本地处理或做匿名化处理。
• 产品经理（paraphrase）：长期可用性取决于批量处理能力、导出格式（MIDI/JSON/CSV）、稳定性与成本；没有导出就很难沉淀练习数据资产。

Options

• 选项A：直接试用 deeppiano.com（“即用型”）。优势是上手快；核验点：是否支持钢琴多音、是否给出可解释指标、是否能导出、隐私条款与服务稳定性（目前无法在线核验）。
• 选项B：本地开源“音准+节拍”分析（“可控型”）。推荐组合：FFmpeg 预处理 + librosa/Essentia（特征/节拍）+ CREPE 或 librosa.pyin（音高）+ madmom（beat/onset）。
• 选项C：以“转谱”为核心做教学级评分（“音符级”）。钢琴优先 Magenta Onsets & Frames；通用多乐器可试 Spotify Basic Pitch；得到MIDI后与参考对齐，输出错音清单与节奏偏差统计。
• 分支：如果你的真实需求其实是“整理音乐素材/检索/自动标注”（另一种对“音乐工具”的定义），应转向 MIR 管线：分段、和弦/调式识别、风格/情绪特征（Essentia/Vamp插件），而非音准评分。

Evidence & Confidence

• “deeppiano.com 可自动识别音准速度等”仅来自当前随手记录：置信度 low（无法在线核验，需实测与核对条款）。
• librosa/Essentia/madmom 能完成节拍、onset、音高等基础分析：置信度 high（成熟开源库，文档与使用案例丰富）。
• 钢琴多音与踏板会显著增加音高/节拍估计难度，“转谱→对齐→评分”更适合教学反馈：置信度 medium（普遍经验，但具体量化依数据与模型）。
• Spotify Basic Pitch、Magenta Onsets & Frames 可输出MIDI用于后续对齐评测：置信度 medium-high（开源可复现，但在噪声/混响/复杂伴奏下效果差异较大）。

Next Steps

• 先锁定场景：钢琴还是人声？是否有参考谱/MIDI？要实时还是离线？这些会直接决定选项A/B/C哪条最省力。
• 立刻做一次“同样本对比”：用一段带节拍器的录音分别跑 deeppiano 与开源基线（librosa+CREPE+madmom），对比 BPM、拍点与音高曲线的一致性与可解释性。
• 若要长期使用：确定统一的数据格式与存储（MIDI/JSON/CSV + 原始音频链接），沉淀“录音→分析→报告→练习建议”的固定模板，之后只替换模型与阈值。

Sources

• deeppiano： https://deeppiano.com （功能/条款目前无法在线核验）
• librosa 文档： https://librosa.org/doc/latest/ ；Essentia： https://essentia.upf.edu/
• madmom（节拍/拍点/起音）： https://github.com/CPJKU/madmom ；CREPE（音高）： https://github.com/marl/crepe
• Spotify Basic Pitch（转谱）： https://github.com/spotify/basic-pitch ；Magenta Onsets & Frames（钢琴转谱）： https://github.com/magenta/magenta/tree/main/magenta/models/onsets_frames_transcription ；mir_eval（评测）： https://github.com/craffel/mir_eval