7天连续学习120 XP
博客 / 学习与记忆

SuperMemo 与 FSRS:原作者如何比较算法

三十多年来,SuperMemo World一直是间隔重复研究领域无可争议的领先者。我们的算法源自持续不断、以科学为导向的改进过程,以数百万次学习会话的数据为基础。最近,我们注意到一个令人担忧的趋势:公共讨论中充斥着虚假的基准测试与误导性主张,主要围绕开源FSRS算法展开。现在是时候为这场讨论带来严谨、科学的澄清了。当前的叙事不仅不正确,在方法论上也存在缺陷。你不能靠移动终点线来赢得比赛。

学习方法SuperMemo约 5 分钟
返回文章目录
本文目录

三十多年来,SuperMemo World一直是间隔重复研究领域无可争议的领先者。我们的算法源自持续不断、以科学为导向的改进过程,以数百万次学习会话的数据为基础。最近,我们注意到一个令人担忧的趋势:公共讨论中充斥着虚假的基准测试与误导性主张,主要围绕开源FSRS算法展开。现在是时候为这场讨论带来严谨、科学的澄清了。当前的叙事不仅不正确,在方法论上也存在缺陷。你不能靠移动终点线来赢得比赛。

广泛流传的“FSRS更优”主张,甚至进入了一篇博士论文,但这些主张的基础是存在缺陷的比较。它们依赖Log Loss或AUC等机器学习指标。这些指标有助于模型训练,却完全不适合衡量间隔重复算法的校准精度。

我们花了数十年开发算法,如今正在完善唯一真正重要的基准:通用指标(Universal Metric)。

这个指标只衡量一件事:算法预测的记忆稳定性,与通过实证观察得到的稳定性之间的差异。完美算法的得分应为0%。没有借口,也没有其他解释。它是我们这个领域对真实情况毫不妥协的衡量标准。

将这一通用指标用于高质量学习数据时,结果清楚明确,不言自明:

  • SM-19算法:1%—3%。
  • SM-20算法:一种以SuperMemo关于大脑和记忆的专家知识为基础的新AI算法,仍在开发中。其结果正在接近SM-19,在结构良好的材料上甚至接近0%。
  • FSRS,经过优化:15%—20%。

我们必须说清楚:15%—20%的错误率称不上“更优”,也称不上“有竞争力”。它明确表明,预测准确性存在显著差距。把这些结果说成旗鼓相当,是一种应当立即停止传播的“科学迷因”。

现有主流比较中的缺陷并非细枝末节,而是根本性问题:

  1. 它们使用了错误的基线。早期比较把FSRS与“R(SM17)(exp)”作比较。后者是一种理论上的指数近似,而不是SM-17算法实际的动态预测。这就像与一位世界级运动员的雕像比赛,然后声称击败了这位运动员。
  2. 它们的数据集小得可怜。仅凭16个知识库就得出宏大结论,在统计上是短视的。我们的工作得到了数百万人的学习历程验证。
  3. 它们忽视实时优化。现代SuperMemo算法会在每一次复习后即时调整模型。

我们并不否定FSRS背后的工作。它是值得肯定的开源成果,与SM-2等早期算法相比,也有明显改进。但声称它超越了40年的专门研究,不仅夸大其词,也有负于那些寻找最有效工具的学习者。

行动倡议:我们向整个间隔重复社区,包括研究者、开发者和认真学习的人,发出挑战:采用通用指标,作为衡量算法性能唯一可靠的基准。不要再把不同的东西混为一谈。不要再把训练指标当作性能指标。

以上是 SuperMemo 作者基于其初步测试和所选指标提出的比较观点,不能据此推断 Deckumi 的学习效果。备考时,可以先在 Deckumi 中把重点整理成问答卡,练习主动回忆;讨论自动调度方案时,FSRS 是可研究的开源算法。Deckumi 当前的闪卡自评不等于已经接入 FSRS 或 SM-19、SM-20。

SuperMemo World的使命一直是尽量减少学习时间,让终身知识积累尽可能丰富。这个使命建立在科学诚信之上,而不是靠有缺陷的方法赢得人气竞赛。

前进的道路很清楚:采用严谨的基准,要求客观的比较。让通用指标引领间隔重复的未来,这样我们就能共同关注真正重要的事:学习质量,以及学习在科学中的新应用。深入理解人类记忆形成过程,是突破人工神经网络持续学习障碍的关键,也是迈向超级智能的第一步。

Krzysztof Biedalak,首席执行官

原文

创建闪卡返回文章目录