聚合性证据：在缺陷中进步
先前的讨论引出了心理学中一个至关重要的证据评估原则。这个原则有时被称作聚合性证据原则（或称聚合性操作原则）。科学家和科学知识的运用者常常需要判断大多数证据究竟说明了什么。在这种情况下，聚合性证据原则就成了一个重要的工具。我们将探索用两种方式来表述这个原则，一种是从实验局限性的角度，另一种是从理论检验的角度。
实验总是可能以各种方式出错的（用专门术语来说，就是变得混淆）。然而，对某个特定问题拥有丰富经验的科学家，通常对什么是最可能的混淆因素心中有数。因此，当对研究证据进行考察时，科学家常能察觉实验中的关键缺陷。所以，聚合性证据原则提示我们去审查相关研究文献中缺陷所呈现出的模式和规律，因为这一模式的性质要么支持、要么削弱我们想要得出的结论。
例如，假设大量不同实验的结果基本上支持某个特定结论。鉴于实验总是不完美的，我们将继续评估这些研究中局限性的程度和性质。如果所有实验都有相似的局限性，那么这将削弱我们对实验结论的信心，因为研究结果的一致性或许只是源于所有实验共有的某个缺陷。另一方面，如果所有实验的局限性各不相同，我们对结论的信心就会增加，因为研究结果的一致性不太可能是由某个混淆了所有实验的干扰因素所造成的。
每个实验都有助于纠正其他实验在设计方面的偏差，当大量实验的证据指向类似的方向时，实验证据就有了聚合性。尽管没有一个实验的设计是完美的，我们还是可以得出一个相当有力的结论。因此，聚合性证据原则要求我们将结论建立在大量略有差异的实验所得的数据之上。这个原则让我们能够得出更强的结论，因为在这种情况下获得的一致性不太可能是由某个特殊的实验程序所造成的。
聚合性证据原则也可以从理论检验的角度加以表述。当一系列实验一致支持某个理论，同时又共同地排除那些最重要的竞争理论时，研究就具有高度的聚合性。尽管没有单一的实验能排除所有的替代解释，但是将一系列能排除一部分替代解释的实验汇总起来，如果数据模式都呈现出某种特定趋势，就能产生一个强有力的结论。
例如，假设针对某一现象，同时存在五种不同的理论解释（称它们为A、B、C、D和E），现在用一系列的实验来加以检验。假设有一个效力很强的实验检验了A、B和C理论，结果数据基本上否定了A和B理论，支持了C理论。再假设另一个效力特别强的实验检验了C、D和E理论，结果数据基本上否定了D和E理论，支持了C理论。在这种情况下，我们就有了支持C理论的强有力的聚合性证据。我们不仅有支持C理论的数据，还有反驳其他竞争理论的数据。请注意，没有任何一个实验能够检验所有的理论，但是一系列实验汇总起来就能得出有力的推论。这一情况可以用下面的表格来表示：
相反，如果两个研究都强有力地检验了B、C和E理论，而数据结果都支持C理论并否定B和E理论，那么证据对C理论的总体支持力度就不如上个例子那么强了。原因在于，尽管产生了支持C理论的数据，但没有强有力的证据能够排除两种可行的替代理论（A和D）。情况会像下面这样：
因此，当一系列实验一致支持某个理论，同时又共同地排除了最重要的竞争解释时，研究就具有高度的聚合性。尽管没有单一的实验能够排除所有的替代解释，但是将一系列能排除一部分替代解释的实验汇总后，如果数据以第一个例子中的方式聚合起来，就能产生一个强有力的结论。
最后，聚合性证据原则的引入有助于消除一个错误观念，这种观念可能是由于我们在第2章对证伪性的讨论过于简单化而造成的。当时的讨论似乎让人觉得，当第一个与自己的理论不相符的证据出现时，这个理论就算是被证伪了。然而，事实并非如此。正如理论是被聚合性证据所支持一样，它也要被聚合性的研究结果所否定。
出于对聚合性证据原则的了解，退休医生哈丽雅特·霍尔[7]提醒我们，当我们在媒体或互联网上看到“最新研究显示”这个用语时，要对它持怀疑态度。你对这种话并不陌生：最新研究显示，吃金橘的人寿命要长40%。现在，你应该已经清楚保持怀疑的原因了：单个研究不说明任何问题！在我们得出结论之前，必须将许多研究综合起来，评估它们是否具有聚合性。著名认知心理学家史蒂文·平克（Steven Pinker）也与此相呼应：“科学记者有一个习惯，就是把一个实验当作有报道价值的新闻。但是单个研究证明不了什么。某一学科的进展是缓慢的、断断续续的，而读者却被引导去期待从中得到令人震惊的发现”[8]。美国公共广播电台的科学记者乔·帕尔卡（拥有心理学博士学位）也同意平克的观点，他说：“科学是渐进式的，而媒体是跳跃式的”[9]。
