- 译本 >
- 科学的隐忧-汪婕舒译 >
- 第4章 不发表就死路一条
哪些期刊很重要？
科学家天生讨厌众口一词。他们享受争论，看重细节。分歧在细节中被放大，任何共识都会被很快推翻。然而，期刊生态系统想要运转良好，科学家们就必须对如何进行啄序排名达成共识，并允许排名随时间而缓慢变化。于是，科学生态系统中的竞争催生了对排名达成共识的需求。但是，仅靠直觉来判断期刊的重要性是不够的，我们需要数值化的度量指标。
影响因子
数值化的度量标准如何评判期刊的重要性呢？要回答这个问题，我们可以来看看科学论文如何引用过去的论文。论文之间的引用关系形成了一个巨大的网络，其节点之间的关联可以用数字来表示。最简单的形式，当然是用单个数值来表示。我们可以用一篇论文被后续文章引用的次数来代表其对科学界的“影响力”。如果我的论文被引用了许多次，而你的论文只被引用了一次，那么，对我的论文感兴趣的人就会更多，也会有更多人引用我的结论或者觉得我的论文能证明他们自己的研究是有效的。也有人可能认为我的论文是错误的，但由于这篇论文被引的次数很多，他们不得不认真对待，充满好奇，甚至气急败坏地仔细阅读。
体重并不能说明一个人的重要性。同样，被引次数也不能证明一篇论文的重要性。它是一个较为粗糙的指标。被引次数很大程度上取决于每个子领域的文化。比如说在我的领域，人们总是喜欢在论文中引用上百篇论文，而有的领域可能只会列出最重要的一两篇。那么，后者的论文引用数显然总是低于前者，但二者产生的影响力可能是等价的。再比如说，在有些领域，人们通常每年只会发表一篇篇幅较长、内容详尽的论文，而在我的领域，人们每年会发表许多篇短小精悍的文章（称为“快报”）。在这种情况下，上述两个领域引用次数的分布也会大相径庭。此外，并不是所有读过该论文的人都会对其进行引用，因此论文对这些人的影响也就无迹可寻。被引次数无法度量一篇论文对这部分人产生的影响。
想要对期刊进行排名或者度量期刊的“影响因子”，最简单的方法是计算过去几年中（通常是过去2年，如图4-3所示），该期刊上发表的所有论文被引用次数的平均数。对高排名期刊来说，我们认为它们发表的论文理应非常重要，每篇论文都应当很快获得许多引用。《自然》杂志是影响力最大的综合性科学期刊，它斩获至高无上的地位已经长达几十年的时间。《自然》论文的平均引用数大约是38（不过，《新英格兰医学期刊》（New England Journal of Medicine）更高，为60）。然而，在许多子领域，各专题期刊的文章被引次数的分布很广，有的多，有的少。最常见的被引次数是零，还有一些论文的被引次数只有个位数。被引次数达到两位数的更是少之又少。只有凤毛麟角的论文拥有很高的被引次数。当然，可能存在一些很重要的论文，但是由于发表在名不见经传的期刊上，使得人们最初忽略了它们的重要性，因此少有作者引用和参考；这些论文中可能藏有一些对后续研究至关重要的细节。但这些是例外，并非一般规律。
图4-3 当作者1发表一篇新论文时[图4-3（a）]，其参考文献中包含一篇发表在期刊A上的论文。那么，期刊A上的这篇论文的被引用列表上就增加了一篇新的引用。将过去两年期刊A上发表的所有论文的被引数量加总起来，除以同时段期刊A上发表的论文总数，就得到了期刊A的影响因子hJ[图4-3（b）]。在每个领域，期刊的影响因子按排名下降很快[图4-3（c）]
将所有期刊按影响因子从高到低排列起来，影响因子曲线的下降很陡峭［如图4-3（c）所示］。学科不同，该曲线下降的斜率也不同，比如，数学领域的排名比较缓和，而化学领域则竞争激烈。这种现象在自然生态系统的等级分层中也很常见。在生物学领域，任意选择一本期刊，其近年来的平均影响因子为2，物理学和化学则为1.25，工程学或社会科学为0.5。由此可见，平均来看，一篇论文在发表的头两年被引用的平均次数仅为1次。
自我强化的循环
期刊影响因子的一个问题是它们随时间的变化不大，于是，啄序排名很容易僵化。科学家们想要在影响力最大的期刊上发表论文，这样，他们的论文就不止被一个领域的人阅读，还会受到更广的读者群体的关注。如果他们在激烈的论文竞争中获胜，那么，不仅他们的同行会认为他们的研究牢固可信，来自不同研究领域的部门同事、他们机构的管理者、经费提供者以及其他所有人也会对其表示认可。因此，在影响力大的期刊上发表论文对科学家的职业前景来说至关重要，也能提高他们获取经费以进行更多研究的能力。
这种对数值化认可的渴望，阻碍了期刊影响因子的变化，从而“锁”住了科学生态系统。科学家们更愿意引用影响力大的期刊上的论文，并不仅仅是因为这些论文质量更好，还因为它们的曝光度更高。如果我想在论文中引用一些能证明我的研究很重要的论文，那么，在科学出版的档案库中，我将拥有很多选择。为了证明我的领域近年来方兴未艾，我精心挑选出最近几年发表在影响力大的期刊上的论文。由于我引用了这些文章，从而提高了它们的被引数量，其他人读了我的论文后，可能也会引用这些论文，这样就进一步提高了它们的被引数。这个过程提高了期刊的影响因子，使其编辑越发坚信他们当初选择的论文的确是极其优秀的。但不幸的是，这种威望的叠加，只是该系统的自我强化而已。
分清良莠
几乎所有科学家和经费提供者都满足于目前的期刊出版形势，这是因为期刊是以同行评议为基础的。这样一来，只有质量上乘、准确无误的科学论文才有资格发表在排名较靠前的期刊上。但是，这无法解释顶级期刊是如何选出这些“质量上乘、准确无误的科学论文”的。在此处，同行评议过程的另一个部分将编辑和引用者更加微妙的观点组合起来了。由于排名最靠前的顶级期刊的竞争十分激烈，因此，在所有投稿论文中，只有很少的一部分能得以发表。《自然》杂志每年会收到1万篇投稿，但最终得以发表的论文不超过700篇。第一道筛选的关卡是由编辑团队进行的，他们通常也会咨询不同领域的专家的意见。在这个过程中，编辑团队会判断这个新研究是否具有时效性，能否产生足够的影响力，是否与该期刊惯常发表的论文处于同一水平。
上述的评判过程需要对科学成果的重要性做出预测。长期以来，一波接一波的保守派、未来学家和预言家都尝试进行这种预测，但大都以失败告终。为帮助编辑们进行预测，他们明确要求论文作者写明该研究可能产生的影响，要求他们从科学事实跳跃到推测。为此，论文作者必须“编织”出一个妙趣横生、欣欣向荣的未来愿景，承诺单靠他们的成果就能够结出丰硕的果实。而编辑想要别的东西：他们在寻找最可能被广泛讨论的论文，这种讨论不仅限于科学界的引用，还包括全球范围的各种媒体。有时，这些目标很难达成，但有时，它们仿佛被紧密地编织进一只铁拳，狠狠砸在科学界的面前。
有时，编辑在筛选时可能会漏掉一些重要且优秀的科学论文，只是因为它们描述的方式不够直截了当，不足以让该领域之外的读者理解。在传播方面，如果作者能恰到好处地在论文中激发人们的好奇心，或者善用比喻，将一些科幻的元素融入他们的结论中，甚至故意模糊一些细节，他们的论文会得到很好的传播。制作精良的视觉效果让外行很容易理解，它们既可以展示科学事实，又能传达未来愿景。但制作这些视觉元素是很耗费时间的，需要花费科学家的时间和经费。一般来说，只有经费充足、功成名就的实验室能负担得起。在资本密集的大型跨国科研合作项目（比如某些粒子物理学项目）中，有许多经费可以用于科学传播，从而导致不同子领域的影响力存在偏差。
如果论文通过了编辑的筛选，它们会被发送给在高级别期刊上发表过许多论文的审稿人（如图4-4所示）。这些审稿人的地位足以维护期刊的声誉。审稿人在审稿时，不仅对论文的科学性进行判断，还会考虑该论文是否适合该期刊及其读者。维护该期刊的名誉也是为了保护他们自身的利益，因为，他们如果打开了论文发表的闸门，将降低他们自己过去发表的论文的价值。这样的系统本质上是十分保守的——投稿人必须努力说服审稿人，他们的成果在主流观点的基础之上实现了惊人的进步。在天平的另一端平衡这股力量的则是编辑们，他们想要保证他们的期刊选出最能提升影响因子的文章，不漏过任何具有重大意义的新科学成果，以免它们“流落”到竞争期刊的手中。于是，关于什么算重要和创新的问题上，在论文作者、审稿人和编辑之间形成了一种微妙的冲突关系。
图4-4 本图描绘除了科学生态系统中与发表论文有关的部分，显示出研究者与期刊之间错综复杂的关系。研究者由项目负责人带领，而期刊则构成了我们的知识之网。项目负责人将他们的草稿提交给期刊，然后，期刊会邀请他们信任的该领域审稿人来评估稿件（实心箭头）。最终，论文发表在期刊上，该领域的研究群体会对其进行引用，这提升了作者和期刊的名誉（虚线箭头）。名誉（被引次数h的增加、名气等，如图中的大拇指所示）进一步影响了经费的流向，最后通过新闻发布到达媒体
回首过去，科学界鲜有真正新颖的东西。可喜的是，科学界能将错综复杂的头绪和线索编织在一起，这样，一个领域的成果可以用在另一个领域，互相加强，互相巩固。如果存在较大的缺陷或问题，它们通常会在几个不同的地方同时出现，很难逃过人们的眼睛。大多数情况下，新科学归根结底是我们从未做过的事情，要么是因为我们从没想到过，要么是因为我们的资金和技术有限。新科学的涌现之处可能是某个子领域的人感兴趣的小小细节，也可能是不同学科的多个进步共同催生了某些新的研究方向。这种进展并不常见。大多数科学尽管引人入胜，但都相对更容易预测。虽然人们对怎样才算“惊喜”少有共识，但对什么算“重要”却多有共鸣——《自然》和《科学》杂志上超过三分之一的论文在发表当年就能跃升到该领域被引次数最高的1%。
在阅读了几名独立审稿人的报告之后，编辑们会对投稿论文的科学正确性和是否适合发表在该期刊上做出判断，并谨慎评估它可能带来的引用次数。之后，论文作者可能会收到编辑的电子邮件，被告知审稿人喜欢他们的论文，但编辑认为它可能无法吸引大众读者的兴趣。在这方面，新兴领域由于还未建立起固定的读者群，因此很可能因为这个原因而通不过审稿。的确，尽管它们可能十分重要，但却没有多少读者。“重要性”的考量在争论与冲突中掺杂了各种主观与客观的观点。
审稿人是谁？
审稿人对投稿论文进行审阅，肩负期刊“看门人”的角色。审稿人的遴选方式有许多种。论文作者会被要求推荐几个他们认为在本领域德高望重，同时支持他们科研的审稿人。此外，期刊会额外再从该稿件引用的参考文献中选择几名审稿人，还会从该期刊过去刊登的综合领域科学家中选择一些审稿人。想要成为审稿人，并不需要通过什么正式的培训，但你得随干随学：读一读自己投稿时收到的审稿人意见，寻求年长同事的些许指导。由于这个原因，审稿人中形成了一些不同的审稿“文化”。尽管他们需要遵循编辑团队的要求，但这些要求通常十分松散，因此，审稿文化逐渐固定下来，因循沿袭，很难改变。一个世纪以来，审稿方式几乎一成不变。
审稿人阅读稿件的仔细程度不一。有的人显然只是浏览全文，快速判断该论文是否真的新颖，然后写一段简短的评述。有的人则细致入微，字斟句酌，逐句逐行地撰写详细评论，包括文章涉及的思想、方法、分析，是否缺乏对过往论文的引用，是否有站不住脚的结论等。这两类人都能极大地改进被审论文的科学性。虽然审稿人投入了相当多的时间和技能，但他们却从未为此获得一分一厘的报酬。不得不承认，这是一件令人吃惊的事情。
不同审稿人在每篇稿件上花费的平均时间也很不同。在这方面，也几乎没有确凿的数据。但据出版商估计，如果审稿人能花四个小时在一篇稿件上，那他们通常能产出一份全面而有用的审稿意见。如果审稿人是年轻科学家，那么，由于他们在某个领域可能缺乏经年累月的背景，他们可能会需要花费更多时间来阅读相关文献。但是，所有审稿人，不管年长年幼，如果稿件引用了一些他们不熟悉的论文，那他们就不得不去读一读那些文献。每个科学家每年大约审阅5~50篇论文，资深科学家每年可能平均审阅20篇左右。因此，总体而言，每人每年在审稿上的时间投入为100个小时，几乎占到他们获酬工作时间的5%。
由于审稿人并不从期刊那里获得报酬，因此，为这种活动买单的人实际上是审稿科学家的雇主。那么，雇主们为什么愿意为其买单呢？同行评议系统对科学界的运转是如此重要，以至于科研经费提供者，无论是公务员、高校、企业还是科研机构，都将审稿视为科学家工作必不可少的一个重要部分。不过，与科学生态系统的其他部分相比，这种活动目前还未具备竞争性（因为审稿是匿名的），并且，人们普遍认为它对整个系统大有裨益。实际上，一直到最近，随着一些国家的高校变得越来越像企业（特别是英国和美国），人们才开始注意到科学家们在论文出版事业上所贡献的时间之多。
这种同行评议系统显然提升了科学的可靠性和真实性，整个社会都因此受益。然而，从中获得最大直接经济效益的，却是出版商。他们的成本中无须考虑这种“专业咨询服务”，只需花钱运营审稿、编辑、出版（电子出版或纸质出版）、市场和发行即可。大体上来说，对文字的排版校对通常由论文作者自己负责。在过去20年里，间或有科学家奋起反抗，争辩说，他们作为作者和审稿人的双重角色所做出的贡献，只是为他人作嫁衣裳，因为只有出版商从中获得了经济利益。还有一些人强有力地争辩道，政府资助的科研成果应当开放给经费提供者，也就是全社会，而不仅限于那些买得起昂贵科技期刊的人。随着全社会对科学的兴趣越来越浓，这逐渐成了一个社会问题，因为人们发现，当他们想要阅读电子版科学论文时，却需要支付给出版商一笔高额的费用。通常，每篇文章大约需要花费50美元。同时，由于每篇文章都是独特的，所以，不可能通过竞争来降低价格。目前，许多国家已经在开始考虑解决这个问题，也出现了一些运动，旨在将所有政府资助的科研成果放入向公众开放的档案库。时间再拉近一些，由于数字出版过程不再需要大量资本投入的基础设施，许多可公开获取（“开放获取”）的新期刊涌现出来。在这种形式下，作者需要花钱才能发表自己的论文，而读者获取论文不用付一分钱。不过，也有期刊同时采用两种付款模式。
出版商辩称，期刊的组织模式具有社会所需要的高价值功能，而它们的持续运转依赖于利润。但是，期刊出版业的生意是非常红火的，它们的利润率稳定在30%以上，比出版业其他任何部分的利润率都高。期刊出版业是一只下金蛋的鹅，这还体现在一个现象上：从来没有期刊关门，相反，期刊的数量一直在增加。许多科学家认为出版商是寄生在公共资源上的血吸虫。让事情更加复杂的是，一些出版商并不是出于商业目的，而是由各领域的研究机构和协会运作的慈善组织——正是这些机构和协会举办了数量庞大的科学会议，我们将在后面的章节探讨这个话题。它们从出版期刊中获取的利润，一部分用来支持该领域其他方面（不那么明显）的活动，就好像从研究成果中“征税”一样。
尽管采用“开放获取”模式的期刊的成本模型更加带有平等主义色彩，但它们没能广泛取代已有的期刊，这显示出科学生态系统中的反馈链是如此错综复杂。科学家们想要在最高级别的期刊上发表论文，这种积极性十分强烈。出版商则专注于保持该期刊具有最高的影响力，并维持其排名。经费提供者之间互相竞争，都想显示自己资助的科研项目产出了最重要的成果。或许，唯一向隅而泣的是高校、科研机构和企业，因为它们需要在预算中纳入一笔开支来购买期刊，以保证它们的科学家能获取论文。一本普通化学期刊平均每年需要花费4000美元，因此，高校图书馆65%的预算都被期刊订阅“吞噬”，也就不足为奇了。图书管理员并不是学术出版生态系统中的主要玩家，因此他们不得不努力游说才能获得更多经费来购买期刊，而这些经费最后都落到了增加学生的学杂费或行政开支上（科研预算很少能完全覆盖期刊费用）。“开放获取”向人们展示了科学界的一个矛盾——研究者花钱向期刊赠送他们的科研成果。稍后我将回到这个矛盾，进行更多讨论。
人人可获取的数据？
“开放获取”还引发了另一个争论：是否应当向公众免费开放所有成果和数据。对政府资助的研究，为什么不能向所有人开放所有原始数据，而仅限于经过科学家选择和解读的部分数据呢？正如不经过同行评议的在线发表一样，抱怨这个问题的人忘记了一件事——科学家对数据进行选择和总结，可以帮助读者节省时间。科学家选择公开哪些数据，取决于他们以何种方式，以及在哪里发表其科研结果。这已然是一个艰难的选择。有时，他们会选择少数几个方面的数据，创造出吸引高影响力期刊及其读者的结果。有时，他们可能会选择以长篇巨著、包罗万象的方式来发表其研究成果，这些出版物会形成一座宝藏，等待未来几代科学家来挖掘。在这种东飘西荡的数据“浮萍”中披沙拣金，已经成为许多人的日常工作，极大提升了这些科学项目的初始投资的价值。
发表科学论文的作用之一是为了讲故事，因为原始数据本身的用处不大。关于数据的采集方式、实验和理论的选用、数据的去伪存真和分析方法，存在太多太多的细节。审稿人会同论文作者探讨这些问题，但大多数情况下，他们在询问一番古怪的问题并仔细检验研究方案后，会发现这位科学家的研究似乎是牢固的，于是不得不遵从科学家最初的决定。这个过程之所以奏效，是因为每个科学家都以自己的方式构建自己的“品牌个性”。在每个子领域，每个科学家或研究团队都会获得不同的口碑，有人以古怪的结论出名，也有人因杰出的成就和牢固的成果而闻名遐迩。当我第一次读到某个人的论文时，我不可能知道他的结论是不是许多次实验中偶然成功的一次，也不知道他是否只是选择了一部分符合他观点的结论来展示（这是医学研究中一个常见的问题）。但是，如果我的同事们纷纷告诉我，他们采用同样的技术进行了同样的实验，却无人成功，那我对该研究的热忱态度可能会冷却下来，并对作者产生更多怀疑。这种观点对发表的知识来说是一种补充，但年轻科学家很难掌握各种技巧——当年轻科学家第一次听说期刊上发表的论文并不一定完全正确时，他们的第一反应通常是目瞪口呆。
经验丰富的科学家擅于捕捉微妙的气味，觉察出哪些是正确的，也知道如何追踪可疑的细节，直至得出结论。这种能力有时可以揭露出实验或研究中的缺陷，哪怕它们计划周密。有时候，错漏之处远比正确之处更加有意思。但是，将所有原始结果不加选择地全部向公众开放，而缺乏一个将其串起来的故事，是收获甚微的，除非你能同时提供大量附加信息。在这种情况下，要么研究团队必须随时待命，回答人们关于各种研究细节的问题，要么所有细节必须以某种方式被编写进数据档案中。不管选择哪种方式，都将极大地增加论文发表的时间和资源成本，降低回报。如果逼迫科学家这么做，而不提供相应的资源，只会减少科学成果的数量。在我自己的研究中，我自然希望能从数据中一眼就捕捉到那些含蓄的知识，但事实却相反，在数据中捕捉知识是一件极其困难的事。科学家如何才能抓住科研项目中的所有讨论，或者追溯他们使用的探测设备的刻度？比起单纯公开原始数据，对原始数据进行的计算、产生结论的分析（例如图表）可能更具价值。在这里，让科学生态系统得以运转的一个惊人事实是，科学家在发表论文时必须选择舍弃一些东西。这些被舍弃的东西可能是容易导致困惑的数据、细枝末节，或者失败的例子。发表论文的核心是传递故事，而不是建立一个数据档案库。
被拒的论文何去何从？
当然，被期刊拒绝的论文并不会被丢进垃圾堆。通常，审稿人会发现一些重要的问题。根据审稿意见，论文作者会对论文进行改进，然后将修改后的版本提交给另一本影响因子稍低一些，但更聚焦某个子领域的期刊。这样，在与各期刊的一系列互动中，论文被层层过滤，最后落脚到合适的级别。问题很大的论文一般在每个阶段都会被踢出去。不同的期刊通常会使用同样的审稿人，因为他们最熟悉该话题。因此，当他们不断遇到同一篇论文时，通常会一次又一次地拒绝它。质量较差的论文最后会落到级别较低的期刊手中。有时，即便这些论文差到理应被毙稿，这些期刊也会为它们大开绿灯，让它们通过同行评议。有经验的科学家对这种现象早已司空见惯，他们了解科学文献的评审标准是参差不齐的。但是，年轻科学家或者非科学家人士通常会认为如果一篇论文通过了同行评议，那它就应当被认为是正确的。虽然啄序排名坚定了人们对科学世界的信心与信念，但它对外界依然不那么透明和清楚。
在期刊及其啄序排名的“自我分化”过程中，有一个有悖常理的方面，那就是每本期刊都要求不同的格式和风格。这些要求涉及各种细节，甚至包括使用什么字体。不同的学科强调不同的研究方面，并青睐不同的呈现方式。比如，卫生统计学的论文所受到的待遇与数学大相径庭。如果一篇论文被一本高排名期刊拒绝，那么，作者必须选择下一本要投稿的期刊，并对论文进行重新排版。各个期刊的格式有时互不相容，因此，想用电子工具将科学知识的网络连接起来变得难上加难——这是新的AI（人工智能）工具必须克服的困难。如果存在一种所有论文均可遵照的统一出版格式（与超文本标示类似），将大有裨益。这样，作者只需放弃一些对版面设计的控制力，便可对格式进行迅速修改。但这可能会降低期刊的分化程度，因此，它们一开始可能会竭力抵制这种变化。
在同行评议的过程中，最令人惊讶的一件事莫过于审稿人的公平程度。目前的匿名评议程序似乎能鼓励审稿人尊敬论文作者，并聚焦在论文结果是否牢固上，这种心态是有意的。偶尔，可能会因粗心大意、因循守旧或恶意中伤而出现一些问题，但大多数情况下，评审通常会带来更好的结果，虽然在论文的方法论上通常会存在一些反反复复的辩论。《经济探究》（Economic Inquiry）杂志的编辑曾做过一个有趣的实验，结果向人们强调了同行评议的重要性。他们要求审稿人在审稿意见中明确写明“发表”还是“拒绝”，并允许投稿作者不采纳他们提出的修改意见（因为这显然能让经济学论文变得更加不透明）。结果，所有论文被接受的作者都依然按照审稿人的意见修改了论文。评议员花时间阅读论文，从局外人的角度给出具有实操性的建议，这对论文作者来说是非常有益的。即便同行评议不属于论文发表过程的一部分，我们也希望在科学生态系统中以某种方式保留它的存在。
科学家为什么愿意做审稿人？
科学家们的成长离不开同行评议。如果没有同行评议，科学生态系统会变成什么样，简直不可想象。然而，虽然同行评议是一项公益事业，但由于科学家们需要在其上花费很多时间和精力，它显然会对审稿人自己的研究产生负面影响。在这种情况下，这项公益事业常受到系统中“搭便车者”（“鹰派分子”）的侵蚀。然而，审稿活动实际上能让他们接触到最新的科学进展，获取未经他人过滤的知识，这是一种抖擞精神而又卓有成效的方式，通常也十分鼓舞人心。实际上，有的审稿人在审阅某些论文时，会感觉他们是在给投稿人讲课，告诉他们应该读些什么文献，以及如何正确解读他们的研究成果。在这种情况下，审稿人的角色更像是未署名的“共同作者”，因此，期刊对愿意帮忙的匿名审稿人充满感激。不过，能为富有创造力的科学家提出一些建议，帮助他们的研究向前推进，对审稿人来说也是一件令人愉快的事。目睹优秀的科学成就，本身就令人心满意足。
除了上述这些原因之外，还有一些非常个人的原因。审稿让我能追踪竞争者的动向，让我看到他们最近的研究方向，从较为原始的数据呈现中获得一些洞察，并得以与他们就一些细节进行讨论。审稿人还可以要求稿件作者引用他们过去的论文，不过这可能会令他们失去匿名状态。这有点像“要挟”：“如果你帮我增加一点引用数，我就会同意发表你的论文。”反之亦然。不过，有时候通过这种方式带来的新引用可能并不合适。但这促进了子领域之间的互相引用，将主流科学界一直忽略的一些共同话题连接起来，也是很有益的。
同行评议允许激烈而详尽的争论，目前这样的场所已经不多了。因此，不管子领域多么小，保证审稿人无法被论文作者认出来是很重要的。如果审稿人的身份可能被认出来，他们就会隐瞒自己的真实意见，改变语言风格或提高语法的准确性（因为许多审稿人的母语并不是英语），强调引用他人而不是他们自己的研究。有时候，审稿人会在论文发表后告知作者他们的身份，但这种行为对整个系统来说是有害的，因为这会向作者施加一种“知恩图报”的压力（这也正是那些审稿人这么做的原因，目的是形成小圈子）。
科学家们经常抱怨同行评议推迟了他们论文的发表时间，但这种抱怨多是基于个人原因，比如职业发展或竞争。为了提高科学知识网络的可靠性，推迟几个月只是小小的代价而已。不过对论文作者来说，这可能意味着“首个发表”还是“第二个发表”的区别（这完全只与个人回报有关），或者影响他们对下次研究任务的职业决定，或者经费的发放。因此，尽管期刊之间互相竞争，都想要以最快的速度将稿件出版，但这对科学共同体并不一定有利，并可能导致越来越多的冲突和竞争。
