同行评审有问题。让’s Fix Them


修复努力
这里和那里的一些新零件,我们’在任何时候都会愉快地驾驶。
肮脏的哈利曾经说过,“意见就像混蛋;每个人都有一个“。现在互联网使其比以往任何时候都更容易分享未经请求的意见,传统的学术评论方法开始展示他们的年龄。

我们现在可以就几乎任何东西留下公众评论 - 包括新闻,政治,YouTube视频,这篇文章甚至是我们只是吃的饭。这些评论有时可以帮助消费者进行更新的选择。作为回报,公司获得其产品的反馈。

这一想法被亚马逊广泛支持,他们从一个不仅对特定产品的意见的机制获利,而且还列出了其他用户最终购买的物品。评论和明星评分不应总是处于面部价值:Baywatch Actor David Hasslehoff的CD“寻找最佳”目前享受1,027个五星级评论,但很难相信大多数这些评论是真诚的。例如 这个评论 来自用户Sasha Kendricks:“如果我能在一个瓶子里保持时间,我会用它只用它来倾听这种闪闪发光,蒸汽的奇妙的音乐。”

谈话徽标
安迪Tattersall.的这篇文章最初出现在 谈话, a 社会科学空间partner site, under the title “同行评审充满了问题,我们需要修复”
匿名在线评论可以对现实世界中的生活具有真实的,有时破坏性影响:少数糟糕的yelp评论常常为餐厅或小企业拼写厄运。积极的争夺消极或不准确的评论可能会导致企业有害宣传,没有出售商家所有者。

学术同行评论
匿名,独立审查一直是学术研究过程的核心部分。在任何信誉良好的日志发布之前,作者对原创性,正确的方法和适用性的同行匿名评估了论文。同行评审是一个门守系统,旨在确保在适当的专家期刊中公布高质量的论文。与电影和音乐评论不同,学术同行评审应该是尽可能客观的。虽然写作和沟通的清晰度是一个重要因素,但内容的新颖性,一致性和正确性是至关重要的,并且纸张不应拒绝它很无聊读取。

一旦公布,任何特定研究的质量通常被引文衡量,即纸张在后续公布的研究中正式提及的次数。在理论上,这旨在突出以前的工作是多么重要,有用或有趣。更多引用通常对作者来说通常更好,尽管情况并非总是如此。

例如,Andrew Wakefield的 有争议的论文 论MMR刺戳与自闭症之间的关联,在柳叶肝动物领先医学杂志上发表。本文收到了近两千名引文 - 大多数作者将令人生气,以获得一百个。然而,Wakefield的研究质量根本并不被这一大量反映。其中许多引用是围绕工作争议的风暴的产物,并包含在符合所用方法的论文中。韦克菲尔德的研究现已受到强大不信任的研究,这篇论文于2010年被柳叶服撤回。尽管如此,这一极端情况突出了判断纸张或学术界的严重问题。

存在更复杂的指标。这 H-Index.,首先由物理学家Jorl Hirsch提出,试图在单个数字中考虑学者的产出的质量和数量:一名已发表的研究人员,每个研究员都被引用了n次,具有n的H-指数。为了实现高H-Index,一个人不能仅仅发布大量的无趣文件,或单一极其重要的杰作。

H-Index绝不是完美的。例如,它不会捕获少数论文的辉煌删除学者的工作。最近的研究已经研究了各种替代措施的学术产出,“Altmetrics”,它使用了更广泛的数据集,包括文章查看,下载和社交媒体参与。

一些批评者认为,基于推文和喜欢的指标可能会强调民粹主义者,提醒追求干燥剂的文章,更严格的工作。尽管有这种争议,Altmetrics提供了学术界的实际优势。它们通常更细粒度更细腻,提供了一种携带特定工作的人口的丰富曲线。该学术论文的开放在线反馈系统仍处于起步阶段。

最近开始的自然期刊 提供 作者患上有反馈的页面视图和社交媒体参与,以及等网站 撒阵列 在预先打印文章中允许Reddit样式投票。但是,传统的同行评审期刊和相关指标如影响因素,这主要表征与特定期刊相关的声望,保留了努力筹集资金组织的信任,并且他们的权力可能会持续一段时间。

发布后审查
发布后审查是一种具有一些潜力的模型。这个想法是在发布之后获得学者审查一篇论文。这将删除目前提出的期刊的瓶颈,因为涉及编辑,并且必须在出版之前进行对等审查。

但有局限性。学者从不缺乏他们专业领域的意见 - 它与该领土相结合。然而,公开对别人的研究发表评论可能会有风险,负面反馈可能会引发报复。

出版后审查也有通过先入为主判断的偏倚潜力。一位研究人员可以根据他们不喜欢那个人的事实留下苛刻的评论:学术界的竞争并不常见。近来,网络上的拖击已经成为一个严重的问题,它不仅仅是未经教育,苦涩和扭曲的部分的领域,而且也被据说平衡,衡量和智能的社会成员享受。

一个出版后审查平台, PUBPEER.,允许匿名评论 - 与允许匿名帖子的网站看到的那样 - 可以打开门以获得更多的速降和滥用行为。它可以为审稿人提供额外的保护程度。一名研究员最近向匿名评论提起了一份关于他们声称的匿名评论,在他们的研究中指责后造成他们失去工作。在类似的情况下,在审稿人抱怨他们对项目编写的博客职位抱怨后,一个学术声称已经失去了项目资金。

出版后的评论也可能易于操纵和偏置如果没有适当审核。即便如此,甚至不容易检测到网络上的诚实和真诚。最近的故事特色和独立健康反馈网站患者观点展示了评级和审查系统如何讨论。尽管如此,研究可能会在亚马逊的喜好中学习某些东西,以便可以创建一个长期的研究可发现性。评论和评论可能并不总是突出一项研究的好良好,但他们可以帮助创建出版后的对话,即在全球关于该研究的全球范围内的连接,即在时代引发新的想法和出版物。

许多人现在认为学术研究的长期指标 - 同行评审,引文计数,影响因素 - 正在达到破碎点。但我们还没有在替代方面完全信任的位置 - Altmetrics, 开放科学和出版后审查。但是,清楚的是,为了衡量价值的新措施的价值,我们需要在规模上尝试。 谈话


0 0 投票
文章评级

安迪Tattersall.

安迪Tattersall是谢菲尔德大学健康有关研究学院的信息专家。他的作用是扫描Web和技术的地平线,与研究,教学和合作有关的机会,并维护支持这一点的网络。他对通过雇用Altmetrics,Web 2.0和社交媒体的新方法对新的方式感兴趣,但也要密切关注使用此类进步的影响和陷阱。 @andy_tattersall.

订阅
通知
guest

本网站使用AkisMet减少垃圾邮件。 了解如何处理评论数据.

2 注释
最新
最老的 最票
Inline Feedbacks
查看所有评论
2
0
会喜欢你的想法,请评论。x