当你浏览任何社交媒体动态时，你很可能会被提示关注或加另一个人为好友，扩大你的个人网络，并为应用程序本身的发展做出贡献。推荐给你的人是链接预测的结果:一个广泛的机器学习(ML)任务，评估网络中的链接——你的朋友和其他人——并试图预测下一个链接将是什么。
除了作为推动社交媒体扩展的引擎之外，链接预测还广泛用于科学研究，例如预测基因和蛋白质之间的相互作用，并被研究人员用作测试新机器学习算法性能的基准。
加州大学圣克鲁斯分校计算机科学与工程教授C。“Sesh”Seshadhri发表在《美国国家科学院院刊》(Proceedings of National Academy of Sciences)上的文章指出，用于衡量链接预测性能的指标缺少关键信息，链接预测任务的表现明显比流行文献所表明的要差。
Seshadhri和他的合著者Nicolas Menand(前UCSC本科生和硕士研究生，目前在宾夕法尼亚大学攻读博士学位)建议机器学习研究人员停止使用测量链接预测的标准实践指标(称为AUC)，并为这个问题引入一个新的，更全面的指标。该研究对机器学习决策的可信度有影响。
Seshadhri在理论计算机科学和数据挖掘领域工作，目前是亚马逊的一名学者，他之前曾对网络的ML算法进行过研究。在之前的工作中，他发现了某些对算法性能产生负面影响的数学限制，并且为了更好地理解上下文中的数学限制，由于链接预测作为ML算法的测试平台问题的重要性，他深入研究了链接预测。
“我们感兴趣的原因是因为链接预测是非常重要的科学任务之一，它被用来对许多机器学习算法进行基准测试，”Seshadhri说。
“我们看到的是，表现似乎真的很好……但我们有一种暗示，这种测量方法似乎有问题。”感觉如果你用不同的方式衡量事情，也许你就不会看到这么好的结果。”
链接预测基于机器学习算法执行低维向量嵌入的能力，该算法将网络中的人表示为空间中的数学向量。所有的机器学习都是对这些向量的数学操作。
AUC代表“曲线下面积”，是衡量链接预测的最常见指标，它根据算法的性能给ML算法一个从0到1的分数。
在他们的研究中，作者发现使用低维嵌入进行链接预测存在基本的数学限制，而AUC无法测量这些限制。由于无法测量这些限制，作者得出结论，AUC不能准确地测量链路预测性能。
Seshadhri说，考虑到他的研究在机器学习领域表现出的数学局限性，这些结果对低维向量嵌入在机器学习领域的广泛应用提出了质疑。
AUC缺陷的发现促使研究人员创造了一个新的指标来更好地捕捉其局限性，他们称之为VCMPR。他们使用VCMPR来测量12种ML算法，这些算法被选为该领域的代表，包括DeepWalk、Node2vec、NetMF、GraphSage和图形基准领导者HOP-Rec等算法，并发现使用VCMPR作为度量而不是AUC的链路预测性能更差。
“当我们查看VCMPR分数时，我们发现大多数主要方法的分数都很低，”Seshadhri说。“当你用不同的方式衡量事情时，看起来他们实际上做得不好。”
结果还表明，不仅整体性能较低，而且当使用AUC测量时，一些表现比其他算法差的算法反而比使用VCMPR的队列表现更好，反之亦然。
Seshadhri建议机器学习研究人员使用VCMPR对其算法的链接预测性能进行基准测试，或者至少停止使用AUC作为衡量标准。由于指标与ML中的决策紧密相关，使用有缺陷的系统来衡量性能可能会导致在实际ML应用中使用哪种算法的决策存在缺陷。
“指标与我们决定在现实世界中部署的内容密切相关，人们需要对此有一定的信任。如果你的测量方法不对，你怎么能相信结果呢?”瑟哈德里说。“从某种意义上说，这篇论文是一种警示:我们必须更加小心地进行机器学习实验，我们需要提出一套更丰富的措施。”
在学术界，使用准确的度量标准对于在机器学习领域取得进展至关重要。
“从某种意义上说，这是科学进步的一个难题。一个新的结果必须比以前的任何结果都要好，否则它就没有什么新东西了——但这完全取决于你如何衡量它。”
除了机器学习之外，还有许多领域的研究人员使用链接预测和机器学习来进行研究，通常会产生深远的潜在影响。例如，一些生物学家使用链接预测来确定哪些蛋白质可能相互作用，作为药物发现的一部分。这些生物学家和ML以外的其他研究人员依赖ML专家来创建值得信赖的工具，因为他们自己往往无法成为ML专家。
虽然他认为这些结果对那些深入研究该领域的人来说可能不是一个巨大的惊喜，但他希望更大的ML研究人员社区，特别是那些使用当前文献学习该领域最佳实践和共同智慧的研究生和博士生，将注意到这些结果，并在他们的工作中谨慎行事。他认为，这项研究呈现出一种怀疑的观点，与ML的主流哲学形成了某种对比，后者倾向于接受一组指标，并在涉及到该领域的进展时专注于“推动标准”。
“重要的是，我们要持怀疑态度，努力更深入地理解，并不断问自己‘我们衡量事物是否正确?’”
更多信息:Menand, Nicolas等人，使用低维节点嵌入的链接预测:测量问题，美国国家科学院院刊(2024)。DOI: 10.1073 / pnas.2312527121。doi.org/10.1073/pnas.2312527121期刊信息:美国国家科学院院刊由加州大学圣克鲁斯分校提供引文:“链接预测”背后的广泛机器学习方法表现非常差，研究人员发现(2024年，2月12日)从https://techxplore.com/news/2024-02-widespread-machine-methods-link-poorly.html检索到2024年2月12日。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
