生成人工智能(AI)工具用于创建文本、图像和视频,影响社会消费和生产在线内容的方式。随着技术的不断发展,区分人工智能生成的内容和人类生成的内容变得越来越困难。
确定在线信息(尤其是文本)的完整性是宾夕法尼亚州立大学信息知识和网络(PIKE)实验室当前的研究重点,该实验室由宾夕法尼亚州立大学信息科学与技术学院教授DongwonLee领导。
在与宾夕法尼亚州立大学新闻的讨论中,李谈到了检查互联网上人工智能生成文本的完整性的重要性。
告诉我们您的研究动机。
一般来说,我对信息的质量感兴趣。人工智能工具在生成质量方面不断变得更加强大,并且能够创建与人造内容几乎没有区别的文本。虽然这些工具有很好的用途,但也存在一些令人担忧的影响。
例如,在涉及隐私和安全的情况下,我们必须知道某些内容是由人类、人工智能还是某种混合体编写的,这一点至关重要。
此外,近年来假新闻和虚假信息的兴起使得了解我们在网络上看到的书面内容来自何处变得非常重要,特别是如果我们根据这些信息做出决策,以及此类人工智能生成的内容是否真实以及是否有事实根据。
人工智能生成的文本与人类编写的文本相比如何?
人工智能生成的文本经常表现出我们已经确定的非人类特征,但我们的研究表明,人们并不总是能够自己确定这一点。事实上,我们实验室进行的实验表明,在随机猜测准确率达到50%的环境中,人类只能在大约53%的时间内区分人工智能生成的文本。
当人们第一次接受如何区分这两种类型的培训时,或者甚至当多人作为一个团队工作以更好地检测人工智能生成的文本时,最终的准确性并没有提高太多。因此,总的来说,人们无法真正很好地区分人工智能生成的文本。
另一方面,我们构建的最佳AI解决方案可以分析文本,并以85%到95%的准确度给出自信的答案,判断内容是由人类编写还是由AI制作。
该解决方案是什么样的?
简单地说,我们的解决方案是二元分类器,它是一种机器学习算法,根据分类规则将数据分类为两个互斥的组。文本被呈现,我们的软件分析文本,给出是或否的答案:是的,它是人类;是的,它是人类;是的,它是人类;是的,它是人类;是的,它是人类。不,它是人工智能,有一些概率分数表明答案的置信度。
我们早期的人工智能解决方案很大程度上取决于我们在集体查看人类生成的文本时看到的语言模式,例如人类使用某些形容词、正式词语和情感词语的频率。当分类器识别出与人类作家通常使用的语言模式不同时,我们推断它们更有可能是由人工智能制作的。
您的解决方案将如何应对人工智能生成内容方式的不断改进?
随着OpenAIChatGPT和GoogleGemini等生成式人工智能工具的快速改进,这些工具生成的文本的质量也快速提高,使得人类越来越难以检测人工智能生成的文本及其中信息的完整性。
我们最新的人工智能检测解决方案通过对最先进的神经网络模型进行微调而实现了最佳的检测精度。这样的模型被称为黑盒解决方案,意味着它运行良好,但我们并不完全理解为什么它运行良好,以及为什么人工智能将某些文本视为人工智能生成的,而不是人类编写的。
对于简单的任务,无法解释解决方案的有效性可能没什么问题。然而,对于健康或事领域的关键任务,我们需要知道人工智能模型如何得出结论。因此,目前我们有一个相当准确的工具来检测人工智能生成的文本,但无法真正解释它为什么这样做。缓解这个问题并提高我们的理解是人工智能研究人员面临的公开挑战之一。
与此同时,我们正在与人工智能工具构建者玩猫捉老鼠的游戏,他们正在创建越来越复杂的内容生成器。进行构建的人不一定怀有恶意,但他们所创建的东西可能会被好奇但诚实的用户以及恶意的对手误用和滥用。例如,在政治领域,存在假新闻;而在教育中,学生可以用人工智能来代替学习。
作为安全研究人员,我们常常落后一步,对不断发展的技术做出反应和反应。当我们努力开发解决方案时,我们希望通过尝试预测对手的下一步行动来阻止潜在的攻击。
人工智能工具无处不在,社会必须学会以正确的方式使用它们。虽然识别人工智能生成文本的解决方案不断发展,但个人用户应该注意他们遇到的内容的准确性和内容的来源,包括内容是由人类还是人工智能编写的。我们可以通过问自己正在阅读的内容是否有意义并检查来源以确定其是否真实来避免伤害(例如由假新闻或错误信息造成的伤害)。