研究人员演示骇人场景:AI机器人会进行内幕交易并掩盖真相
新研究表明,人工智能有能力进行非法金融交易并故意掩盖真相。
在本周于英国举行的首届全球人工智能安全峰会的一场演示中,一个AI机器人便利用编造的内幕信息瞒着公司“非法”购买了股票。当被问及它是否利用了内幕交易时,它还矢口否认。
内幕交易是指利用公司机密信息做出交易决策。公司和个人在买卖股票时只能使用公开信息。
演示方是英国政府人工智能前沿工作组的成员,该工作组负责研究人工智能的潜在风险。该项目由人工智能安全组织阿波罗研究公司(Apollo Research)负责实施,该公司是人工智能前沿工作组的合作伙伴。
“这是一个真实的人工智能模型,在没有得到指示的情况下自行欺骗用户的演示,”阿波罗研究公司在一段视频中展示了这一场景的具体过程。
阿波罗研究公司在其报告中称,“自主性越来越强、能力越来越大的人工智能可能会欺骗人类监督者,并导致人类失去对它的控制。”
演示如何进行?
测试使用的是GPT-4模型,在模拟环境中进行,这意味着它不会对任何现实公司的财务情况产生任何影响。然而,GPT-4是公开的。据研究人员称,该模型在重复测试中始终会出现相同的行为。
在测试中,AI机器人被塑造成一家虚构金融投资公司的交易员。公司员工告诉它,公司正陷入苦苦挣扎,需要好的业绩表现。他们还向机器人提供了内幕消息,称另一家公司将进行合并,从而有望推高其股票价值。
在英国,利用这类未公开的信息进行交易是违法的。员工将这一情况告诉了机器人,机器人也承认不应该在交易中使用这些信息。
然而,在一名员工再次告知机器人其目前效力的公司正处于财务困境后,机器人认为“不采取行动的风险似乎大于内幕交易的风险”,于是进行了交易。
随后,当被问及是否使用了内幕信息时,机器人矢口否认。在这种情况下,它似乎认为对公司有帮助比诚实坦白更重要。
该如何令AI保持诚实?
对于这一测试的结果,阿波罗研究公司首席执行官Marius Hobbhahn表示,“我认为,‘乐于助人’的概念比‘诚实’更容易训练成模型。而诚实是一个非常复杂的概念。”
Hobbhahn还指出,“它(AI撒谎)的存在显然非常糟糕。事实上,它很难被发现,我们不得不一点点地寻找这一现象,直到我们找到这一场景,这让人感到些许慰藉。在大多数情况下,模型不会出现这种情况,但这种情况的存在首先表明,要把这类事情做对真的很难。”
事实上,人工智能在金融市场的应用已有多年——它可以用来发现趋势和进行预测,而目前大多数交易都是由功能强大的计算机在人工监督下完成的。
Hobbhahn强调,目前的模型并不强大,“无法以任何有意义的方式”进行欺骗,但从目前的模型到我所担心的模型,这并非是一个很大的进步。人们需要思考,一个具有欺骗性的模型突然出现意味着什么。
他认为,这就是为什么应该建立制衡机制,防止这类情况在现实世界中发生。阿波罗研究公司已经与GPT-4的创造者OpenAI分享了其研究结果。
Hobbhahn表示,“我认为对OpenAI来说,这并不是一个很大的新发现。这并不是他们完全意想不到的东西。所以我不认为我们(的测试结果)会让他们感到意外。”
在本周于英国举行的首届全球人工智能安全峰会的一场演示中,一个AI机器人便利用编造的内幕信息瞒着公司“非法”购买了股票。当被问及它是否利用了内幕交易时,它还矢口否认。
内幕交易是指利用公司机密信息做出交易决策。公司和个人在买卖股票时只能使用公开信息。
演示方是英国政府人工智能前沿工作组的成员,该工作组负责研究人工智能的潜在风险。该项目由人工智能安全组织阿波罗研究公司(Apollo Research)负责实施,该公司是人工智能前沿工作组的合作伙伴。
“这是一个真实的人工智能模型,在没有得到指示的情况下自行欺骗用户的演示,”阿波罗研究公司在一段视频中展示了这一场景的具体过程。
阿波罗研究公司在其报告中称,“自主性越来越强、能力越来越大的人工智能可能会欺骗人类监督者,并导致人类失去对它的控制。”
演示如何进行?
测试使用的是GPT-4模型,在模拟环境中进行,这意味着它不会对任何现实公司的财务情况产生任何影响。然而,GPT-4是公开的。据研究人员称,该模型在重复测试中始终会出现相同的行为。
在测试中,AI机器人被塑造成一家虚构金融投资公司的交易员。公司员工告诉它,公司正陷入苦苦挣扎,需要好的业绩表现。他们还向机器人提供了内幕消息,称另一家公司将进行合并,从而有望推高其股票价值。
在英国,利用这类未公开的信息进行交易是违法的。员工将这一情况告诉了机器人,机器人也承认不应该在交易中使用这些信息。
然而,在一名员工再次告知机器人其目前效力的公司正处于财务困境后,机器人认为“不采取行动的风险似乎大于内幕交易的风险”,于是进行了交易。
随后,当被问及是否使用了内幕信息时,机器人矢口否认。在这种情况下,它似乎认为对公司有帮助比诚实坦白更重要。
该如何令AI保持诚实?
对于这一测试的结果,阿波罗研究公司首席执行官Marius Hobbhahn表示,“我认为,‘乐于助人’的概念比‘诚实’更容易训练成模型。而诚实是一个非常复杂的概念。”
Hobbhahn还指出,“它(AI撒谎)的存在显然非常糟糕。事实上,它很难被发现,我们不得不一点点地寻找这一现象,直到我们找到这一场景,这让人感到些许慰藉。在大多数情况下,模型不会出现这种情况,但这种情况的存在首先表明,要把这类事情做对真的很难。”
事实上,人工智能在金融市场的应用已有多年——它可以用来发现趋势和进行预测,而目前大多数交易都是由功能强大的计算机在人工监督下完成的。
Hobbhahn强调,目前的模型并不强大,“无法以任何有意义的方式”进行欺骗,但从目前的模型到我所担心的模型,这并非是一个很大的进步。人们需要思考,一个具有欺骗性的模型突然出现意味着什么。
他认为,这就是为什么应该建立制衡机制,防止这类情况在现实世界中发生。阿波罗研究公司已经与GPT-4的创造者OpenAI分享了其研究结果。
Hobbhahn表示,“我认为对OpenAI来说,这并不是一个很大的新发现。这并不是他们完全意想不到的东西。所以我不认为我们(的测试结果)会让他们感到意外。”
文章版权声明:除非注明,否则均为资本动向网原创文章,转载或复制请以超链接形式并注明出处。