Loading...
大型语言模型LLMs和生成式人工智能的能力和全球使用正在显著增加。这些工具确实为公众提供了无可否认的实用性,但它们也可能被滥用。此外,黑客也在积极研究像 OpenAI 的 ChatGPT 这样的工具。
本文档描述了基于人工智能的网络威胁环境的以下方面:
ChatGPT 品牌如何被滥用于诱饵、欺诈或其他社交工程相关威胁生成式人工智能如何用于生成恶意软件对安全研究人员和攻击者所带来的潜在陷阱和变化ChatGPT 和生成式人工智能如何帮助安全研究人员应对日常挑战,提供见解并带来基于人工智能的助手工具生成式人工智能和其他形式的人工智能将成为网络威胁环境中的关键角色。我们预计高度可信且多语种的文本将被大规模用于网络钓鱼和欺诈,为更高级的社交工程提供更好的机会。
另一方面,我们认为目前的生成式人工智能不太可能彻底改变恶意软件生成的格局。尽管存在许多概念证明主要来自安全公司和恶意行为者对技术进行测试但与现有的、更简单的方法相比,这仍然是一种复杂的方法。
尽管存在风险,但重要的是要认识到生成式人工智能在合法使用时所带来的价值。我们已经看到各种成熟程度和专业化的安全和基于人工智能的助手工具在市场上出现。
鉴于这些工具的快速发展以及开源版本的广泛可用,我们合理地预期它们在不久的将来将大幅提升能力。
您也可以在这里下载该文档的 PDF 版本。
人工智能生成的诱饵和欺诈正在获得广泛关注。在网络犯罪的世界中,人工智能如今成为创建诱饵和实施 网络钓鱼 尝试以及对受害者进行 诈骗 的完美用例。这是因为人工智能在撰写各种形式文本如电子邮件、社交媒体内容、电子商店评论、短信诈骗等方面提供了帮助。一般来说,人工智能还通过提供可信、真实的文本来提高社交诈骗的可信度,从而消除传统网络钓鱼的红旗,例如有语法错误的语言和奇怪的称呼。令我们惊讶的是,当我们请求 ChatGPT 让一封彩票诈骗邮件更具可信度时,它减少了中奖金额,这使得邮件略微更具可信性。
这些威胁越来越复杂和顽固,开始利用先进技术,在人工智能系统的世界中创造出新的战场。近年来,我们目睹了一些社会问题和项目以类似方式被滥用包括但不限于加密货币、Covid19 和 乌克兰战争。
以 ChatGPT 为例,黑客对其的兴趣与人工智能本身的吸引力关系不大,而更多是因为 ChatGPT 已经成为一个家喻户晓的名字。在如今 ChatGPT 受到的关注如此之大,若黑客不调查如何将其用于自己的目的,那就很令人惊讶了。
在研究网络犯罪分子创建的 ChatGPT 骗局时,观察诱饵中使用的语言以及人工智能如何支持恶意软件作者创建比他们本来有能力写作的更先进的文本是至关重要的。人工智能可以轻松改进语法错误,提供多语言内容,并创建多个文本变体以提高可信性。
ChatGPT 目前能够提供健全的、写作良好的文本,但如果攻击者想要进行复杂的网络钓鱼攻击,他们需要将文本插入适当的模板中。这是因为网络钓鱼尝试必须看起来可信,并不仅仅由文本构成。攻击者可以选择从出售的各种现有网络钓鱼工具包中获得已经功能齐全且设计良好的网络钓鱼网页或电子邮件。他们也可以使用网页存档工具创建网页副本,并更改相应的 URL 以进行网络钓鱼。
目前,攻击者需要手动构建某些攻击尝试的方面,而 ChatGPT 目前还不是创造高级恶意软件的终极“开箱即用”解决方案。用户无法简单地请求提供一个网站的副本以及代码和样式来运行它。也就是说,我们预计将在不久的将来出现多类型模型,允许结合多种 LLM 输出,包括图像、音频和视频。此外,我们已经看到类似于 LlamaIndex 的项目在整合多种数据来源上进一步增强了能力。因此,我们预计多类型 LLM 将能够创建高度可信的定制网络钓鱼和欺诈活动,针对特定受众推出特别优惠、包裹投递、投资机会、重大事件期间的诈骗等。
恶意广告“恶意广告”的合成词是一种网络犯罪策略,通过在线广告传播恶意软件。这种技术巧妙地利用数字广告的广泛传播和互动性来分发有害内容。
不幸的是,攻击者利用 ChatGPT 的名称来制作这些恶意广告,在 Facebook 等热门平台上已经观察到此类实例。例如,我们观察到一些广告引导读者阅读文章,声称有巨大的收入机会,而其中所有嵌入链接均重定向到欺诈性的投资门户网站。
人们通常需要注册或提供某种个人信息。这作为第一个过滤器,降低了那些不易上当的人的数量,从而减少了那些容易相信暴利、快速致富计划的人数。
一旦用户提供了他们的信息,他们便容易受到多种恶意行为的袭扰,例如身份盗窃、金融欺诈、账户劫持或被引诱进入进一步的欺诈。收集的个人数据可能会被滥用或出售在 暗网 上,从而助长更广泛的网络犯罪生态系统。因此,遭受恶意广告侵害的用户可能会经历巨大的经济损失、隐私泄露和情感困扰。
恶意广告策略很好地体现了网络犯罪分子利用信任和可信度的不断演变策略。识别此类欺骗性策略是缓解这些在线威胁风险的第一步。
YouTube 作为全球最受欢迎的在线平台之一,也没有幸免于网络犯罪。我们看到假视频的数量大幅增加,这些视频利用知名人物来误导用户进行有害的操作。这些欺诈活动尤其险恶,因为它们利用了信任、可信度和人类的好奇心。
这里采用的策略通常被称为“权威诉求”或“权威论证”,网络犯罪分子利用有影响力的人物来声称验证其信息或投资机会的可信度。这种操纵可以导致个人敏感信息如银行信息的网络钓鱼,甚至直接迫使受害者将金钱汇给攻击者。
在一个具体的例子中,以 Elon Musk 为主角制作了视频以诱骗毫无防备的用户。这些视频通常利用 Musk 在科技和商业界的权威性来为内容背书。正如下图所示,ChatGPT 的动机常常被滥用来吸引用户。
这些恶意行为者从官方实时流录制了有关 OpenAI 方面讨论的内容,并进行了修改,以在不使用旁白或 深度伪造 的情况下诈骗受害者。在视频的某些时刻,会显示一个二维码,看似提供独家内容或奖励的访问权限。实际上,这个二维码将用户重定向到一个欺诈页面。这些欺诈页面通常表现为加密货币诈骗,承诺“轻松”的利润,或者复杂的 网络钓鱼 尝试,让用户泄露敏感信息。
这种诈骗的危险不仅在于可能的经济损失。与恶意广告类似,个人数据的盗取可以被用于进一步的网络钓鱼攻击、账户劫持、冒充或出售在 暗网 上。
虽然在这种情况下并不需要使用人工智能,但随着像 Midjourney、DALLE 和其他专门模型的日益成熟,我们只能预见人工生成的假图片、视频和音频的使用将逐渐增加,无论是在数量上还是质量上。像这样的工具确实能取得显著的成果,尽管它们在某些情况下 并不是真实发生。我们已经看到一些工具可以让用户从文本脚本快速生成视频。尽管这些视频现在仍然明显不是实时的,但在未来,这一点将不那么显眼。
字母拼写错误通常涉及在网址中的小改动,以将用户重定向到不同的网站,可能导致网络钓鱼攻击。此外,拼写错误还用于鼓励用户安装看似合法但实际上并不真实的应用程序。下面的屏幕截图显示了一款名为“Open Chat GBT AI Chat Bot”的 Android 应用程序,这是这一策略的一个极佳案例。这个微妙的改动可能不会引起不注意的用户的注意。
随着 ChatGPT 的推出及其受欢迎程度激增,我们见证了无数 浏览器扩展 的出现。尽管有一些合法的扩展获得了流行,但其他恶意版本则利用这种流行性来诱骗受害者。
为了欺骗毫无防备的用户,攻击者创建了一个迷人的扩展,标题包含或与 ChatGPT 很相似。攻击者利用这种混淆来说服用户该浏览器扩展是可信的,而实际上它是一种恶意软件。这些应用程序经常传播 广告软件 或者是盗窃/间谍软件,甚至有些会欺骗用户订阅费用定期从受害者的信用卡中扣取这也被称为 绒毛软件。
一个这样的案例由 Guardio 记录下来了,恶意行为者复制了名为“ChatGPT for Google”的合法扩展的设计。这种恶意版本的扩展通过这些坏行为者窃取受害者的 Facebook 会话和 Cookie。
幸运的是,针对这一恶意扩展的模仿,谷歌在 Guardio 报告后不久就将其从 Chrome 网上应用店删除了。
当试图下载您想要使用的流行工具或应用程序时,很常见的是遇到包含恶意软件的安装程序。这些安装程序旨在诱骗用户在不知情的情况下向其设备安装有害软件。它们通常看起来是合法的安装程序,使用您感兴趣的真实工具或应用程序的名称和外观。
我们可以观察到,像这样的恶意安装程序在欺诈性使用 ChatGPT 的名称,向用户承诺在他们的设备上安装和使用 ChatGPT。而 Meta 工程团队 发现的一个示例 是 NodeStealer,这是一种窃取浏览器密码和 Cookie 的恶意软件。
破解或未授权的软件版本可能存在风险,因为其中可能隐藏恶意软件。安装后,恶意软件可能允许黑客访问您的个人信息、盗取您的密码,甚至控制您的计算机。
在浏览网络时,用户有可能会遇到看似重要的文章。但点击链接后,页面会显示声称浏览器过时,并需要更新以显示内容。一种示例是 SocGholish 活动,其中与 ChatGPT 相关的文章被攻击者滥用,诱导人们下载更新浏览器,但实际上该更新通常是一个远程访问木马RAT,使攻击者完全控制被感染的设备。这些页面经常托管在有漏洞的 WordPress 网站或具有弱管理凭据的网站上。
快鸭加速器官网大型语言模型LLMs驱动 ChatGPT 等工具的人工智能工具,自推出以来便引起了广泛关注。人们对它们的能力感到惊讶,它们无疑开辟了一系列新的可能性。与此同时,LLMs 也带来了一些问题。例如,学校迅速需要弄清楚如何应对这些新工具,同时有效地向学生传达它们的利弊。
因此,识别 AI 生成内容的工具的需求应运而生。我们分析了几个声称能够识别此类内容的项目。它们中的一些在基础提示上表现良好,但在任何类型的更改引入后都失败了。特别是,当生成的文本被准确识别为100AI生成时,一旦要求 ChatGPT 引入一些错误,结果就会变为100人类生成。
在检测 AI 生成的代码或甚至从 AI 生成的源代码中编译的二进制文件方面,问题变得更加棘手。与检测更传统恶意软件类似,这又是 AI 生成器和检测器之间的无尽猫鼠游戏:一旦第一个检测器开始出现,就会出现新的生成器以避免被检测。
已多次证明, LLMs 可以用来生成恶意代码。但请注意,虽然 LLMs 可以显著简化这个过程,但仍需对恶意软件开发过程有一定程度的理解才能获得所需的输出。此外,还有许多现成的恶意软件构建器、混淆器和打包程序,使得 LLM 方法变得更加烦琐,因为它们提供了一种量身定制的解决方案,可以以一种没有积极保护的方式创建恶意软件。
我们的团队测试了 LLMs,以生成用于测试我们产品的简单恶意代码,并由此总结出一些关键要点:
1 识别 AI 生成的内容很难,而保护技术例如打包和混淆更是难上加难正如上面提到的,AI 生成器和检测器之间的猫鼠游戏仍在继续。由于 AI 厂商不断改进他们的模型,检测模型可能会迅速过时。
值得一提的是,LLMs 只改变了代码的创建方式,而不是代码的行为。到目前为止,我们还没有看到 LLMs 提出新颖的、前所未见的感染机器的技术。它只能利用一系列已有的技术。
2 恶意软件作者需要了解的不仅仅是源代码他们需要验证代码的正确功能、测试环境、混淆、分发方法和攻击媒介的基础设施。更重要的是,他们还负责防止被取缔毕竟,网络犯罪分子的意图是让威胁尽可能长时间地生效。
我们生成的代码的测试很重要,因为我们的尝试显示出相当高的比例,这些代码在第一次尝试时没有按预期工作,而这些错误在初始检查中可能很难察觉。
掩盖痕迹的任务也必须包括在黑客的责任范围内。这通常涉及洗钱、匿名化以及通常的操作安全。
3 创建恶意软件仍然需要相当多的技术知识在生成 LLM 恶意软件的提示方面,提示本身需要非常精确仍然需要编写代码的技术知识,尽管非复杂的组件可能更容易编写。许多现实世界的例子只展示了恶意软件创建过程的短小片段,因为提示长度的限制以及 LLM 系统实施的安全过滤器以避免对恶意用途的滥用。因此,构建功能复杂的代码库仍然可能相对困难。作为一种有趣的结果,一种全新的工作类型已出现,其主要活动是为模型创建提示。
攻击者必须对结果进行测试,调整查询,并了解理想的恶意解决方案应该是什么样子。重要的是要意识到攻击者必须掌握 AV 保护、反沙箱和反调试技巧,以及混淆技术,以克服安全措施。因此,LLM 恶意软件并不是行使创造力以编写此类恶意代码的最佳选择。
AI 技术的崛起无意中导致了垃圾邮件策略的演变。我们观察到垃圾邮件机器人利用 OpenAI 的 ChatGPT 系统,该系统具有旨在避免生成冒犯性或不当回复的过滤机制。
当被要求生成不当内容时,ChatGPT 并不会生成实质性的回复,而是返回错误信息,例如:“作为 AI 语言模型,我无法生成不当或冒犯性内容,”或“抱歉,我无法生成不当或冒犯性内容。”
在许多案例中,垃圾邮件机器人和虚假社交媒体帐户不恰当地发布了这些错误消息。这是因为垃圾邮件机器人其算法和背后的人员不会验证 ChatGPT 的输出相反,他们直接使用 ChatGPT 的响应,从而使机器人的自我揭露,这些消息可作为垃圾邮件活动的明显迹象。
有趣的是,我们还注意到垃圾邮件机器人在 操纵用户评论。一些实体直接复制来自 ChatGPT 的回复,以尝试获得积极的反馈或提高产品评分。这突显了垃圾邮件策略日益复杂的演变,以及在数字互动中保持警惕的重要性。
垃圾邮件机器人试图系统性地对产品列表进行虚假评论,这些评论夸大了积极的方面,虚假提高评级,创造出对用户的热度和质量的虚假认知。用户在做出明智的购买选择时高度依赖评论,而当评论被垃圾邮件机器人操纵时,他们可能在不知情的情况下购买劣质产品。
这些例子表明,ChatGPT 正在不断被用于恶意目的。ChatGPT 文本输出的质量以及其生成多种措辞的能力将使得虚假评论的检测变得更加困难,无论是对于电子商店还是普通人。
尽管 ChatGPT 有一个过滤系统,但不法分子仍能找到绕过此系统的方法,以生成恶意目的的内容。尽管可以绕过工具的安全防护,但这对黑客来说是一个耗时的过程,他们可以通过传统搜索引擎搜索查询,省去这些步骤。毕竟,GitHub 上有很多“仅供教育使用”的恶意软件。
可以说,能够绕过安全过滤的工具被称为“越狱”,这将使使用 ChatGPT 进行恶意目的变得更方便。我们已经看到像 WormGPT 的努力,它是基于开源 LLM 模型,并以恶意软件为目标进行训练。与其他实施限制以防止滥用的 AI 模型不同,WormGPT 以没有伦理界限的方式运作,使其即便对新手网络犯罪分子也更易于接触。
深度伪造 是一种令人担忧和新兴的技术形式,可能对个体和社会整体构成严重威胁。作为 AI 对恶意目的的直接应用,这些令人信服且高度逼真的视频可能让人感觉某人说了一些他们实际上并未说过的话。通过改变和操纵个人的外貌和声音来实现。
深度伪造可能产生深远的后果,导致公众愤怒、名誉受损,甚至社会或政治不稳定。此外,深度伪造还可用于身份盗窃或欺诈,诈骗者可以创建看起来像您认识的人的视频或图像,诱使您分享敏感信息或不经意间将金钱转给攻击者。
一个示例是 深度伪造视频,展示了乌克兰总统泽连斯基,得以在乌克兰战争开始不久后出现在网上。这是一个高度政治动机的深度伪造,出现在各大社交媒体平台上。
我们还观察到有人尝试将 深度伪造作为辩护论据。在这种情况下,事故受害者家庭对特斯拉提起诉讼,声称特斯拉的自动驾驶软件未能起到作用,而特斯拉则声称驾驶员忽视警告并在驾驶期间玩电子游戏。受害者家庭的律师旨在询问 Musk 关于其2016年的录音声明,但特斯拉则反对这一请求,暗示 Musk 的发言是深度伪造,因此他无法负责。
尽管 LLMs 为希望获得帮助的人提供了巨大的支持,但不法分子同样可以受益。尽管安全措施已到位,但我们已经看到尝试使用特定提示集创建概念证明的实例,试验这些工具以创建恶意软件。
在多个示例中,Check Point Research 提供了证据,表明威胁行为者正在研究使用 ChatGPT 创建恶意软件。例如,某位用户在地下黑客论坛分享了他们创建功能信息盗窃者的努力,并声称成功创建了多种新型和技术,这些都是以公开的写作材料为基础。在另一些尝试中,Check Point Research 自己尝试引导 ChatGPT 生成可用于恶意软件的代码片段。
另一方面,卡巴斯基采取了不同的方法,利用 ChatGPT 来 基于 URL 识别网络钓鱼。虽然目前 LLMs 还不够成熟,但这表明了该技术的潜力。经过额外的训练和微调,它可以成为一种可行的检测方法。
攻击者丝毫不犹豫地尝试新工具,他们将彻底测试 LLM 的能力,包括 ChatGPT 或其他新兴模型如 WormGPT,以尝试生成恶意目的的代码和文本。尽管可能实现,但生成恶意软件的过程仍然繁琐,而其他的方法,比如直接从 Github 或 StackOverflow 复制代码,已经变得更为直接和容易。
我们在测试环境中试验生成式人工智能,旨在模拟通常与恶意软件相关的行为。然而,在这个过程中我们遭遇了类似的挑战。我们的许多尝试生成的代码出现了较高的错误率,要求专业知识以识别和解决这些错误。此外,当引入可能被视为可疑的提示时,安全过滤器被触发,实质上阻止了进一步的提示。这要求我们重新启动整个聊天,显著降低了整体体验的便利性。
我们认为,ChatGPT 可以节省时间,生成简单技术以便于测试环境使用。它可以被熟练者利用生成更好的结果,但我们也预计该人员在这方面应该具备充分的资金,毕竟还是需要使用混淆和其他保护技术。
在这一时刻,缺乏经验的用户可能会因为生成恶意软件而感到沮丧,最终选择从 Github 和 StackOverflow 复制代码,走上最简单的路径。但当没有安全过滤和限制的工具出现时,如 WormGPT,情况可能会迅速改变。
虽然我们已解释 LLMs 如何被用于恶意目的,但它们也可以被善用,支持研究人员的工作。在使用人工智能工具时,验证输出并确保未使用任何内部公司数据非常重要。毕竟,输入到人工智能工具中的任何内容都可能用于进一步的训练,并可能导致数据泄露。拥有第三方协议或 NDA 可以帮助降低此类风险,但对于公共服务如 ChatGPT 或任何其他免费提供的工具,显然并非如此。
安全分析师可以使用 ChatGPT 准备检测规则,或者在对现有规则有疑问时帮助解释这些规则。
检测语言能够让研究人员检测模式例如,恶意软件或其行为,包括 Yara、Suricata 或 Sigma,但当 LLMS 生成这些规则时,不会达到分析师的质量水平。然而,对于初级分析师而言,提供的模板可以是有用的他们可以将其作为起点并从该基准出发改进检测。
以下是预格式化的 Yara 规则模板。它为分析师输入在小于 100KB 的可执行文件中发现的恶意字符串准备,同时也附有相关解释。尽管远非完美,但初级分析师可以从这个起点出发,并通过提交附加查询和在线搜索进一步改善规则集。
众多新项目应运而生,结合 LLM 基于工具的形式,作为 AI 辅助工具,可以协助用户完成基本或更复杂的任务,以及其他工具。一般而言,基于人工智能的助手承诺加快工作进度,同时用户将更多精力集中在重要问题解决上,从而实现工作效率和生产力的提升。
无论是诸如 Microsoft 365 Copilot 或 Google Duet AI 的办公类工作所用的基于人工智能的助手工具,还是更多面向技术用户的技术项目。这些工具通常拥有丰富的知识库,能够即时访问文档、库和示例。这意味着用户能够获得更好的建议、自动补全、即时访问文档和示例。
对于恶意软件分析师而言,基于人工智能的助手可以帮助理解汇编语言、反汇编代码或调试。它们可以提供对函数调用、数据结构和控制流程的见解,从而节省逆向工程过程中的时间和精力。
重要的一点是,领域越特定,创建有效助手的难度可能越大。在逆向工程这样专业的领域中,AI辅助工具所提供的功能可能有限。然而,我们可以预期 AI 辅助工具随着时间推移而不断改进,并被融入更多工具和应用中。
以下是一些当前基于人工智能的助手工具及其预期功能的非详尽列表:
Gepetto for IDA Pro:为反编译函数提供意义。VulChatGPT:帮助发现二进制文件中的潜在漏洞。Windbg Copilot:允许用户直接在 Windows 调试器中使用 ChatGPT 功能。GitHub Copilot:使用 OpenAI Codex 即时建议代码和整个功能。Microsoft Security Copilot:旨在通过协助安全漏洞识别、事件响应和了解收集数据来帮助防御者。Google Cloud Security AI Workbench:谷歌推出的这个专业 LLM 是一系列旨在帮助处理即时事件分析、威胁检测和分析的 AI 工具。我们看到基于人工智能的助手工具具有巨大的潜力,尤其是随着时间的推移它们的细化和专业化。尽管我们没有对上述所有工具进行深入和详细的研究,但我们能够测试两个红队工具的能力,即 PentestGPT 和 BurpGPT。
PentestGPT 提供代码片段/工具语法,以便测试人员可以使用,并根据测试人员提供的输出建议后续行动。我们的发现显示工具的成熟度较低,发现了许多错误和不兼容之处,并提供了通用建议。
BurpGPT 是 Burpsuite 的扩展,负责将请求/响应发送到 GPT 模型进行评估,并给出发现的漏洞相关信息。在测试该工具和浏览在线服务时,该扩展将数据传输给 OpenAI。然而,我们没有收到任何结果,可能是因为未检测到漏洞。
使用基于云的工具后,我们快速了解到,由于传输的数据量及其在提示中的使用,运行这些工具的成本使其在日常使用中显得过于昂贵,尤其是在输出质量较低的情况下。
此外,使用基于人工智能的助手工具的用户应仔细阅读服务的使用条款、隐私政策和/或合同。为了使工具正常运行,用户必须提供敏感信息,这可能会违反他们的利益,或者在公司环境中使用工具时,可能违反公司安全政策。
为了更好地理解和防御恶意威胁,安全分析师可以利用 ChatGPT 请求对特定代码片段的解释。以下是一个示例提供的代码是恶意 SocGholish假更新登录页面的代码。当被询问代码的解释时,ChatGPT 能够提供代码特定字段功能的一些见解。
这种功能对分析师学习新事物和为研究指明适当方向是有用的。
在第二个示例中,ChatGPT 提供了一个 PowerShell 脚本的解释。附加查询与代码片段的附加值仅为“解释”,这已经足够了。
此时,ChatGPT 并未关于该脚本的实际功能给出结论。然而,初级研究人员可以利用这一输出作为进一步查询他们不明之处的起点。
与许多不断发展的技术一样,这种方法并不是万无一失的虽然 ChatGPT 通常能为分析师指明正确方向,但在某些情况下也可能产生相反的结果。归根结底,分析师应当对 ChatGPT 的输出保持批判眼光,并验证其内容。
需要注意的是,输入的大小有限制,因此防御人员可能需要分部分分析代码。然而,我们可以预期这一限制在未来可能会减小得不那么显眼。
在提示时,ChatGPT 可以尝试对分析师提供的脚本进行反混淆。它可以处理更简单的混淆器,并美化输出,使其对分析师更易于理解。
例如,下面是来自上一个子部分的假更新示例的反混淆脚本。
分析师显然可以看到一些可能会发现有用的文物这可以加快分析。
这两个方面是使用大型语言模型时的重要因素:隐私和价格。隐私问题源于许多在线模型会使用提交的数据进行进一步训练,在某些情况下可能导致内部公司数据泄露正如 三星 的案例一样。在安全行业的使用案例中,人们常常需要提交部分代码或电子邮件,以便 AI 提供见解。这也可能导致数据泄露,并且不可接受。
第二个问题是价格:根据估算,运行 ChatGPT 每天可能会使公司花费高达 70万美元。尽管这一成本在目前 LLCs 粉丝流行且查询量和推断数量激增的情况下可能较高,但这表明在内部运行此类模型以避免隐私问题的成本是高不可攀的。运行这些模型需要高性能图形卡,而这些卡最近难以获取,因此其价格显著高于正常建议价格。
使用 API 访问也可能不便宜。在测试多款 AI 助手时,我们注意到,特别是在输入较大时如渗透测试助手,运营成本急剧上升,而这些工具的成熟度尚未补偿这些成本。
展望可预见的未来,我们预计,随着量身定制硬件的开发和计算优化如 8 位矩阵乘法的实施,将大幅降低成本,从而减少高性能硬件的需求。
我们在测试过程中遇到的一个大问题是,这些模型有时会产生完全不真实的回答。这个现象被称为幻觉。
打个比方:在随后的互动中,我们要求进行漏洞评估。模型正确地识别了漏洞类型,但指向了错误的功能,并编造了几个根本不存在的漏洞。
同样,可以说代码生成也是如此虽然代码可能看起来正确且能成功运行,但在某些情况下,它可能无法提供正确结果。例如,我们请求模型生成从多个子站点拉取 WordPress 文章的代码。模型生成的代码乍一看是不错的并使用了正确的方法,但实际上并未正确工作。我们仅在将代码输入到我们的预发布环境并进行彻底测试后发现了问题。因为找出他人代码中的错误通常比从头开始编写代码要困难得多,这无疑是一项单调且耗时的任务。
我们预计未来将会涌现出更多针对特定领域的 LLM,旨在降低幻觉/错误积极性,以便专门训练特定的用例。
随着 ChatGPT 人气的爆炸式增长,不法分子利用其名义制作欺诈活动或开始出于恶意目的使用它并不意外。然而,有一些小贴士可以帮助您保护自己,以更安全地在线活动:
警惕过于美好的提供:如果某个提议似乎过于美好,那它很可能就是如此。验证发布者和评论:始终检查应用程序或扩展的来源和真实性。对于只有 5 星和 1 星的评分保持怀疑,对评论似乎相似或在短时间内以相似方式撰写的内容也要保持警惕。了解您要使用的产品:OpenAI 在官方网页上为 ChatGPT 提供了有限免费的基本版本注册后。任何与此相矛盾的提议都应谨慎对待。避免破解软件:破解或盗版软件是恶意行为者分发恶意软件的常见方式。报告可疑活动:如果您遇到可疑的广告、应用程序或浏览器扩展,请使用报告按钮通知提供者。保持软件更新:确保您的所有软件包括杀毒软件始终保持最新。信任您的网络安全提供商:Avast 将在您网上活动中保护您,我们正在不断与用户合作,保护他们免受最新威胁。请在我们的官网 报告恶意样本或误报。提高意识:每天都有许多关于当前使用及新兴网络威胁的新文章。人工智能技术如 ChatGPT的兴起不幸地带来了诈骗和网络安全威胁的增加。然而,通过提升意识、保持警惕以及配备适当的网络安全工具,用户可以保护自己,并继续享受这些先进技术的益处。在数字世界中保持安全!