自从ChatGPT从2023年横空出世以来，这种一问一答的方式，展现出「类人类」的互动模式，也让背後的生成式AI模型成为各界关注的热门议题。

当AI变得越来越聪明的时候，有许多人也开始担心，未来人类应该如何面对这麽聪明的AI。

甚至於，也有不少调研预测机构开始在观察，想了解在未来社会中，究竟会有多少人类社会存在的工作，将可能会进一步被AI所取代。

台湾KPMG安侯企管顾问执行副总经理林大馗表示，回顾2023年，生成式AI对於人类社会带来了重大冲击，我们也必须正视并体认到：AI已经是进入2024年後，不管是企业或组织，甚至是个人，都无法被忽视的重要议题。

他也表示，当企业营运开始思考未来各种AI发展和应用，以及使用AI提供新产品和服务的同时，必须意识到，包括骇客和各种网路犯罪集团在内，也在使用AI来提高其攻击入侵和诈骗成功率。

因此，随着AI应用越来越普及，林大馗则点出，AI本身面临的7种资安风险，并从四步骤拆解AI攻击链，强调AI在某些最新的、专业领域的应用上，仍有其局限；而AI如今也成为骇客诈骗、伪冒身分利器时，也成为企业和一般民众必须留意的风险。

AI在暗黑情境的应用日渐广泛，资安风险也与日俱增

「AI对人类带来的威胁，其实比气候变迁更为急迫，」林大馗特别引述深度学习泰斗、神经网路之父Geoffrey Hinton的观点指出，人类已经找出减碳的路径或方向，只要去落实，情况可能会好转；但关於人工智慧的发展，大家目前根本「置身迷途」。

其实，特斯拉执行长马斯克在2018年3月，就已提出「AI比核弹还要来的危险」的观点；美国国会在2023年举办人工智慧影响的公听会，联邦参议员霍利（Josh Hawley）也警告：「生成式AI的规模宛如网际网路的全球布局，可能酿成类似原子弹的巨大灾祸」。

甚至，ChatGPT推手OpenAI的CEO阿特曼（Sam Altman）也表示，生成式AI的出现好比「印刷机发明」，虽然能够改善和创造工作，但他对AI可能对世界带来的危害，更是深感忧心。

因此，林大馗也观察到，随着AI应用越来越普遍，不仅开始有一些暗黑情境的AI应用，甚至还带来相关的危机。

他说，目前AI的暗黑应用可从三个主要方向来看，包括：深伪（Deepfake）诈欺技术的使用、更有智慧的骇客攻击，以及更多企业机敏资料外泄的风险。

他指出，暗黑的情境也带来危机，在深伪技术带来的各种诈欺危机的暗黑情境应用，可以发现两大发展趋势。

首先，依据世界经济论坛（WEF）的预测，到了2026年，网路上可能有90%以上的内容将由人工智慧生成。

举例而言，在2023年4月，中国甘肃省网路警察发现搜寻引擎百度出现经查证後确认为虚假消息的新闻，内容声称：「甘肃省有一列火车撞到修路工人而导致9起死亡事故。」而这个由AI生成的假新闻，在同一时段，就有21个帐号发布相同文章，更达到1.5万余次的浏览量。

其次，中国大量使用深伪技术，也增加民众对骇客能够轻松获取金融资讯的忧虑。

根据一篇2023年5月的报导指称，骇客使用先进的人工智慧软体，说服中国北方的一名男子将钱转给他的朋友，实际上，该笔金钱却转到一个诈欺帐户。

在骇客攻击越来越智慧化的暗黑情境应用中，林大馗也观察到三大发展趋势。

首先，社交工程手法引发的资安事件会大量上升。例如，之前曾发生骇客伪造美国劳工部（DoL）的社交工程邮件，伪冒的网域以dol-gov[.]com取代正确的reply@dol[.]gov，藉此取得受骇者微软365的凭证。

其次，因为自动化生成的骇客工具，也大幅降低进入骇客产业的门槛。

资安公司Forcepoint的资安研究员Aaron Mulgrew表示，完全没有任何撰写程式经验的他，可用ChatGPT快速写出国家级复杂程度的恶意软体，因此，他担心任何人其实都可以轻松用ChatGPT打造骇客武器。

第三，ChatGPT本身有个不受OpenAI设计准则规范、可自由发挥的DAN（Do Anything Now）模式，而这种模式一旦遭到滥用，就可以让ChatGPT产出涉及不道德，或是非法的建议。

最後一个暗黑情境的AI应用，则会带来更多机敏资料外泄的风险。

林大馗指出，许多大型企业因为使用生成式AI，而上传大量机密资料，造成营业秘密外泄疑虑。

最知名的案例就是，2023年3月起，因韩国半导体公司三星电子允许员工使用ChatGPT，包括半导体设备测量资料、产品良率等内容，都被存入ChatGPT的资料库中。

因此，这也让许多企业因担心公司的商业机密遭到外泄，便禁止员工在公司拥有的资讯设备当中，使用ChatGPT这类型的服务。

资安专家Dominic Alvieri也发现，单是Google Play Store软体市集，假冒ChatGPT名义而推出的「ChatGPT Plus」服务，已经有超过50种恶意App，假冒ChatGPT，试图鱼目混珠，会在上当受骗的使用者装置植入恶意程式。

解构AI引发的资安风险成因

因为各种新的AI应用，也让资安成为重要议题。

林大馗表示，AI应用便引发资安攻击手法的变革。原本的资安攻击手法，例如：骇客会透过绕道潜伏的方式，渗透到企业内部，但当这些资安攻击手法再加上AI後，就可以做到深度伪装後、渗透企业内部，而不被察觉。

其他，像是以往的网路攻击都是透过「知识」驱动，但加上AI後，就会变成是由「资料」驱动造成的网路攻击。

另外，像是骇客原先就能藉由多点突袭的方式入侵企业，现在加上AI之後，就可以做到更精准地攻击；甚至以往须透过专家创造才能完成的产品，当加入AI之後，就会成为某种「智慧制造」。

他认为，AI应用让原本企业面临的资安威胁瞬间升级，也变得更难以对应。

不过，AI不仅带动各种网路攻击手法发生质变，甚至於，AI本身也会面临资安风险。

林大馗归纳出AI在不同阶段预计要面对的7大风险成因，他分成：学习偏失、人为错误、技术缺陷、流程瑕疵、隐私侵害以及决策误用等6大类；另外还可以加上第7种：因使用者暴增，而造成演算效能不足的原生风险。

学习偏失的主要原因是训练数据的偏差，例如，使用了过时或不完整的训练数据母体，或机器学习期的数据与实际情境不一致。

至於人为错误，则包含设计者或是使用者，对於演算法专业疏失，或其他人为道德与管理问题。

林大馗认为，不论学习偏失或是人为错误，最主要都是发生在数据感知，以及输入阶段所面临到的资安风险。

他进一步表示，在演算法运算与深度学习阶段，所面临的资安风险有三大类型，分别是：技术缺陷、流程瑕疵，以及隐私侵害等。

其中，技术缺陷的资安风险，主要是设计者在演算法开发过程当中，因为缺乏对使用者情境与安全性的完整设计，以及测试，进而产生演算法错误（Bugs）。

至於流程瑕疵造成的资安风险，主要是因为使用者未了解演算法或是技术的限制，进而产生的过度依赖与误用情境。

另一个常见的资安风险，则是因为演算结果滥用，导致侵犯当事人隐私权。

至於结果输出阶段与决策阶段，林大馗表示，资安风险包括决策者对於分析结果的错误解读或误用造成的决策误用，以及演算法运算与决策效率仍待提升，导致演算效能不足的风险。

从四个步骤拆解AI资安攻击狙击链

针对AI所面临的各种资安风险，我们可以参考美国NIST所推出的MITRE ATLAS框架（Adversarial Threat Landscape for Artificial-Intelligence Systems），也能从MITRE的战术、技术和程序（TTP），看出AI的确面临前面提到的6大资安风险，包括学习偏失、人为错误、技术缺陷、流程瑕疵、隐私侵害，以及决策误用等。

针对AI的资安攻击狙击链，我们可以进一步拆解针对AI的攻击方法，可以拆解成下列主要步骤。

一、勘查标的，以及研发攻击武器

二、窃取存取权限

三、执行恶意程式，并且匿踪、扩散

四、持续渗透组织，并且造成危害

在第一个步骤中，骇客会勘查标的，以及研发攻击武器。

林大馗指出，像骇客等攻击方，会广泛利用机器学习模型去了解与熟机各种威胁形式，例如，操纵机器学习模型的输入、 学习如何绕过机器学习模型的安全性，并知道该如何利用机器学习模型的漏洞等。

如果再经过进一步的细分，我们可了解从哪些面向操控机器学习模型的输入，例如分成下列模式：首先是数据注入攻击，便是攻击者将恶意数据注入机器学习模型的训练数据。

第二是对抗样本攻击，由攻击者使用对抗样本，以此欺骗机器学习模型。

第三，则是模型窃取攻击，攻击者窃取机器学习模型的训练数据或模型的权重。

最後，就是模型劫持攻击，相关的攻击者通过控制机器学习模型的输入，例如Prompt（咏唱）、Injection（注入），或是输出，以此劫持模型。

在这些机器学习模型当中，输入错误资料之後，会改变最後的产出结果。

到了步骤二，则是窃取存取权限。

林大馗表示，攻击方可能从供应链的某部分，获取对机器学习系统的初始存取权限，锁定攻击的目标系统，可能是一个网路、行动装置，或是一个感应器。

而在这个步骤当中，最重要的目的在於：获取用户名称、密码、API金钥，或是藉由网路钓鱼、通过利用受信任的第三方外部供应商，进入企业组织内部以获取相关的存取权限。

接着是步骤三，重点在於：执行恶意程式并匿踪、扩散。

也就是说，攻击方会在机器学习程式码中放恶意程式码，例如，可以将恶意程式码写入储存库；或是当模型存为pickle共享时，便可以使用pickle嵌入攻击（pickle是Python专属的序列化∕反序列化模组，可用来储存机器学习的模型）。

最後的步骤便是：持续渗透组织并造成危害。

林大馗表示，攻击方为了避免重新启动、更改凭据等作为，有可能会中断他们继续存取的权限，所以会留下一些文件，而这些文件包括：帐户操作，也会包含任何保留攻击者对受感染帐户的存取权操作，甚至会藉由植入容器镜像以建立持久性。

而在步骤四持续渗透的过程中，攻击方也会透过下列三种方式，以便达到他们渗透到组织内部的目的。

对此，他进一步提出解释。方式一是绕过防御，毕竟攻击方会想尽办法避免「在整个入侵过程中被侦测到」的技术。

方式二则是攻击方藉由渗透的方式，试图窃取机器学习的产物，或取得有关机器学习系统的相关资讯。

林大馗指出，不论骇客是制作对抗性数据，以影响机器学习模型的结果，或是透过投毒方式使模型的性能变差，还是发起大量请求以瘫痪服务，或者是发送大量无关紧要数据，使组织花时间审查不正确的推论，甚至於是透过加密大量数据，以勒索金钱补偿等方式，最终都会影响机器学习模型的正确性及效能。

ChatGPT目前仍难承担专业责任

当大家惊艳ChatGPT的互动方式，後续开始察觉ChatGPT回覆的答案其实存在很多错误，甚至，後来发现ChatGPT执行的效率也变差了。

台湾KPMG安侯企管顾问执行副总经理林大馗坦言，该如何让「人工智慧」不要变成「人工误会」，避免AI成为治理的陷阱，是大家在关注并应用AI时，必须注意的重点。

台湾KPMG实测ChatGPT能否作为报税顾问

为了印证生成式AI到底有多聪明，是否真的可以取代专业服务，林大馗表示，他们本身也特别以税务专业的问题进行测试，验证「以ChatGPT作为报税顾问是否可行？」。

KPMG税务服务部执业会计师张智扬实际以台湾综合所得税申报作为情境测试，并将纳税人的家庭成员、抚养状况、薪资收入、投资获利等基本资料输入ChatGPT，之後他们发现，ChatGPT的确能针对单纯的个人情况，依据台湾所得税法回答出正确的免税额及扣除额；不过，针对比较复杂的扶养亲属状况，例如学龄前或七十岁以後的长辈等，ChatGPT提出的答案有误。

若再进一步询问深入且涉及需要判断的问题，例如：应该如何申报最有利？或是夫妻应该要合并计税或分开计税、实际可列举扣除项目、是否有其他特别扣除额、列举扣除额等节税建议，ChatGPT提供的建议不仅非常局限，甚至出现错误的答案。

生成式AI还须克服五大弱点

林大馗根据他们实测的结果为例表示，目前看来，生成式AI要能提供真正专业顾问谘询服务，例如税务专业谘询等，至少还需要克服五大弱点。

他表示，第一个存在的弱点就是对於最新规范适法能力不足，毕竟，生成式AI的训练样本并不是最新的资料，所以，只要是针对最新规定的询问，例如：2023年台湾综合所得税调高免税额、标准扣除额、薪资与身心障碍特别扣除额、课税级距，以及2023年新增的民众协助乌克兰难民，赈济乌克兰捐赠项目得以全额列报捐赠列举扣除额等相关新规定，生成式AI的ChatGPT都无法正确处理。

再者，引导使用者的能力不足。他认为生成式AI需由使用者「完整提问」相关情境，以及背景资料後，才有机会提供正确答案，然而，一般使用者对税务规则并不熟悉，往往无法提供完整资料或背景说明。

第三，经过实际测试发现，ChatGPT处理复杂问题的能力不足。林大馗表示，生成式AI仅能提供简单税务问题的基本建议，若遇到复杂的税务情境，经过东拼西凑而产生错误答案的机率非常高。

第四个弱点是担责能力不足。国外已有许多利用生成式AI开发的人工智慧税务辅助系统，例如加拿大的TaxGPT.ca，但在声明中即明确提到：TaxGPT.ca目的是提供友好和平易近人的方式，让使用者开始学习税务，并不是税务计算器或专业税务顾问，所以并无法承担相关的税务责任。也就是说，生成式AI提供的答案不管对错都只是参考，也不需要承担任何责任和义务。

最後一点，就是对於隐私的保护能力不足，林大馗表示，这也是大家最担心的事情之一。因为报税资料涉及许多个人隐私，虽然多数生成式AI都强调不会蒐集使用者的隐私，但实际上，有许多实验证明，系统还是会「暗中记住」线上提问者的个资，而且，使用者也无法确认其资料保护的能力，因此仍存在高度隐私风险。