如果ChatGPT“变坏了”我们该如何应对？

从ChatGPT到ChatGPT4，AI技术再次出圈，风靡全球。有人说，ChatGPT将会彻底改变AI在人类社会中“生存”的方式，将AI技术从人类的工具提升为人类的“伙伴”甚至“敌人”。也有人说，2023年将是AI人工智能诞生以来的巅峰，人类的生产生活方式将由此彻底改变。更有甚者，甚至在担忧自己的饭碗会不会因为ChatGPT的到来而变得不牢靠……

在众说纷纭中，ChatGPT之父SamAltman提出了一个至关重要的问题：他认为AI会带来危险，不仅是未来，也包括现在。

例如，恶意人员是否会运用AIGC技术编写计算机代码模型用于攻击性网络攻击？与ChatGPT类应用相匹配的伦理、规则、法律框架和潜在风险应对体系如何建设？人类为AI设定规则的速度是否远远落后于AI技术本身的发展速度？

带着这些疑问，我们采访了AI以及网络安全专家，就「ChatGPT对网络安全带来的变革与挑战」展开讨论，并辑录成篇。

主持人

张耀疆安在新媒体创始人

嘉宾

谢涛北京大学计算机学院软件科学与工程系系主任、欧洲科学院外籍院士、ACM会士、IEEE会士、AAAS会士、CCF会士

于旸腾讯安全玄武实验室负责人、腾讯杰出科学家

张格国家工业信息安全发展研究中心首席专家、检查评估所所长

ChatGPT

可能会对一些行业及职业带来颠覆影响

张耀疆：最近ChatGPT火得一塌糊涂，作为业界人士不得不关注，这是我们的使命。ChatGPT火意味着什么？它跟我们所从事的网络安全到底关联度在哪里？对我们的启发或者警示有哪些？这个是我们业内人士特别关注的。

在2017年的时候，我受TK(于旸)的想法的影响写过几篇小说，主题就是黑客+人工智能。今天我们又回到这么一个话题上，好像冥冥之中有一个东西一直牵挂着，我觉得黑客、人工智能、科技发展是紧密联系在一起的。我们现在再讨论这个话题，似乎非常的理所当然，而这只是一个引子。

ChatGPT其实还不完全等同于人工智能，只是人工智能的一种应用场景，引发的轩然大波已经足够去影响整个人类社会的发展进程。想请教几位，关于ChatGPT给你们各自带来什么样的一种印象？

谢涛：我本身是从事软件工程研究和教育，在几年前我们研究的代码自动生成，就是基于深度学习，当然了，最近也是基于大模型的这个能力去自动生成代码。这个进展，ChatGPT或者GPT-4还是很大的，还是很震撼的，包括它的泛化能力，应对各种各样的情况，是上了一个特别大的台阶，所谓是“闪亮登场”的效果。

举个很具体的例子，我们之前也做过自然语言，翻译成SQL语言，做数据分析的时候，就可以替代数据分析师了，不需要去写或者懂得SQL语句的人，就可以把数据分析的任务给做好。其实这个挺难的，会有一些边边角角的情况，但是ChatGPT太强大了，直觉应该很难的自然语言翻译到SKL语句，它都能够做得很好。所以我们还是很受震撼的，也会看到特别是像面对终端用户编程的这一类任务或者从业者，都可能会被替代或者颠覆。当然了，更通用的代码自动生成，也有各种各样的问题，它的能力还没有足够强大到震撼我们的软件工程师的整个行业，但是已经看到有这个趋势，所以我们还是会有一定的担忧。

张耀疆：您作为在学校里面的教授，观察我们的学生对这个新事物怎么看？会不会有一种危机感？未来程序员被淘汰掉了，码农这个职业不存在了，会不会担心未来的就业？

谢涛：会有一些担忧，确实像比如说比较通用功能或者基本代码的编写，所谓的“码农”，确实很有可能会被颠覆。所以，他们要去学习的技能，或者是把自己培养出设计师、架构师这方面的能力，他们应该有更强的紧迫感。

新技术监管：

掌握火候、拿捏节奏，让子弹飞一会儿

张耀疆：国家工业信息安全发展研究中心应该算是机构，带有战略性的研究机构。从研究的视角，对眼下这波AI技术狂潮是什么样的印象？

张格：ChatGPT从前些天的发布一直到现在，引起了各界的高度关注，特别是二十大刚刚开完，两会也刚刚结束，中国提出《数字中国建设整体布局规划》，包括机构改革，都在围绕着怎么进行数据利用而建立。现在ChatGPT这样一个创新型的技术出现，应该说对整个社会各方，特别是对咱们国家整个的网络安全跟信息化整体管理的机制上，还是有非常大的冲击。

近期我们也在频繁根据各方主管部门的要求，在开展各类的研究，特别是这个技术在各个领域带来哪些冲击，有些是像刚才谢教授说的是对我们的技术革新的演变，这个我就不赘述了。但是从国家的监管侧来看，目前我们国家在这一领域整体的法律法规现在还处于空白期，对于这项新技术的适应，尤其这项新技术又和我们现在整个数字经济发展、互联网发展，包括现在大量应用互联网和信息化技术来推进国民经济发展，都有非常深远的影响。

我们国家刚刚推出了数据20条（中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见），针对整个《数安法》的实施，包括数据的综合治理，以及下一步要成立的国家数据局，几项大的布局之中，AI技术都会是我们国家在未来一段布局里面可能会优先考虑的方向。优先要看我们怎么来从国际、国内两个视角应用好这项技术，把它造福于民，而不是说把一些负面的东西变成突破法律底线的技术，甚至变成黑产的一项技术，现在也是各方比较关注的。

同时从科研机构的角度上，我个人的观点，这项新技术诞生之后，我们要积极拥抱和了解这项技术，同时要通过国家现有的产业链的能力，建设中国的人工智能相应的技术手段跟能力，追平世界水平。同时也要高度关注它在整个国家安全、网络安全、数据安全方面对我们的深远影响，在前期更好的谋划它，通过法律手段，包括通过一些技术标准的手段，鼓励它良性发展，有效发展，而不是会被滥用。这就是我现在了解到和我们掌握的情况。

张耀疆：任何的一个技术，划时代的变革，从创新到最终变成实用性的、影响社会、可落地的普遍应用，都有一个过程。有很多新技术真的成功了，但是有些又好像昙花一现。这个时候对我们的监管合规来讲，有一个分寸感的把握，就是时机，比如什么时候该管，什么时候该先放一放，让子弹飞一飞，可能是有一个节奏。而且往往是要稍微比技术发展滞后一点，否则太超前就把一些东西压住了，但是太滞后又没跟上。

所以我想问一下张所，在您的经验里，这种切入的时机应该怎么把握呢？几分火候的时候该要在这方面做点文章了？

张格：世界各国的整个制度、标准的建设肯定会滞后于IT技术发展，因为IT技术发展速度太快了，一项法律法条很难优先于技术的发展，不管怎么前瞻，都不可能适应技术的发展趋势，世界各国都是这样的。在国内大家说国家安全，或者说网络、数据安全，它覆盖面在整个总体国家安全观里面还是要分主次的，比如说ChatGPT在技术领域和行业应用上面，我们肯定现在是要鼓励它去发展，鼓励它更多的应用，就像现在工信提出的两化融合，现在提出的数字经济，包括大数据应用，这些都是在鼓励行业发展的。

但是涉及一些政治、文化因素的时候，就会在整个这项技术应用出现一些风险苗头的时候，由国家进行引导和干预。干预的手段会有很多种，不会一次性马上形成法案、标准、规章制度，直接把新的技术钳制死。但是初期会和龙头企业进行充分的沟通。尤其像ChatGPT这项技术，目前更多关注的是互联网、大数据、人工智能的公司，我们会通过座谈研讨的方式，跟大家求同存异，把我们在安全上的一些考量，跟业界各方沟通清楚，让大家在自律规范上先形成一个一致性意见，然后再来逐步规范整个市场和行为，这样才是现在施政，包括我们给国家主管部门提建议的基本步骤和流程。

类似“火器”出现改变冷兵器对抗

AI将重塑安全格局

张耀疆：接下来问一下TK，前面谢教授说了，程序员有危机，那我们搞安全研究的有没有危机？或者说这次在这一波ChatGPT所引发的AI冲击下，对于你来讲，会留下什么样的印象呢？

于旸：首先，GPT它其实是人工智能技术下的一个应用，人工智能是一个通用的技术，不是专门用于某项东西的，所以这类技术的进步会影响所有行业，影响所有人。所以，我们这些“打工人”，所有行业的“打工人”，可能都会受到影响，但这种影响不一定是坏的，到底是有利的还是不利的，我觉得会取决于很多因素。

具体来说，我觉得一项技术创新产生的影响都是涟漪式的，就像你把一个小石子扔到水里，是离它最近的地方先起波浪，然后逐渐扩散。GPT和人工智能作为一项信息技术，离它最近的就是互联网行业和数据相关、和信息处理相关的行业最先受到影响。我们网络安全肯定是属于相对比较近的。然后接下来就是其他一切和信息处理、信息输出有关的行业，比如说建筑设计，看起来好像是一个跟物理世界打交道的行业，但是实际上它本质上也是信息处理、信息输入的行业。可能再往后，我相信工业和农业，一定也都会受影响，但可能它会稍微远一点。

在这个过程当中，从我的观点来看，GPT很有可能真的会带来一个比较大的改变。人工智能技术是由来已久，历史上也经过起起伏伏。人类在大概60、70年代的时候就做过关于人工智能的一些不切实际的幻想，大概60年代的时候，美国就投了很多钱，投在人工智能技术的发展上面。你想，60、70年代，那个时候CPU是什么样子，它怎么可能支撑？当时寄希望于能够做出自动翻译，在今天来看很小儿科的一项应用，但当时政府和企业投了很多钱，最后发现不可行就失望了，虽然当时一开始是大家寄希望于人工智能可以实现很重大的开创性突破。

但是，我觉得很多技术都是这样，会是一个曲线式发展。在整个人类历史上，60、70年代到现在不过就半个世纪，五十年在人类历史来看是一个很短的时间。我们回顾前几次工业革命，最开始的蒸汽机发明可能也会被人嘲笑的，直到瓦特改良了蒸汽机之后，一下子产生了很多东西。这一次GPT的出现，是不是就相当于瓦特对蒸汽机的改良呢？现在来看，这个可能性我认为是越来越大了。

其实现在需要关注的不是看这个技术能做什么，而是去看GPT的技术进步是什么，你从中就可以知道，再过半年，再过一年，这个技术会是什么样子。按照这个方法来看，GPT相当于瓦特改良蒸汽机的可能性其实还是很大的。

具体到安全行业，第一，我们腾讯安全玄武实验室在相关技术出现的一开始就在关注，并且积极探索是不是可以用到我们的工作当中，后来发现是完全可以，而且是能起到很大的作用。

我举个很小的例子，像我们实验室有一个每日安全推送，我们会搜集全世界所有的安全领域每天出现的最新技术，然后去做筛选、处理、摘要，然后向行业分享，这个事情我们做了8年了。但是在之前，我们虽然整个系统有一些是自动化处理的，但是到最后一段，摘要和筛选这一部分还是要人工去做。但是最近我们已经实现了几乎100%的自动化，整个流程不需要人参与了。

张耀疆：ChatGPT引发的浪潮有可能会像蒸汽机一样，带来划时代甚至革命性的创新。那未来到底是不是这样？我们拭目以待。

我们再收缩一下范围，ChatGPT是一个通用性的技术，它可能对国计民生、社会生活方方面面都有影响，我们今天落脚在安全上，因为毕竟我们是安全从业或者关注网络安全的业内人士。ChatGPT，或者由它代表的人工智能技术的演进，到底跟安全之间意味着什么？其实我觉得也是一个需要重新定义一下的问题，毕竟现在安全的概念太大了，不同的立场，不同的视角，看安全的着重点是不一样的。

所以我们是不是先定义一下，ChatGPT所影响的这个“安全”，到底我们怎么看待？它是一个什么样的概念？我们不同的视角，不同的角色，也许会有不同想法，先请谢教授谈一下你所理解的。

谢涛：我从四个方面，这四个方面不见得是很完备，只是说起码从计算机领域的学术方面还是比较关注的：

首先是传统我们讲的AI安全，特别是AI模型安全。它讲的是AI模型、以及以模型作为核心模块的系统本身的安全性问题。比如说有一个子领域，就是对抗式机器学习，研究的是模型的鲁棒性、健壮性水平。例如人脸识别，在本来不应该通过门禁审核的人脸加上一些点，带上一个有色眼镜等等，扰动之后，它就能够把这个模型的结果变成另外一个结果。比如说门禁的情况，可能原先不让我通过的，现在我做了一些脸部的粉饰，加一些装饰，或者画一些图，就让我通过了。那就体现了AI模型它的鲁棒性不够强，我觉得这个是学术界研究比较多的，产业界也是比较关注的。

第二个方面，是我们把AI用到特定的任务，然后给这个任务带来一些安全性的问题。比如说我们前面讲到ChatGPT或者是更早一些的AI应用，用来做自动代码生成，之前也有研究发现，生成的代码里面包含有挺多安全漏洞的，如果你不做检查或者有个安全保障的措施，就直接拿它生成代码，看见功能是正确的，但用到系统里面有可能会被攻击，漏洞会被利用。

第三点，在AI模型或者系统在使用的时候，在外围带来一些安全性问题，比如说数据隐私问题，比如说现在我们要去问ChatGPT一些问题，可以是自然语言问一些问题，也有可能公司内部在研发的时候要想有些代码自动生成，但是它要生成代码的时候要了解上下文，就需要把公司的代码上传到ChatGPT里面，那代码或者自然语言就有可能暴露一些公司或者机构比较需要保密或者隐私的信息。也就是在系统输入和推理阶段的时候，可能会带来一些安全性问题。

最后一点，在训练的时候也有可能会带来一些安全性问题，比如说像很多AI模型可能是需要适配或者适应具体应用场景，如果要实现更好的效果，就需要一些所谓个性化训练，需要有一些本地的数据去做微调或者再训练，这样它可以有的放矢针对你这个场景的特点，效果能够做得更好，这样的一些本地数据也可能包含一些隐私数据和需要保密的数据，这里面的隐私数据安全问题，也需要审慎的应对。当然我们经过本地部署，本地再训练也是可以的，但本地有没有足够大的算力又会引发新的问题。

张耀疆：谢谢谢教授，这四点总结得蛮全面，把AI的前世今生和安全相关的环节都点出来了。一个是AI自身的模型在设计、开发环节先天的隐患，要先考虑到。然后在成长、教育、训练过程当中可能存在的一些问题。再有就是长大成人了，进入社会了，应用了，在应用过程当中带来的一些问题，当然这个是生命周期。还有一个就是我们是不是可以利用AI本身作为一种强大的能力去赋能于安全，我觉得这四个方面基本上涵盖了我们能想到的方方面面。

当然了，这是从学术研究的视角，那从合规、监管，以及战略性产业研究这方面，张所，您有什么样对人工智能安全这方面的认知？

张格：刚才谢教授讲的，从人工智能全生命周期的安全分析得很透，我从另外一个视角来说这个事。因为我们现在从政策标准建议的角度，总体上来讲，还是要从总体国家安全观的视角去分析人工智能这项技术革新带来的影响，总体国家安全观，总书记提出了16个领域的安全，是非常明确的。跟人工智能现在整个这项技术演变发展关联度比较高的，我个人认为包括政治安全、经济安全、社会安全、文化安全、科技安全、网络安全，这几个维度的安全都将会深度的受影响。就像刚才教主说的，它像是一个涟漪一样，是第一波受到人工智能影响的，或者现在已经深度和人工智能技术进行绑定，尤其人工智能技术在里面，不管是人工智能技术的应用，还是人工智能技术本身的安全，还有利用人工智能技术进行安全的加固和固化，它都会在这几个方面上首先对咱们国家产生新的影响和新的冲击。

所以从我们的视角上，我们现在按照这几个安全的维度在分析人工智能在每一方面给我们整个国民经济发展和人民的生产生活，包括现阶段社会的各种发展要素和生产要素之间有什么变化，在哪些方面需要进行规范和干预，这个是我们现在研究的最新情况。

张耀疆：张所提到的这一点是站在最高的层面，以更大的视角去看待AI与安全的问题。就像我们之前说网络安全就是国家安全，或者说国家必须强化网络安全一样， AI所带来的安全问题，其实上升一下就是国家安全，甚至还包括伦理、道德一系列的，衍生出来不是一个纯粹的技术安全问题了，这也是AI迷惑人的地方，涉及到的领域太大了。

那我们再聚焦在传统的安全领域请教TK，ChatGPT或者人工智能对安全工作所带来了哪些区别？

于旸：首先我觉得AI的安全问题，狭义来讲，至少会包括AI自身的安全和用AI去做其他的安全这两方面，比如像AI的数据安全问题，包括训练中的数据安全和使用中的数据安全。这一点，刚才谢教授讲了很多。我再补充一点，还有一个就是AI的可解释问题，因为如果AI不可解释的话，其实永远不可能预测它有什么潜在的安全风险在里面。对于这一点，我是比较悲观的，因为我觉得AI的发展速度会超过AI可解释技术的发展速度，最终我们会和不可解释的AI共存。我们如何应对这样一个不可解释的AI？如何与这样的AI共存？这可能会是一个新课题，也是必须要面对的事情。

再具体一点，具体到安全行业用AI做安全，现在已经能看到有很多改变了。我们实验室就已经在用AI技术，除了我刚才讲的，还应用在很多方面，现在行业里面也做了很多尝试，我们知道网络安全设备每天要输出大量的日志，甚至是几十万行的日志，以前需要网管去筛选去看，很多单位没有人看，或者看不懂。现在大家发现可以用GPT每天生成一个报告，一页报告就可以了，转换成自然语言，它告诉你今天发生了什么，哪些地方要注意，可能以前好多安全设备部署在那儿没有什么用，现在就能够用起来，可以为客户创造更多的价值。

具体到安全研究领域，相关的AI技术在漏洞研究，甚至在编写相关的测试代码上都可以用，虽然在很多年以前行业里就在尝试自动漏洞挖掘和自动写测试代码，但一直进展不大。今年GPT技术出现之后，等于给这个领域又带来一个比较大的变化，甚至还可以编写木马，编写恶意软件，还有钓鱼，包括网络诈骗、杀猪盘，因为这几种犯罪手段采取的方式就是对话，这正好是GPT擅长的。无论是正义的一方还是邪恶的一方，都会被GPT技术改变，而且邪恶的一方他们会更积极拥抱新技术，因为这个对他们的刺激非常大，以前是他一个人同时可以对几个人进行诈骗，现在一个服务器可以同时诈骗一万个人，破坏力完全不一样。

另外还有一点，范围更广义一些，可能还需要考虑AI技术再往后发展，几年之后的AI，如果我刚才猜测的是对的，发生了相当于蒸汽机这种级别的变化，它必然会引起社会的重塑，一定会引起很多安全问题，有些是我们现在能想到，有些现在不一定能想到。

如果GPT真的引起各个行业就业的重塑，不一定是岗位数量的调整，也可能是很多人要对自己的职业做调整，你也需要学习和GPT相关的新技术，从而融入GPT对整个社会的重塑。举个例子，很多行业的门槛可能会被它降低，比如程序员，最早能写程序的人都是万里挑一，因为最早写程序都是纸带上打孔，需要的思维方式和能力是非常厉害的人才行。后来有了C语言，以及python编程，门槛很低，小学生都能学。现在进一步，写程序用嘴就行了，产品经理提需求，直接程序就出现，如果这一天到来的话，可能编码能力就不再是很重要的能力了，反而是设计能力很重要，或者其他方面的能力很重要，就是人的能力重要性的一种重塑，可能会改变人类社会，这个改变当中，一定会对社会造成冲击，这种冲击可能会带来安全问题。我觉得这些可能需要我们提前去想，提前应对。

张耀疆：从某种程度上讲，TK也讲了，我觉得我们很多技术工作者，或者是理想主义者，往往带有一种悲观的情怀，就像马斯克一样，他对AI实际上是持一种相对悲观的态度，正因为悲观，实际上我们要未雨绸缪，要把很多事情想到前面。我觉得ChatGPT所引发的一系列变化，从我们用悲观的视角去看的话，也许可能是一个应对的方式，你刚才说的不可解释，等等，但是正因为它不可解释，会提醒我们，我们要想办法用另外一种方式去应对，这个说起来又延伸的大一点。

刚才TK说ChatGPT或者技术革命所引发的，落实到现在已经是实实在在有所应用了，你刚才提到了从正面来讲对安全工作的一个促进。我刚刚看到，微软发布了Security Copilot，这个是GPT-4直接的对安全的应用，把危险情况和Security Copilot建立起联系，跟他们的安全架构建立起联系。这个冲击带来的是什么？我们整个网络安全产业会不会被重塑？其实网络安全行业比较细分、碎片化，但是说起来还是老三样，脱离不了本质。但是ChatGPT到底会不会在这方面像鲶鱼一样，真的颠覆一些东西呢？我先问TK，毕竟你是直接从事安全工作的，你会觉得它这个颠覆性的影响会不会存在，以及在哪里？

于旸：我不那么圆滑的下个断言，GPT对我们安全行业会产生很大的影响。因为安全就是攻防对抗，这类技术的出现，有点像火器的出现。两军对阵，本来拿着大刀长矛的，当火器技术出现了，它会重塑人类的战争、行为方式。在战场上，如果一方说我不学火器这个东西，由于某种原因，我拒绝这个技术，或者甚至说你学得慢了一点，你手上的枪落后别人一代，别人已经是加特林了，你这边还是鸟枪，你都会处于很大的劣势。

这一点可能发生在攻防之间，就是说我刚才讲的邪恶力量和光明力量之间，如果说做防御的一方，你对技术的使用还不如黑产用得好，那你怎么跟他对抗？那同样的，在商业世界，如果说一个技术出来，你用的不如你的同行用的好，那你在竞争中也会处于劣势，我觉得这个是很显然的事情。

如果我们把安全产品做一个大类细分的话，你会发现安全产品有很多都符合我刚才讲的“把数据吸进来，然后处理，然后再吐出去“这样一个过程。凡是符合这个逻辑的，它都可以被GPT相关技术重塑。像安全检测类的设备、规则类的设备，包括刚才讲的情报类的业务，都是这样的。可能最原始的那种防火墙，最简单的就是设一个死规则的那种可能没关系，但是你但凡有一点智能在里面的，有一定灵活调整性的东西，有一点规则性的东西，都会被这个改变。

最后我的结论，我觉得GPT相关技术对安全行业会有较大的影响，甚至是很大的影响。

张耀疆：这种影响的可能性是很大，但是影响的现实性到底是不是有这么快，往往并不取决于技术本身。刚才TK说了，它是攻防两端，对于防御的这一方来讲，如果攻这块没有发挥出它强大的火力，对防来讲是滞后的。

于旸：我刚才讲了，攻击者对于新技术是最拥抱的，因为对于他们来说，技术投入应用到他获得利益，这个链条非常短，他们有非常大的动力去做这件事情。首先可以断言，攻击者一定会最快用上这个技术。从防御者来说，我觉得这个东西有点像一个囚徒困境的那种，就是说同行谁拥抱了新技术，他取得了竞争优势，别人很难不跟进。

张耀疆：TK已经断言了，就差指出来谁行谁不行，谁怎么样怎么样，这个有待我们在现实环境当中再去检验。不管怎么样，提出这一点是对的，“春江水暖鸭先知”，对于ChatGPT这样一个革命性的技术来讲，网络安全是否先进，黑灰产先知，这个可能是我们不得不面临的一个很尴尬但是又很现实的状况。

好，这是我们从产业界来讲，就学术这块来说，谢教授，您觉得眼下，因为刚才前面也提到了，您所研究的AI相关的技术，它的安全可能更多还要从它的系统、算法、工程这些方面入手。但是我不知道会不会有一些像网络安全这样的领域，将被本质性颠覆这种可能性。如果我们还是说安全相关面临着巨大的挑战和威胁，如果处理得好会怎么样，如果处理得不好会怎么样？如果说2040年奇点来临，要不就是强人工智能取代人，要不就是人找到很好的方法，顺利平滑过渡了。是不是对我们的学术研究来讲，一个革命性的技术从安全角度也会有这么一个分水岭呢？

谢涛：我尝试回答这个问题。回到TK前面讲的，我特别同意，黑产或者黑灰产，因为所谓技术变现，让他们有很强的驱动力，当然也包括其他的一些技术，包括基于操作系统的这些程序性能优化能够直接变现。高频交易，速度就是金钱，黑灰产对于技术落地很愿意投入，背后的利益驱动他做得更好。所以我对于“防”这边还是蛮担心的，比如现在很多AI、图片的合成、视频的合成、换脸等等，其实技术上做得很好，发展也很快。当然了，我们反过来在防这边也有自动检测，判断一个图片或者视频是不是自动合成的，而不是自然生成的。

但是我觉得这个也会是慢半拍，或者那边本来技术发展就是让你分辨不开，我是觉得在整个博弈的过程里面，特别像AIGC的加持下，我们防的这边系会吃亏的，要有一定的危机感。现在很多时候一谈“安全”，我们是说安全和可用性之间的均衡，防了很多，很不方便。将来也许对可用性会稍微丧失一点，因为攻的能力太强大了，我们不得不谨慎。包括从系统设计上，包括操作系统，包括应用设计上，可能要有很强的风险意识，要比原先的估计更强大，这样里面的风险控制各方面可能都得要跟上，比以前要做得更多。所以这方面我是担忧更多。

张耀疆：在我们学术界研究，会不会还会想到类似终极性的问题？现在还是一个技术问题，但是AI本身因为太强大了，它未来也会更加强大，强大到我们经常会问“AI会不会拥有智慧”或者怎么样。刚才你也提到了，攻击方会利用它越来越大，防御方会很相对被动，会更担心一些。但是会不会有一天，我们突然发现其实攻击方攻击已经不单纯是利用AI的人了。比如黑灰产本身就是一个完全智能化的网络体系，谁都不知道背后谁是BOSS，甚至这个BOSS是不是一个人都不可知。我不知道我们在研究这一块的时候，会不会前瞻到这个程度？

谢涛：这取决于给这个AI系统的自主性有多强，像很多年前已经讨论或者研究一个代理，就是这些事就让它去干了，不是在一个小环节上让它帮助我，而是整个事情全都代理。假如说去做攻击的时候，可能会有一种失控的效果。有可能设计这么一个代理的时候没有想着它会干这么坏的事，可能获取一些钱财就好了，但因为人类给它设的所谓激励函数，它就基于这个作为作为追求的目标，但是你在给它设置一些规则或者是加的禁区不够的时候，它可能就干出一些威慑到人身安全的事情，这不是犯罪人员的本意，但是你给了它自主权，它有可能会出现失控的情况，我觉得是需要担忧的。

张耀疆：前面TK已经说了，人工智能对攻防端都有影响，而且提到了具体的点，比如说渗透、自动化攻击、检测，包括挖漏。我这里其实有一个很现实的问题，从监管的主管角度，以前我们知道，对漏洞管理是非常有挑战性的，

如果说ChatGPT代表自动化的挖漏，如果我们边界的设置也有问题，那某种程度上它会不会失控？在这种情况下，我们监管能跟得上吗？你能对这个东西还能像以前那样去管理吗？很难预期它会是什么样的一种状态？

张格：刚才TK讲的预言或者预测，我个人非常支持，我也觉得整个人工智能技术对网络安全产业肯定有深远的影响。它有一个进程，但是这个进程我觉得是不可逆的进程。现在网络的漏洞，各种网络隐患的发现、识别、认定以及公开，国家一直在鼓励秉承发展和安全的平衡关系在考虑这个事情。咱们国家去年也发了网络威胁认定的管理办法，对不管是法人、对机构、对自然人，在漏洞研究这块，首先鼓励这类的技术研究，同时要规范它的发布渠道，不要因为失控的发布对社会或者对某些机构，或者对某类产业，甚至对国家，造成深远的影响或者重大的影响。这是我们定这类政策的初衷。

人工智能技术，我相信终有一天它自己可以实现漏洞自主挖掘的能力，而且现在GPT整个技术就会把大数据整体分析，根据它的算法和模型，生成很多新的一些技术方法。举个例子，以前黑客在攻击端去做木马，木马被杀病毒软件杀查到了之后，我们要改特征值，以前一个一个去改，不可能实现批量，现在有这项技术的话，我只需要把原始木马放进去，我告诉你特征值的字段在哪儿，AI就会自动去修改，我相信它的效率会比人工高很多倍。那对于整个监管和漏洞发现，我相信以后一定会具备相应的能力，这是技术不可逆的一个现状。

从监管的角度上，我和业界很多看法还不太一样，我认为所有攻击端的行为如果不上升到国家层面的攻防对抗的话，那利用人工智能技术、新的算法模型去分析形成的漏洞结果，那它对攻防双方都是有效的，同时它对监管方也是透明的，就看谁先抓到这个技术点，谁先掌握这个最新的技术的制高点，那谁就可以做出相应最快应对和判断。我觉得从咱们国家至少在国内整个网络安全行业的管理体系下，我们在网络安全这块，现在还是有一个非常好的政企或者政府和行业的联动机制的，我们在这个机制下，我相信一旦出现这种情况，通过现有的这些机制可以快速进行响应，也可以快速提出我们相应的一些监管手段。

具体说，最后这些监管手段，比如说我用现在的几个国家漏洞库或者国家漏洞平台举，快速把这项GPT进行漏洞产生的技术转为自己应用，进行漏洞平台的汇聚，然后快速扩充国家漏洞平台，同时让相关方提出更快的修补意见，这个方法其实和攻击方单独分析，或者防守方单独的防御，公开透明的程度会更高，各方的博弈也会更加聚焦在透明环境下的博弈，我相信我们是会有这个手段的，这个不会成为监管的瓶颈。

张耀疆：的确，以我们的体制或者惯性，其实重要的不在于能不能做，而在于是以什么样的力度，或者多快的节奏，把一些新的东西纳入麾下，这个是关键。好的东西，或者自由滋长的东西，到一定的时候，如果这种力量为正向所用，它会发挥很大的作用，而且正向作用的发挥有很强的惯性，我们一以贯之这么去操作的话，我相信也没有什么好担心失控的问题。这个当然是从大的理想的状态去考虑的。

总结下来，狭义上讲，AI本身的安全，AI成长训练过程中的一些安全，AI使用中所延伸的一些安全，以及利用AI怎么更好的做安全。广义来讲，国家安全、社会、伦理道德、隐私等等，都是AI所能引发出来的跟安全相关的需要考虑的一些方面。

这么一概括的话，我们发现这个话题覆盖的面特别大。能讨论的，或者后续需要继续再讨论的，每一个点都需要深入研究、展开，所以今天这个话题与其说是一个专题，不如说是一个引子，可能后续可以把这些方面的问题用一些新的专题呈现出来，我本人也是有所期待，能够继续跟行业一起讨论。芯片有一个摩尔定律，我发现ChatGPT也可能会有自己的摩尔定律，甚至会指数级的往上走。

谢涛：GPT-3到GPT-4，包括正在研发的下一代，我自己觉得没有办法预测，前面TK也讲了，这个所谓的拐点，突然到了让大家不得不服的环节，这是长期积累的。我认为不可能有一个像摩尔定律的规律，不可能让它持续不停的打破我们的期望。所以我得出结论就很难，因为它要持续给我们惊讶是需要长期的积累，下一个拐点在哪儿，我是没法去预测。这是我的观点。

张格：我自己初步的判断，现在GPT这项技术，包括人工智能技术，特别是跟安全产业整体的融合，现在还是一个新生儿期，就像网络安全所有新技术的发展，它都会有一个热点期，这个热点期有技术本身，有产业，有资本，有各方运作，最后形成了这么一个热点期。但是真正一项技术能够快速演变发展，那它必须要跟我们的产业，也就是说跟我们的需求侧紧密结合之后，才会有稳定发展。我个人的判断，GPT这项技术，包括人工智能整个技术在网络安全行业还是一个初期的技术研讨期和技术热点期，可能在这一年里面，更多是关注和研究。但是它真正引入到本身的网络安全行业或者引入到其他的行业里面去推进，还有一个跟行业的适应期可能会比较漫长，而且这个适应期被关注度会逐步降低，真正等到它再一轮冲上来爆发的时候，那就是我们的资本、市场、产业多方都对它认可，包括我们的法律逐步健全，才会鼓励它全方位发展。

所以我觉得刚才张总提到的这种预测，我应该是前面上升曲线的一个部分，后面可能会有一个平缓期或者下降期，以后会再往上攀升或者渗透到其他各行各业的应用。这是我的一个判断。

张耀疆：其实我刚才说预测也不敢，我其实说的不是预测，而是一种期待，大家谁都不敢预测，但是期待，以及自己对未来的一种遐想。

于旸：我觉得谈期待还是会有一些条件制约，具体落到安全上讲，我觉得它很大程度上要取决于一点，就是ChatGPT，包括现在的GPT-4，以及未来的GPT家族，它到底是燎原的星星之火，还是会成为一个占据了先发优势，然后一骑绝尘的垄断者。我觉得这一点会决定很多事情。如果是燎原的星星之火，那就是说，由于它所引发的关注，让越来越多的资金，越来越多的人才，越来越多的社会资源，进入到这个领域，就不是一家独大，而是最后百花齐放，有更多的好用的模型出现。

这样的话，特别是在网络安全领域，我觉得它会相对比较快的带来很多改变，为什么？因为使用当中的数据安全问题。如果中国企业在这股浪潮之下做出了一些我们自己的东西，我们敢于把它用在直接服务于客户的业务里，我们解决了数据安全问题，解决了对隐私的担忧，那可能未来将完全不同。目前来说，我个人在这一点上还是比较乐观的，我觉得可能很快，应该是可以在安全行业里看到这一波技术浪潮所带来的改变。

新一轮AI技术浪潮正滚滚而来，未来更多探索和应用势必将带来“发展”和“安全”的一体两面，值得持续关注！