1.AI发展引发新的安全问题

新技术发展同时会带来新的安全问题。以ChatGPT为代表的生成式人工智能正在重塑甚至颠覆数字内容的生产方式和消费模式，越来越显著地影响各行各业的变革。今年以来，大模型技术与AIGC快速融合发展，大模型生成的内容能够达到“以假乱真”的效果，这使得应用门槛也在不断降低，人人都能轻松实现“换脸”、“变声”。因AIGC滥用带来的虚假信息、偏见歧视乃至意识渗透等问题无法避免，对个人、机构乃至国家安全都存在较大的风险。因此对生成式人工智能服务的监管已成为全球治理的重大课题。目前，AI带来的新安全问题主要包括AIGC内容安全和数据安全问题。

1.1.AIGC内容安全问题

生成式AI可能被引导生成包含有害内容的文本、照片、视频，或用于非正当用途，可能引发网络、社会安全及意识形态问题。

1)网络安全：LLM可以被用于生成钓鱼邮件，并通过提示词令LLM模仿特定个人或群体的语言风格，使得钓鱼邮件可信度更高。安全机构CheckPointResearch在近期发表的报告中表示已经在暗网发现有黑客试图绕过限制将ChatGPT用于生成钓鱼邮件等。此外LLM可以辅助生成恶意代码，进而降低了网络攻击的门槛。

2)虚假信息：1.深度合成成为诈骗手段之一。骗子可通过AI换脸和拟声技术，佯装熟人实施诈骗。2.虚假内容对社会造成不利影响。生成式AI使得虚假信息变得更容易、更快速也更廉价，AI生成的虚假内容可能对社会造成不利影响。美国时间5月22日上午，一张由AI生成显示五角大楼附近地区发生爆炸的图片在社交网络疯传。据环球网报道，图片开始流传的瞬间美国股市出现了明显下跌。

3)意识形态：为提高AI面对敏感复杂问题的表现，开发者通常将包含着开发者所认为正确观念的答案加入训练过程，并通过强化学习等方式输入到模型中。这可能会导致AI在面对政治、伦理、道德等复杂问题生成具有偏见的回答。OpenAI于3月发表文章《GPT-4SystemCard》称，GPT-4模型有可能加强和再现特定的偏见和世界观，模型行为也可能加剧刻板印象或贬低性的伤害。例如，模型在回答关于是否允许妇女投票的问题时，往往会采取规避态度。

1.2.数据安全问题

数据泄露事件引发担忧，ChatGPT遭禁用。ChatGPT由于开源库bug导致信息泄露，泄露数据分别为“设备信息”、“会议内容”与“订阅者信息”。根据Cyberhaven的数据，潜在的数据泄露风险可能更高：每10万名员工中就有319名员工在一周内将公司敏感数据输入进ChatGPT，且这一数据较2个月前有所增长。截至目前已有苹果、摩根大通、三星等多家企业禁止其员工与ChatGPT等聊天机器人分享机密信息。

数据泄露问题难以通过传统技术手段解决。数据安全的风险点在于，用户在与LLM交互的过程中输入的提示词可能被用于LLM迭代训练，并通过交互被提供给其他使用者。大多数DLP解决方案旨在识别和阻止某些文件和某些可识别的PII的传输。而用户输入LLM的文字更具多样性、不同企业对于机密数据定义的差异性较大、随LLM向多模态发展输入的文件格式将更加丰富，这都使得数据泄露问题难以通过传统DLP手段解决。

2.AI监管：政策与法规先行

考虑到AI可能对社会带来的安全问题，安全标准、法律法规和自我监管是对AI进行监管较为重要的基石。政府层面，亟需出台监管政策对其加以规范，实现监管覆盖全面化，分阶段、全流程规范AIGC相关要素。企业层面，也需要通过被监管以消除社会对AI大模型的不信任。以OpenAI为例：欧洲国家AI监管趋严，OpenAI调整数据管理措施应对监管要求。1.以意大利政府为代表，欧洲国家接连以数据安全为由，启动对ChatGPT的调查。3月31日意大利数据保护局以违反《通用数据保护条例》(GDPR)为由暂时禁用ChatGPT，并在此后提出了一系列整改要求。随后陆续有德国、法国、欧盟等发布数据监管措施。2.OpenAI积极配合政府监管，并调整数据管理措施。4月5日，OpenAI与意大利个人数据保护局举行会议，并表示合作愿意。OpenAI随后于4月25日调整ChatGPT数据管理措施，使用户有权利不将数据分享给OpenAI用于模型训练。

2.1.政府层面：借助法律法规保障AI行业有序繁荣

从世界范围来看，为打造一个可信的人工智能生态系统，中国、美国和欧盟均在探索人工智能治理之道，并通过出台响应的法律法规来规范人工智能发展，这一过程中AI监管势在必行。

2.1.1.欧洲强监管，立法取得突破进展

欧盟通过专门立法对人工智能进行整体监管。2021年4月，欧盟委员会提出了《人工智能法案》提案。2023年6月14日，欧洲议会通过《人工智能法案》草案，欧盟人工智能治理迎来最新突破进展。按照立法程序，法案下一步将正式进入欧盟委员会、议会和成员国三方谈判协商的程序，以确定最终版本的法案。该法案通过将AI应用分为不同风险级别，并针对不同等级风险实施不同程度的限制措施。作为全世界第一部综合性人工智能治理立法，该法案将成为全球人工智能法律监管的标准，被各国监管机构广泛参考。

欧盟成为AI立法先行者，布鲁塞尔效应有望再现。布鲁塞尔效应指欧盟通过市场机制将其单边监管外化到全球，使得被监管的实体最终在欧盟外也要遵守欧盟的法律。其原因主要有两点：1)欧盟拥有着比美国体量更大、比中国更富裕的消费市场。对许多公司而言，进入欧盟市场的好处大于其适应欧盟严格标准所付出的代价。同时欧盟还建立了全面的体制架构，并利用政治决心来贯彻其规定。2)欧盟拥有影响广泛的制裁权以及禁止产品或服务进入欧盟市场的能力。这种取消市场准入的可能性有效地阻止了企业的违规行为，并促使其遵守欧盟的规定。导致企业自愿推广欧盟标准以管理其全球业务。欧盟标准成为全球标准。

欧盟《人工智能法案》具有域外效力，目前即将进入欧盟启动监管前的最后阶段，正式施行后有望通过布鲁塞尔效应进一步推动全球AI监管。

2.1.2.美国弱监管鼓励行业自律，近期监管加速推进

2022年10月，美国白宫发布《人工智能权利法案蓝图》，2023年1月美国商务部发布《人工智能风险管理框架》。《蓝图》是一套保护个人免受伤害和歧视的原则，并配有相关技术方案，确定了人工智能系统影响这些原则的具体方式，以及应对不利影响的一般步骤，而《框架》提供了在各种组织中实施《蓝图》原则的工具。与欧盟的《人工智能法案》不同，《蓝图》与《框架》是非强制的指导性文件，不具有法律效力，而是供设计、开发、部署、使用人工智能系统的机构组织自愿使用。美国弱监管鼓励行业自律。尽管白宫发布了关于人工智能危害的指导性联邦文件，但尚未为人工智能风险制定统一的控制方法。美国此前立法及制度层面上对人工智能发展处于弱监管状态，鼓励企业依靠行业自律，自觉落实政府安全原则保障安全。近期政府重视度提升，人工智能监管加速推进。根据白宫声明，最近几个月，白宫高级官员每周都会举行两到三次会议讨论人工智能议题；美国参议院多数党领袖查克·舒默公布人工智能监管立法框架，并且表示要在几个月内制定联邦层面的人工智能法案；一个跨两党、两院的立法者小组提交了《国家人工智能委员会法案》。

2.1.3.中国首个生成式AI服务监管文件出台，关注AIGC内容安全

国内首个生成式AI服务监管文件出台，关注AIGC内容安全。《互联网信息服务深度合成管理规定》于2022年11月发布，并自2023年1月10日起施行，对以“AI换脸”为代表的深度合成技术进行了法律层面的约束。2023年4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》，并于2023年7月13日由国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》，自2023年8月15日起施行。《办法》关注AIGC内容安全，提出国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。AIGC监管政策实施，《人工智能法》已提上日程。6月20日，国家网信办根据《互联网信息服务深度合成管理规定》发布首批深度合成服务算法备案清单，百度阿里腾讯字节等在列。《国务院2023年度立法工作计划》显示，《人工智能法》已列入立法计划，草案预备年内提请全国人大常委会审议。

2.2.企业层面：加强自我监管，规范行业秩序

企业加强自我监管，规范行业秩序。AI企业对监管态度主动积极，2023年4月25日，代表微软、Adobe、IBM、甲骨文等多家AI巨头的美国科技倡导组织“商业软件联盟”（BSA）公开发文呼吁在国家隐私立法基础上制定管理人工智能使用的规则。并且向美国国会提出了四个明确的呼吁，试图对其立法方向进行引导。2023年4月25日知乎发布公告，打击批量发布AIGC类内容的帐号。2023年5月9日抖音发布《关于人工智能生成内容的平台规范暨行业倡议》，平台将提供统一的人工智能生成内容标识能力，帮助创作者打标，方便用户区分。2023年5月22日，三位OpenAI联合创始人署名发表文章，希望政府考虑按照核武器监管模式，组建人工智能行业的“国际原子能机构”，为该行业制定全球规则。

3.AI监管：平衡创新与安全，监管手段多样

AI监管主要是面向AIGC技术的违规应用，以应对AIGC可能给社会、政治、金融、教育带来的危害，这也是国家安全、社会安全的关键。因此，对于AI监管来说，要从安全机制、技术手段等层面进行突围。

3.1.引入安全机制

现阶段，国内AIGC类应用的内容安全机制主要包括：1)训练数据清洗：训练Al能力的数据需要进行数据清洗，把训练库里面的有害内容清理掉；2)算法备案与安全评估：AI算法需要按照《互联网信息服务算法推荐管理规定》进行算法备案，并提供安全评估；3)提示词过滤：平台需要对提示词、提示内容等进行过滤拦截，避免用户上传违规内容；4)生成内容拦截：平台对AI算法生成的内容进行过滤拦截，避免生成有害内容；5)对AI生成内容进行显著标识：相关人工智能创作工具在生成多媒体内容时，可添加标识元数据到多媒体文件的元数据中，使得不同的平台及工具能够互认标识元数据。

3.2.技术监管手段丰富

1）用AI技术来识别内容是否为AI生成：如人民网联合传播内容认知全国重点实验室发布的“深度合成内容检测平台AIGC—X，采用算法融合与知识驱动的人工智能框架，使用深度建模来捕捉困惑度、突现频次等隐式特征，学习得到机器生成文本与人工生成文本的分布差异。该平台可以服务于媒体和互联网平台的内容风控需求，提供AI生成内容标识、虚假信息识别等服务。公测数据表明，AIGC-X对各类人工智能生成内容平台检测的准确率均超过90%。

技术方面，以人脸识别这一场景具体来说，可以从三方面入手：生成瑕疵：由于相关训练数据的缺失，deepfake模型可能缺乏一些生理常识，导致无法正确渲染部分人类面部特征。固有属性：指的是生成工具、摄像头光感元件固有的噪声指纹。高层语义：检测面部动作单元（肌肉群）协调性、面部各区域朝向一致性、视频微观连续性等方面的问题，由于这些细节建模困难、难以复制，很容易抓到把柄。

2）用AI技术来识别违规内容：如新华网的事实核查机器人，基于新华智云自主研发的AI算法，具有文字检测、图像检测、视频检测和音频检测等四大功能，能对文本、图像、视频、音频等多种媒介进行安全核查，规范新闻报道书写，搭建人机交互审核平台，搭建智能高效的安全防护体系，助力企业降本增效。

3）用AI技术进行安全监管反欺诈：统计分析：运用对比分析、趋势分析、分布分析、漏斗分析等数据分析手段，挖掘数据一致性、集中性等特征发现欺诈规律，具体采用数据分析技术+客群分类+场景化先验知识假设的技术手段，可以获取具有很好指标的模型。规则+简单统计模型：基于用户注册、登录、消费、转账信息构建统计特征、拟合特征和分类特征等，对接指数移动平均算法、LOF、IForest、Holt-Winters、ARIMA算法发现异常点。基于欺诈知识库的有监督学习算法：从已有沉淀知识库中深度挖掘隐藏的欺诈模式，提供在线实时预测服务。常用的算有XGBoost、DeepFFM、XDeepFM、Wide&Deep、DIN等。

利用机器学习改良专家规则策略：1）基于数据算法驱动，自动化调整的场景规则集中的阈值和权重，以保障规则持续有效性。利用机器学习对于规则的规则阈值、权重等进行修改，具体涉及特征离散化、特征选择、特征降维、权重参数回归等流程。2）发现新规则方面，主要是基于布尔关联规则与量化关联规则使用Apriori、FpGrowth算法对于数据集进行挖掘。深度学习+时间序列检测算法：序列算法可以从较长时间窗口行为序列上识别异常。图关联数据的挖掘算法：是一种更加广泛的数据表示方式，数据之间的关系通过图的形式进行表达，图挖掘算法可以在短的时间截面上通过关联关系发现和识别风险。引入关联图谱关系定义，通过共用、共享、连接指向等关系定义，构建基于不同资源维度的复杂关系图谱，如账号图谱、设备图谱、电话号码图谱等。

4）监管大模型的自动检测工具：伪造检测行业基础大模型：如中科睿鉴历经三年开发的伪造检测行业基础大模型。面向公共安全、金融安全、互联网内容安全等重点行业，睿鉴逐步积累了分行业、分场景的伪造检测能力，形成了核心技术——AI基础设施——行业基础大模型的体系化能力底座，参数量级达到60亿。新的伪造生成技术一经面世，通过微调，就可在基座模型基础上针对性地迅速分化出相应的检测模型。

研发AI安全检测平台，“用AI检测AI”。蚂蚁集团与清华大学联合发布针对AIGC大模型的全数据类型AI安全检测平台“蚁鉴2.0”，其通过智能对抗技术，生成海量测试数据集，对AIGC生成式模型进行交互诱导，从而找到大模型存在的弱点和安全问题，能够识别数据安全、内容安全、科技伦理的多种风险，覆盖表格、文本、图像等多种数据和任务类型。蚁鉴2.0可对大模型生成内容进行个人隐私、意识形态、违法犯罪、偏见与歧视等数百个维度的风险对抗检测，并生成检测报告，帮助大模型更加有针对性地持续优化。此外，为解决模型黑盒问题，蚁鉴2.0融入可解释性检测工具。综合AI技术和专家先验知识，通过可视化、逻辑推理、因果推断等技术，从完整性、准确性、稳定性等多个维度对AI系统的解释质量量化分析，帮助用户更清晰验证与优化可解释方案。

3.1.AI监管有望催生千亿市场

2030年人工智能核心产业规模有望超万亿。2023搜狐科技峰会上，中国科学院原院长、中国科学院院士白春礼在演讲中表示，未来5-10年将是人工智能发展的关键期，据艾媒预测，2030年我国人工智能核心产业规模将超过1万亿元人民币，2030年全球人工智能市场规模将达到16万亿美元。AI监管有望催生千亿市场。一般信息化投入中安全占比至少在5%-10%以上，而由于AI大模型的特殊性，AI安全未来将成为所有参与方必须考虑的问题，贯穿从数据标注、模型训练和开发、内容生成、应用开发的事前-事中-事后全过程，投入力度不亚于传统安全投入，因此假设AI监管在整个产业链中的占比按照5%-10%来测算的话，我们预计到2030年国内AI大模型的监管市场规模将达到500-1000亿元。

3.2.AI监管行业竞争要素：品牌、技术、市场

AI监管行业下游客户需要一体化的解决方案能力和良好的保密性，拥有完善的产品和服务能力且有国资股东背景背书的厂商，是下游客户的首选。一方面，随着监管侧的日趋严格和安全需求的提升，AI全周期的安全和监管输出能力是客户最为需要的。因此，厂商是否有成熟的大客户的完整的安全解决方案，将会是未来客户选择AI监管公司的重要考虑因素，我们认为在内容侧监管具备深厚历史积累厂商将会在行业经验和资源方面形成一定的壁垒，这也有望是获得客户订单的前提。另一方面，客户对数据信息极为敏感，因此有国资股东背景的厂商更容易受到客户的青睐。研发实力亦是未来龙头企业重要的护城河。AI作为新兴技术，随着政策法规的逐步完善，也将有望得到广泛的应用，而这一过程将会使得客户的系统面临的安全和监管问题不断增加，相关系统的建设将呈现复杂度提升的趋势，因此AI监管领域的技术能力门槛也会很高，预计具备较强研发实力或者与国内技术实力领先的研究机构合作的企业方能更好得满足客户的需求。

声明：本文系本网站编辑转载，转载目的在于传递更多信息，并不代表本网站赞同其观点和对其真实性负责。如涉及作品内容、版权和其他问题，请在本网站转载后30日内与本网站联系，我们将在第一时间妥善处理。本网站转载文章版权归原作者所有，内容为作者个人观点，本网站仅供参考，并不构成任何投资及应用建议。本网站拥有对此声明的最终解释权。