GenAI带来了诸多益处 ，遏制但同时也伴随着数据安全风险 ，升的数据这主要通过影子AI的风险使用和敏感信息的泄露来实现。
在企业中 ，遏制这些风险正在加剧 ，升的数据因为员工经常使用私人GenAI账户来处理敏感数据 。风险
根据Netskope的遏制一项研究 ，尽管大多数企业(90%)都提供了官方批准的升的数据GenAI应用 ，甚至更多(98%)的风险企业为用户提供了包含AI功能的服务器租用应用，但企业中未经授权的遏制AI服务使用仍在激增 。
在企业中 ，升的数据大多数GenAI的风险使用(72%)都属于影子IT ，即个人使用私人账户访问AI应用，遏制这种形式的升的数据私人账户AI使用往往不受安全团队的跟踪 ，也不受企业安全政策的风险约束 。
Netskope发现，在过去一年中，云计算发送到GenAI应用的数据(包括提示和上传内容)数量增加了30多倍 ，导致敏感数据暴露量增加 ，特别是源代码 、受监管数据 、知识产权和机密信息 。
数据量从每月250MB增加到7.7GB ，主要以提示和上传的形式存在，尽管这些应用的使用者只是企业用户中的一小部分(4.9%) 。
另一项来自Harmonic Security的研究发现 ，源码库在2024年第四季度 ，员工向热门大型语言模型(LLM)发出的提示中 ，有8.5%包含了敏感数据，这些敏感泄露数据中，近一半是客户数据，包括账单信息和认证数据 。法律和财务数据占暴露信息的15% ，而安全相关数据(如渗透测试结果等)则占令人担忧的7% 。
缺乏监督影子AI是指企业内未经授权使用的AI服务 ，这些服务不受安全团队的高防服务器跟踪 ，也不受政策限制的管理 。安全和AI专家表示 ，几乎每个未能实施AI可接受使用政策的组织都可能因此途径而丢失敏感内部数据。
与影子AI相关的风险包括但不限于数据泄露 ，以及用户个人数据的合规和监管风险 。
KnowBe4的安全意识倡导者James McQuiggan表示：“员工在没有IT监督的情况下使用GenAI工具 ，经常将敏感数据粘贴到私人账户中 ，或依赖未经审查的代码建议 ，香港云服务器这些行为会增加数据泄露 、合规违规和软件完整性受损的风险 ，而用户往往意识不到这些影响 。”
全球网络安全公司NCC Group的技术总监David Brauchler表示 ，影子AI已成为安全领导者必须应对的必然趋势 。
“员工发现AI很有用 ，但如果没有得到批准和认可的方式来利用其能力 ，企业可能会很快发现敏感数据落入了第三方手中，”Brauchler警告说 。“这些数据可能会进入训练数据集 ，甚至可能通过漏洞和攻击直接暴露给攻击者 ，这种情况已经发生过多次 。模板下载”
治理风险Rapid7的数据和AI副总裁Laura Ellis警告说 ，影子AI给企业带来了重大的数据治理风险 。
“未经授权的AI工具使用可能导致敏感公司甚至客户信息的不经意暴露 ，从而产生潜在的合规和安全风险 ，”Ellis警告说 。“此外 ，依赖未经审查的AI输出会增加事实不准确的风险 ，这可能对品牌信誉和信任产生负面影响 。”
其他专家将AI的使用描述为一个监管不善 、为所欲为的环境 。
全球网络安全供应商Trend Micro的现场首席技术官Bharat Mistry警告说 ：“数据泄露 、知识产权盗窃和监管罚款不是假设 ，而是使用未经批准的AI的必然结果。”“这些工具中的许多在法律和合规灰色地带运作 ，完全无视行业特定法规和数据保护法 。”
Mistry补充道 ：“更糟糕的是 ，IT和安全团队不得不追逐这些影子 。随着未经授权的工具在各部门中的使用越来越多 ，可见性 、控制和风险管理都无从谈起 。”
行业分析师Bloor Research的专家研究员Cheney Hamilton警告说，GenAI工具正在迅速嵌入工作流程中 ，但往往缺乏监督——这与影子IT系统更广泛地兴起的发展态势相平行 ，并在此过程中产生了类似的风险 。
“风险不仅仅是技术上的 ，更是行为上的，”Hamilton说 。“员工正在使用GenAI工具来更快地完成工作 ，但如果没有明确的参数 ，敏感数据就会以传统安全框架无法捕捉到的方式暴露出来 。”
Hamilton补充道 ：“现在需要的是从反应性控制转向嵌入劳动力政策 、工作设计和甚至领导结构的主动性AI治理 ，因为GenAI不应该仅仅由IT或信息安全部门负责 ，它还需要来自人力资源、法律和合规部门的跨职能所有权 。”
风险缓解ChatGPT、Google Gemini和GitHub Copilot等工具的广泛采用正在创造一个网络安全治理挑战 ，而传统的方法和工具则难以应对。
专家指出 ，安全领导者需要采用明确的AI治理政策 、定期对AI系统进行红队测试以识别漏洞 ，以及全面的员工意识培训等措施来缓解与影子AI相关的风险 。
这些措施应包括 ：
• 实时监控 ：安全领导者应部署系统来跟踪和管理输入到GenAI(以及AI赋能的SaaS)工具中的数据 。
• 批准的AI列表 ：CISO应确保批准的AI供应商通过合同保护企业的数据隐私，并监控或阻止使用未经批准的AI解决方案 。
• 应用计划识别 ：安全领导者应确保员工使用的是付费计划，或不基于输入数据进行训练的计划。
• 提示级可见性 ：安全团队需要对共享到这些工具中的数据有完全可见性——仅仅监控使用情况是不够的。
• 敏感数据分类 ：安全系统必须能够在数据丢失时识别出敏感数据。
• 智能规则执行 ：CISO应与业务领导者合作 ，创建批准的工作流程 ，以塑造各部门或团体如何与GenAI工具互动 。
• 用户教育：必须对员工进行有关风险和最佳实践的培训 ，以负责任地使用AI 。
• 制定使用政策 ：安全领导者必须与业务领导者合作，定义AI的使用方式 ，包括哪些类别的内部数据可以发送给批准的供应商 。应建立明确禁止的使用案例。
一般来说 ，安全团队应监控组织内部的数据流动 ，并识别关键风险来源，无论是AI还是其他来源。AI水印可能有助于识别AI生成的内容 ，但并不能防止敏感信息首先丢失 。
数据丢失防护(DLP)可以帮助识别有风险信息的导出 ，但一些专家认为 ，该技术作为限制通过GenAI工具泄露信息的手段是有限的 。
Mindgard是一家AI安全测试公司 ，其CEO兼联合创始人Peter Garraghan警告说 ，GenAI引入了一类新的风险 ，这些风险超出了传统控制手段(如阻止 、DLP和实时指导)的有效管理范围 。
“问题在于现代AI系统的复杂性和不透明性，或黑盒性质 ，”Garraghan解释说 。敏感信息可以在AI模型或应用程序中被摄入 、转换甚至模糊处理 ，然后再输出给用户 。
Garraghan继续说道 ：“在这些情况下 ，标准控制手段在识别底层数据或上下文方面手段有限 ，这意味着潜在敏感信息可能在不触发任何警报的情况下被外泄 。”
为了真正确保GenAI的安全 ，组织需要一层专为这种新范式构建的保护 ，这包括能够发现和证明这些漏洞存在的安全测试工具，以及运行时检测AI特定漏洞的能力 。
“这些问题只有在模型执行时才会出现 ，如通过嵌入或编码导致的数据泄露 ，”Garraghan(同时也是英国兰卡斯特大学的计算机科学教授)补充道 。
