网络安全中的AI: 明确战略方向

GenAI是众多旨在通过任务自动化提升生产力的技术之一。然而，过去尝试将复杂安全活动完全自动化的案例鲜有成功，反而可能分散注意力，造成资源浪费。

尽管GenAI模型及第三方大语言模型（LLM）带来了诸多优势，但也引入了前所未有的用户风险，要求企业调整安全实践。相关风险大致可分为三类：

内容异常检测

• 产生幻觉性输出、事实性错误、违规或侵权内容以及其他不当内容，可能导致决策偏差并引发品牌声誉危机

• 不当或恶意使用

• 通过提示注入未受管控的企业内容，导致机密数据泄露

数据保护

• 托管供应商环境的数据泄露风险可能导致内容完整性受损，并威胁用户数据的机密性。

• 外部托管环境存在治理挑战，难以有效管理隐私及数据保护政策

• 由于第三方模型的“黑箱”特性，难以进行隐私影响评估并满足地域性合规要求

• 原始数据一旦被吸收，除非重建模型（成本极高且不切实际），否则无法彻底擦除

讽刺的是，使GenAI备受瞩目的对话界面，反而成为其在企业内部落地失败风险上升的主要因素。主要挑战体现在以下两个方面：

使用率与投资回报率（ROI）。GenAI的ROI取决于员工的使用情况及技术带来的实际收益。然而，员工并不一定主动采用对话界面。如果缺乏明确的价值主张，GenAI将难以融入日常工作流程。此外，GenAI对业务的实际贡献则难以量化，企业往往只能跟踪使用频率，而实际使用情况只有用户知晓。

提示与幻觉。不同用户以不同方式提出相同问题，可能会得到截然不同的答案。提示的质量直接影响回答的准确性，而AI生成的答案可能存在幻觉。企业应通过提示工程培训提升员工的提问能力，并在用户遇到错误答案时提供支持。此外，还需投资提示预处理和响应后处理机制，以减少幻觉现象，提高生成内容可靠性。

为应对以上问题，可监控安全从业人员在特定任务中的实际操作，预先构建标准化提示，降低用户对自由对话输入的依赖。