要用 AI 自动化重复任务，选择一个高频、有边界且可以测量输入与合格输出的流程。把稳定规则留给普通代码，只让 AI 处理真正需要语言判断的环节，并以最小权限、无真实副作用的方式测试整条链路。先做影子运行，再逐步允许受控执行。

OpenAI 的工作研究显示，AI 正更多用于完成实际任务。［1］但“完成”不等于安全自治。真正可交付的是一条有负责人、schema、测试集、监控、暂停条件和人工回退的受控工作流。

关键要点

选任务前先测量当前人工流程。

优先高频、稳定、可逆、错误代价低的候选。

分开确定性处理与 AI 判断。

把所有外部内容当作不可信数据。

从只读 dry-run 和影子对照开始。

上线前定义暂停、回退和人工接管。

如需先理解模型、调用工具的系统与自主循环之间的区别，请阅读什么是 AI Agent。本文只处理一个真实流程的选择与验证。

如何安全地用 AI 自动化重复任务？

先观察足够多的人工案例，看清正常的变化范围。记录触发条件、输入、步骤、涉及的系统、处理时间、等待时间、返工、常见例外、错误代价，以及由谁解决歧义。不要从工具演示出发，再寻找部署位置。

建立候选任务评分表：

因素	合适的首个候选	风险信号
频率	足够频繁，可以测量	少见或季节性
规则稳定性	步骤和政策变化慢	每个案例的判断都在变
输入边界	已知字段和来源	开放式收件箱或任意网页访问
错误代价	可逆且修正成本低	涉及金钱、权利、安全或删除
评估方式	有明确验收标准	质量取决于隐性偏好
例外	少量且已标记	例外主导整个流程
权限	只读或狭窄写入范围	广泛管理员权限

合适的首个候选包括：把已获批准的文本归入小型分类体系、起草供人审阅的回复、把字段抽取到队列中，或格式化已核验的摘要。不适合作为第一步的包括：发放退款、修改账户访问权限、删除记录、对外发布，或作出法律或雇佣决定。

若人工流程尚未稳定，先使用AI 生成 SOP 与检查表的流程。自动化一个没有文档的流程，往往会把原有的混乱保留下来，同时移除过去能发现错误的沟通环节。

步骤 1：记录人工基线

选定测量时段，并按隐私和记录保存规则收集有代表性的案例。为每个案例记录完成时间、排队时间、质量缺陷、返工、升级处理和最终结果。在开始 AI 试验前，先定义哪个指标最重要。

基线可以追踪：

处理时间的中位数和最坏情况；
无需修正即被接受的比例；
关键错误数量，而不只是平均质量；
仍然需要的人工审阅量；
例外和升级比例；
运行成本与故障恢复成本；
对用户或相关方的影响。

不要把“输出看起来不错”当作验收测试。编写评分标准，列明必填字段、禁止内容、容差和拒绝示例。另外保留一组不参与调试的测试集，避免提示词调优把每个评估案例都“背下来”。

明确工作流负责人。此人决定范围、接受剩余风险、批准变更，并且可以暂停系统。开发者或供应商不应仅因搭建了自动化，就悄然成为业务负责人。

步骤 2：拆分确定性步骤和 AI 任务自动化

把流程拆成小阶段来画。解析稳定格式、校验必填字段、检查允许清单、计算总额、执行权限、按精确 ID 去重，以及应用明确的业务规则，都应使用普通的确定性逻辑。只有在语言变化或有边界的分类能带来价值时才使用 AI。

例如，一个入站请求工作流可以是：

确定性的文件与发送者检查；
内容隔离和大小限制；
AI 按获批分类体系进行分类；
确定性的 schema 校验与按置信度分流；
人工审阅不确定或敏感的案例；
确定性地写入队列，并记录审计事件。

这种结构让失败变得可见，也让你可以替换某个模型或提示词，而不必重写权限执行和副作用处理。

NIST 的生成式 AI 配置文件强调在设计、开发、部署和使用全过程管理风险，包括虚构内容、隐私、信息完整性和人工监督。［2］因此，工作流图应显示围绕模型的控制措施，而不是把模型本身当作控制措施。

步骤 3：固定输入与输出 schema

定义输入契约：允许的字段、类型、最大大小、编码、来源身份，以及缺失值如何处理。契约以外的材料要拒绝或隔离。绝不要把不可信内容拼接到高权限指令中，再假设一个分隔符就能保证安全。

定义机器可读的输出 schema。优先使用枚举值、显式可空字段、证据引用，以及 uncertain 或 requires_review 状态。解析之后要再做校验；不要执行一段只是“看起来像 JSON”的文本。

为每个字段说明：

是否必填；
允许的类型和范围；
AI 是否可以推断该字段；
由哪些输入证据支持；
缺失或无效时怎样处理；
是否必须由人批准。

两个 schema 都要版本化。改变含义的提示词或政策变更，应产生新的工作流版本，并重新运行测试集。不要在互不兼容的版本之间复用批准或缓存输出。

步骤 4：使用最小权限并划定副作用边界

只给工作流当前阶段所需的工具。分类器不需要付款 API，起草步骤不需要发送权限。可行时，为提议和执行使用不同的凭据和服务。

OWASP 的 Excessive Agency 指南建议尽量减少扩展、权限和自主程度，对高影响动作要求用户批准，并对工具调用进行完整中介。［3］这些控制应落实在集成层，而非提示词里的一句话。

从以下控制开始：

只读数据访问；
沙盒或隔离的测试租户；
严格的目的地和操作允许清单；
每次运行和每日的动作上限；
超时和有上限的重试；
为可重试写入使用幂等键；
适合你所在环境的只追加审计轨迹；
由模型以外的人或系统控制的紧急停止开关。

记录决策和副作用请求，但要隐去密钥和不必要的个人数据。日志不能变成敏感输入的第二份无人控制的副本。

步骤 5：防御提示注入和恶意输入

任何邮件、文档、网页、工单、评论或检索到的记录，都可能含有让模型忽略规则或调用工具的文字。把这些文字当作数据。OWASP 的提示注入防护指南建议分离指令和数据、验证输出、执行最小权限，并监控可疑行为。［4］

为以下情况建立测试：

直接的“忽略之前的指令”消息；
隐藏在检索内容中的间接指令；
经过编码或混淆的指令；
要求暴露系统提示词或密钥的请求；
试图更改目的地或动作类型；
超大内容和解析器边界情况；
试图批准其自身动作的内容。

不要依赖短语黑名单。攻击措辞会变化，而普通文档也可能包含同样的词语。持久有效的控制是：模型无法扩大权限、绕过校验，或调用未经中介的副作用。

自动化脚本和集成改动应使用AI 生成代码审阅流程。生成的代码不应继承生产凭据，也不应绕开与人工编写代码相同的审阅和测试标准来运行。

步骤 6：dry-run 正常、边界和恶意案例

在 dry-run 模式下，工作流只产出提议结果和提议动作，不改变外部状态。记录输入版本、工作流版本、输出、校验结果、预期结果、审阅者决定、延迟和失败原因。

使用三组测试：

正常案例：代表常见的有效输入；
边界案例：缺少字段、语言不常见、内容很长、重复或分类有歧义；
恶意案例：尝试注入、扩大权限、泄露数据或执行不安全动作。

还要测试系统故障：模型不可用、限流、响应格式错误、超时、凭据过期、下游拒绝、重复投递和局部中断。安全的结果应是明确停止或进入审阅队列，而不是静默“成功”。

把结果与人工基线和预先定义的评分标准比较。即使平均分提高，也要调查每个关键错误。一个速度很快、却偶尔把机密内容发到错误目的地的工作流是不可接受的。

步骤 7：以影子模式运行 AI 工作流自动化并保留控制

影子模式处理接近真实的输入，但不控制真实结果；人工流程仍是权威依据。把 AI 提议与人工决定进行比较，并按类别记录分歧。

把上线当作一个项目来规划，列明负责人、依赖、门禁和回退步骤；AI 项目计划指南提供了可用的结构。尽可能进行盲比，避免审阅者自动顺从一份语气自信的草稿。

为质量、关键错误、例外率、延迟和审阅者工作量定义上线阈值，同时定义停止阈值。严重的权限错误、意外目的地、缺失的审计事件或反复出现的不安全输出，无论平均表现如何，都应暂停上线。

只有在工作流负责人接受证据后，才从影子模式进入小范围 canary。限制用户、输入类型、目的地和动作量。人工后备流程要保持有人值守并经过测试。

监控、暂停、回滚与交接

监控输入漂移、schema 失败、人工覆盖率、审阅者分歧、关键错误、动作量、工具拒绝、注入信号、延迟和成本。按重要输入类别拆分指标，避免一个容易的类别掩盖另一个类别的失败。

每个生产工作流都需要：

有文档记录的暂停命令和获授权的操作人员；
最后一个已知安全的工作流版本；
识别受影响动作、并在可行时撤销这些动作的方法；
事件负责人和通知路径；
能承接中断工作的人工队列；
修正衍生数据并通知受影响人员的流程；
定期审查权限和未使用工具的安排。

上线前先测试回滚。如果某个动作不可逆，就要求更强的执行前批准，或把它排除在自动化之外。需要正式审批包的动作，请继续阅读人工批准 AI 工作流。

怎样判断 AI 任务自动化是否有效？

用相同的案例和定义与人工基线比较。测量无需修正即被接受的比例、关键错误、总人工投入、例外处理、恢复时间和相关方结果。如果审阅和修复工作增加得更多，节省的起草时间就不算数。

在政策、输入、模型、提示词、schema、权限或下游系统变化后，都要重新审查自动化。上个月通过的工作流，并不自动适用于新的动作或新的数据人群。

常见问题

最适合首先用 AI 自动化的任务是什么？

选择高频、有边界、可逆、规则稳定、输入已知、输出可测量且错误代价低的任务。供人审阅的起草或分类，通常比直接对外动作更安全。

任务自动化必须用 AI Agent 吗？

不需要。许多有用的工作流只是一条流水线：一个有边界的 AI 步骤，加上确定性控制。只有在自主能力解决了经过测量的需求、且额外风险受控时，才增加它。

模型应该直接调用工具吗？

只能通过可信的中介层，由其校验身份、范围、参数、权限和批准。模型绝不能自行获得新的工具或目的地。

需要多少测试案例才够？

没有通用数字。要覆盖真实的输入分布、重要例外、恶意案例，以及少见但影响大的失败。持续测试，直到预先定义的质量和安全阈值得到证据支持。

AI 不确定时怎么办？

输出 schema 应包含审阅状态。把不确定、无效、敏感或高影响的案例交给人处理，不尝试执行副作用。

怎样防止提示注入？

把外部文字视为不可信数据，隔离指令，限制工具，验证输出，对每个动作进行中介，并测试恶意输入。只靠短语过滤是不够的。

可以自动化不可逆动作吗？

它不适合作为首个候选。如果确有必要，就要使用更强的独立控制、绑定到精确动作的明确人工批准，并有证据表明无法用更安全的设计来处理失败。

什么时候应停止自动化？

当停止阈值被触发、权限或输入发生漂移、审计证据缺失、出现意外动作，或人工后备流程无法承接故障时，应暂停自动化。先调查，再恢复。

延伸阅读

免责声明：本文提供一般技术工作流信息。自动化可能带来安全、隐私、法律、财务和运营风险。重要系统应使用合格审阅者和组织批准的控制。

来源：

OpenAI — How the world is putting ChatGPT to work — https://openai.com/index/how-the-world-is-putting-chatgpt-to-work/
NIST — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
OWASP GenAI Security Project — LLM06:2025 Excessive Agency — https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
OWASP Cheat Sheet Series — LLM Prompt Injection Prevention Cheat Sheet — https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html

Sources checked 2026 年 8 月 24 日。

如何用 AI 自动化重复任务：最小权限试运行、影子对照与人工回退