新加坡AI智能体测试：四步流程与上线后复测

据《海峡时报》报道，新加坡信息通信媒体发展局（IMDA）于2026年10月14日发布面向AI智能体的安全与可靠性测试入门套件，测试路径包括风险识别、测试设计、运行与日志分析、上线后监控复测四步；IMDA首席执行官Ng Cher Pong在发布会上说：“When we give AI more agency, we need greater assurance over how that agency is exercised.”

这份套件的正式名称是Starter Kit for Testing Agentic Systems for Safety and Reliability。同场公布的还有AI Verify Foundation的AI Tester Accreditation Programme（AI TAP）首批第三方测试机构。对准备让智能体发送邮件、修改客户记录或调用业务工具的企业，测试重点是它实际访问了什么、执行了什么，以及权限和护栏是否在行动发生前起作用。新加坡实务解读指出，发布信息没有将采用该套件规定为所有企业的普遍强制义务。

为什么最终答复正确，测试仍可能失败

能替用户采取行动的智能体，风险不只在它说错话。它可能发出一封内容正确的邮件，却在准备邮件时读取了另一名客户的资料；也可能最终把联系方式改对了，却先调用了未经授权的工具。只看客户收到的回复，会漏掉这些已经发生的数据访问和系统操作。

因此，测试要沿着一次任务的行动链检查：智能体选择了哪些工具、向工具传入什么参数、读取哪些记录、何时作出决定，以及是否经过必要的人工批准。邮件、客户关系系统和审批流程各自都可能设置限制；一次任务成功完成，并不能代替对这些限制的核验。测试记录也要区分智能体在回复中声称做过的事，以及工具和业务系统留下的实际操作。

权限边界需要写得足够具体。如果智能体只获准修改某名客户的联系方式，测试就应检查客户匹配、可读记录范围和可写字段。若来信要求同时改动账单信息，系统应把超出授权的部分停下或交给有权限的人；仅在回复中表示“需要人工处理”，却已写入账单字段，仍属于失败。

邮件和客户记录：把四步变成测试用例

假设的客户邮件处理场景中，智能体可更新获准的联系方式，越权修改账单字段的动作则被阻止。

以下是一个假设场景：企业拟让智能体处理客户邮件，并在客户关系系统中更新联系方式。企业规定，智能体核对客户身份后才能更新获准字段；涉及账单信息的修改需要人工处理。这个例子用于说明如何设定可观察的测试条件，并非IMDA公布的实际测试结果。

识别风险。先列出完成任务必需的权限与可能造成后果的偏离。智能体需要读取来信、查找对应客户、更新联系方式并发送确认邮件；风险则包括选错客户、读取无关记录、发错收件人、越权修改账单字段，以及身份核对失败后继续操作。风险不能只写成“可能不安全”，而应指明发生偏离的动作和系统。
设计测试。每个用例都要有输入、预期动作和失败条件。可以在假设来信中同时要求更改联系方式与账单信息：预期是只处理获准字段，并将账单请求交给人工。另一封来信可使用与系统记录不一致的客户编号，检验智能体会暂停核对，还是凭相似姓名选中错误记录。发送邮件的用例则应明确允许的收件人和发送前所需的审批。
运行并分析日志。在受控条件下执行用例，将预期路径与工具调用、访问记录、字段变更和发信记录逐项对照。即使最终邮件发给了正确客户，只要日志显示智能体读取了无关客户资料，该用例仍须记录为越界。若系统要求先核对身份再写入，日志出现相反顺序，也不能因最终记录正确而判为通过。
上线后监控与复测。部署后的客户来信和系统配置会变化，原先通过的用例需要在相关变化后再次运行。新增可调用工具时，要重新检查数据访问范围；调整人工审批规则时，要复测交接与拦截；更换模型或提示词时，要观察相同请求下的工具选择和拒绝行为。运行记录还可用于发现上线前用例没有覆盖的异常路径。

这些用例的关键，是把“护栏有效”转成动作发生前就能判定的条件。例如，身份核对失败时，数据库不能出现写入；账单修改未经批准时，相应字段必须保持原状。若日志只能看到智能体的最终回复，看不到工具调用或系统变更，企业就难以判断限制究竟拦住了操作，还是操作完成后才发出警报。

上线后复测要盯住什么变化

发布前测试验证的是当时的模型、权限、工具和业务规则组合。客户资料结构调整后，原本准确的客户匹配可能选错记录；工具权限扩大后，旧用例也未必覆盖新增的操作。因此，复测应围绕变化点选择相关用例，同时保留能识别原有越权风险的测试。

监控还需要把结果与过程联系起来。发现异常邮件时，记录应帮助定位问题出在客户匹配、内容生成、收件人选择，还是发送前审批；发现错误字段变更时，则要查明使用了哪个账户和工具。对于需要人批准的动作，证据应是实际交接和批准记录，而不是智能体在对话里说了一句“已转交”。

复测结果也有边界：某一版本在既定用例中通过，只能说明该版本和配置在这些条件下的表现。业务流程增加新动作，或供应商改变智能体可调用的工具后，企业面对的是新的行动路径。持续监控的作用，是尽早发现这些路径，并决定哪些需要进入下一轮测试。

认证测试机构能评估到哪一步

AI Verify Foundation的认证名录列出首批五家第三方测试机构，并区分各自获认可的测试方法。

需要独立评估时，企业可以查看AI Verify Foundation认证名录：首批五家机构为AIDX、Knovel Engineering、PwC Singapore、Resaro和Vulcan；名录逐家列明获认可的测试方法与风险领域。认证针对机构已展示的特定测试能力，并不等于它评估过的每个AI系统都取得全面安全认证。

名录中的方法包括基准测试和红队测试，覆盖的数据泄露、对抗性提示等风险领域也按机构分别列出。这与企业要验证的具体行动链并非自动对应：一家机构获认可的范围，未必涵盖客户记录更新时的权限越界，或邮件发送前的人工审批。委托外部测试时，受测版本、可见日志、工具权限和失败判定仍须写进评估范围。

当智能体能接触敏感客户资料、代表企业对外发信，或跨系统改写记录时，独立测试可为这些高后果动作提供另一组测试设计与发现记录。若企业只能从供应商获得有限日志，外部测试者也需要据此界定哪些行为可以直接观察，哪些只能通过输入和结果间接检验。系统后来增加工具或改变权限，原评估所覆盖的配置也随之发生变化。

这套指引目前提供的是组织测试的路径，而非所有企业必须完成的统一认证。对邮件和客户记录智能体而言，最直接的影响是：一旦它获得新的工具或写入权限，企业就需要重新检查那些可能触及客户资料、对外通信和人工审批的用例。