新加坡把Gemma放到本地反诈:聊天内容不必上传云端

|作者: QUASA 编辑团队|2 分钟阅读
新加坡把Gemma放到本地反诈:聊天内容不必上传云端

据CNA现场报道,新加坡数码发展及新闻部长杨莉明10月14日在新加坡国际网络安全周介绍了GovTech与Google DeepMind的合作:双方正开发面向Android设备的实时诈骗检测能力。设想中的提醒会出现在用户交出钱款或账户资料之前,聊天分析则留在设备上完成。

Google DeepMind的项目公告同日说明,双方已针对新加坡本地诈骗话术微调Gemma,并测试了先筛查消息、再复核对话的端侧模型;GovTech信任与安全总监Mark Chen将原则概括为“Fighting scams shouldn't mean sacrificing personal privacy.” 模型仍须接入应用并取得用户同意,公众目前还没有明确的使用渠道或上线时间。

消息怎样进入Gemma复核

新加坡Gemma反诈流程先筛查新消息,再对可疑对话作上下文复核

每条新消息先经过耗电较低的轻量分类器。它判断消息是否值得进一步分析:未被标为可疑的消息止于初筛,被标出的消息才交给经过微调的Gemma。这样安排,是为了避免手机持续对所有来信运行计算量更大的上下文分析。

Gemma接手后,看的不再只是触发初筛的那条消息,而是更大范围的连续对话。模型据此判断是否存在操纵意图,并决定发出诈骗警告,或排除初筛带来的疑似误报。单条看似普通的请求,放进逐步建立信任、冒充身份并催促行动的交流中,可能呈现不同含义;这也是复核需要上下文的原因。

模型使用的新加坡本地诈骗材料涵盖冒充公共机构、银行、本地人物以及区域内流行的手法。其目标是在日常聊天与诱导交钱、交出敏感资料的对话之间作出区分,而不是只寻找某个固定词语或号码。具体应用能让模型接触哪些对话,将取决于它获得的权限和用户同意的范围。

本机分析与训练数据分别怎样处理

聊天不必为这项检测上传云端,指的是模型接入应用后的运行方式:获用户同意访问的对话在设备上分析,识别到操纵迹象时,警告也直接出现在设备上。按公布的设计,Google和新加坡政府不会通过该模型的部署取得用户对话。这项承诺针对模型的检测流程;未来承载它的应用仍须说明自身的数据处理和权限设置。

模型的微调发生在另一个环节。训练工作在GovTech管理和维护的Google Cloud环境中进行,训练数据保持隔离;所用匿名化材料来自诈骗报案和情报线索,排除了公民私人资料及可识别个人身份的信息。云环境中的模型训练,与日后手机对获授权聊天进行本地分析,是用途和数据来源不同的过程。

这一安排也关系到加密聊天。一些通讯平台采用端到端加密,服务端无法像扫描公开网页那样检查私人对话;把检测放在设备上,可以在对话发生的位置寻找风险信号。端侧运行并不自动赋予模型读取所有聊天软件的能力,接入方式与用户授权仍要由具体应用落实。

测试过模型,预警效果仍待衡量

新加坡拟议中的手机端诈骗预警旨在用户交出资金或敏感资料前促使其暂停

合作方已用合成对话和本地语料测试模型,覆盖不同诈骗类别及变化中的冒充手法。预设的警告时点是在用户分享敏感资料或钱款之前:模型发现操纵性对话,就提示用户暂停。它瞄准的是诈骗从说服走向行动的环节,实际能阻止多少损失仍需使用数据衡量。

据Fintech.com.sg的项目报道,公开资料尚未给出检测率、误报率,或真实使用环境中的效果数据。正常交流若频繁触发警告,用户可能逐渐忽视提醒;诈骗对话若漏过初筛,Gemma便没有机会结合后续上下文复核。这些是流程中的潜在风险,不能当作已经观察到的测试结果。

复核环节还承担另一种取舍:初筛越敏感,Gemma需要处理的正常对话就可能越多,手机耗电和误报压力也可能随之变化。已公布的流程解释了为何采用轻量初筛,却没有提供足够数据,判断模型面对不同语言、设备条件或新话术时会怎样表现。

普通用户何时可能看到提醒

新加坡国际网络安全周公布GovTech与Google DeepMind的设备端反诈合作,公众部署仍待推进

合作方计划与新加坡政府协作,分阶段把模型接入应用;目前公布的是经过微调和测试的模型,而非已经向所有用户开放的独立反诈应用。CNA报道的Android方向也不等于每部Android手机会自动获得这项功能。实际覆盖哪些通讯场景,要看首批接入的应用及其取得的权限。

使用前的同意同样是部署条件。只有在用户同意、并符合承载应用使用条款的情况下,模型才能访问设备上的对话。因此,公众能否使用它,最终会由具体应用的推出安排决定,而不取决于手机是否能够运行Gemma。

接下来有待公布的是首批应用、支持的设备、授权方式和上线时间。届时若同步提供真实环境中的检测率与误报数据,用户才更容易判断屏幕上的一次警告有多可靠;在此之前,端侧处理说明了聊天可以怎样留在手机上,尚未说明这项保护何时会进入日常使用。

相关阅读:

分享:

订阅我们的新闻通讯

将最新 Web3、AI 和加密货币新闻直接发送到您的邮箱。

0