谷歌最近在 Google Colab 上开源了一个名为 RETVec 的谷歌高垃新型多语言文本矢量化器，这个矢量化器已经部署在 Gmail 上，部署别率用来提升垃圾邮件和钓鱼邮件的矢量算法识别率，同时降低误报率。大幅度提钓鱼的识

谷歌称 RETVec 经过训练能够抵御字符级操作，圾和包括插入、邮件删除、蓝点拼写错误、谷歌高垃同形文字、部署别率LEET 替换等，矢量算法这个模型是大幅度提钓鱼的识在新型字符编码器之上进行训练的，该编码器可以有效针对所有 UTF-8 字符和单词进行编码。圾和

为什么要训练这样一种模型呢？邮件因为 Gmail 每天收发的邮件都在千万级别，如果包含各类垃圾邮件的蓝点话可能有几十亿，而垃圾邮件制造者会对谷歌的谷歌高垃检测系统进行规避，例如使用同形字。

RETVec 支持 100 多种语言，旨在帮助构建更具有弹性和高效的服务端和设备上的文本分类，同时也更加强大和高效。

根据谷歌自己的统计，将 RETVec 应用到 Gmail 后，垃圾邮件检测率比基准提高 38%、误报率降低 19.4%、张量处理单元 (TPU) 使用率降低了 83%。

谷歌工程师表示由于其紧凑的表示形式，使用 RETVec 训练的模型表现出更快的推理速度，较小的模型可以降低计算成本并减少延迟，这对于大规模系统和设备上的模型至关重要。

矢量化是 NLP 即自然语言处理中的一种方法，用于将词汇中的单词或短语映射到相应的数字表达，以便执行进一步分析，例如情感分析、文本分类和命名实体识别等。

(责任编辑：知识)