Facebook开源数据增强库:AI支持精准识别盗版图文音视频

时间:2021-07-19 11:04:09       来源:量子位

7 月 18 日消息,只要稍微动点手脚,就会给 AI 模型的鲁棒性带来挑战。在 AI 眼里,下面这两张图片可能毫无关联。

不过,Facebook AI 在近日开源了用于数据增强的新 Python 库 ——AugLy。

使用 AugLy 数据增强训练 AI 模型,训练后 AI 可以对用户上传的内容,进行更精确的识别,有助于识别盗版图文音视频。

它支持音频、图像、视频和文本 4 种模态,提供了超过 100 种数据增强功能,可以对输入内容进行多种处理。

比如,改变文字的大小写、字体、编码方式,给文本添加标点、调整字母位置、模拟错别字,以及裁剪、旋转图片,给图片加文字、增加饱和度、增加亮度、改变清晰度等。

这一项目已经获得 1.8k 颗星,并且登上了 GitHub 热榜。

让 AI 识别「截屏转发」

AugLy 的目的是涵盖现实网络中具体的数据增强,用来创建样本,从而训练和测试模型。

根据 Facebook 和 Instagram 等平台上的生活图像和视频,AugLy 在统一的库和 API 下转换项目的所有数据,提供了超过 100 种数据增强方式。

其中包括 4 个子库,分别对应音频、图像、视频和文本 4 种模态。

这些子库包括基于函数和类的变换、组合,并且可以选择所应用的元数据及其强度。

以图片处理为例,AugLy 可以对图片进行裁剪、旋转、添加噪声、模糊处理、灰度处理等。

就像这样:

或者图片或视频上叠加文字和 emojis:

除了包含许多通用的增强功能,AugLy 更大的特点在于 ——提供“互联网用户”类型的数据增强方式。

比如,把图片转换成屏幕截图的样式,更加符合生活中常见的样子。

使用 AugLy 数据增强训练 AI 模型,这些内容相同而形式不同的信息,能帮助模型提高鲁棒性。

在复制检测、言论检测或版权侵权等工作中,训练后 AI 可以对用户上传的内容,进行更精确的识别。

此外,AugLy 已经被用于 Deepfake 检测挑战赛,用来评估模型的鲁棒性。

网友热议

这个新的 Python 库也受到了网友们的关注,在 Reddit 上获得了 350 + 赞。

有网友提出疑问:文本模块只支持英语吗?

一位热心网友表示:

看起来文本模块在很大程度上是对 nlpaug 的一种包装,因此 AugLy 支持其他语言,只需修改几个参数。

也有网友提出,为什么不直接把它加到 pytorch 里?

对此,有人回复道:

这样在安装的时候会很慢,有需要的的人单独安装就可以了,没必要让 pytorch 那么臃肿。

AugLy 要求 Python 3.6 以上版本,通过 pip 安装,但是在虚拟环境和系统环境中,还需要用 conda 和 sudo apt-get 命令单独安装 python-magic。

比较遗憾的是,AugLy 目前不支持输入批量图像,不过开发人员表示,以后将会完善这一功能。

新闻热点
奇闻趣事
频道推荐