6月30日,以假乱真的AI生成式图片,AI自己分辨不出来了。
这张马斯克和机器人女友的照片,5个鉴别器里有2个都觉得是真的:
还有这张人类和3米巨人的合照,居然5个鉴别器一致判断为真:
啊这,AI鉴别器似乎不太靠谱的亚子。
这就是《纽约时报》最近做的一项测试,他们找来了市面上五个常见的AI鉴别器,分别喂给它们100多张照片做测试。
结果发现,AI鉴别器不仅会把AI照片错认成真的,也会把真实照片划定为AI生成的。
而且不同鉴别器之间的水平差距也不小。
具体表现如何?一起来看
加点颗粒(Grain)就能骗过鉴别器
在这项测试中一共使用了5个AI鉴别器,分别是:
Umm-maybeIlluminartyA.I or NotHiveSensity
测试的内容包括AI和人类创作的图片,分别喂给每个鉴别器,看它们会怎样判断。
使用的AI创作工具包括Midjourney、Stable Diffusion、Dall-e等。
《纽约时报》主要展示了这样几个例子。包含5张AI创作的图片,以及2张真人拍的照片。
从统计结果来看,五个鉴别器中只有Hive全部判断正确。
Umm-maybe的表现最差,只判断对了两张图。
举例来看,这张照片是AI生成的,听说还在2月的一场摄影比赛中拿下大奖,这道题就难倒了大部分鉴别器。
但这张纯AI生成的照片,就没有逃过大部分鉴别器的法眼。
对于人类创作的照片,AI鉴别器的正确率比较高,两张照片都只有Umm-maybe鉴别器判断错误。
此外他们还专门测试了艺术画,发现大部分AI鉴别器能判断出这是真人画的。
对比另一幅AI创作的,同样也是四个鉴别器判断正确。
(Umm-maybe啊……是真的不太行)
值得一提的是,如果对AI图像进行一些加工处理,AI鉴别器会失效。
比如这张Nike男的照片,一开始有4个鉴别器判断它是AI生成的。
但如果给图片加一些颗粒,AI鉴别器就会将这张图片的AI含量从99%,判断为仅有3.3%。
最后,我们也测试了一些能上手实测的鉴别器(Umm-maybe、Illuminarty、A.I or Not)。
结果显示,对于“马斯克在苏联”这张图,Umm-maybe觉得它有85%的概率是人类创作的。
Illuminarty觉得它是AI创作的概率仅有5.4%。
只有A.I or Not确定了它是AI生成的。
AI鉴别的判断标准是啥?那么AI到底是怎么鉴别真伪的?
普遍来说,它们和人类的判断标准不太一样,人类一般以图像内容的合理性为依据,而AI更多是从图像的参数入手,比如像素的排列方式、清晰度、对比度等。
所以这就解释了开头那张巨人照片,为啥所有鉴别器都觉得很真。
在AI画画大火一年多以后,如今市面上已经出现了非常多鉴别器。
有的就是直接放在Hugging Face上供大家免费使用,有的则是已经成立公司,只提供API接口形式。
比如Hive就是一家提供商业解决方案的公司,从如上的测试结果可以看到,Hive的表现效果也是最好的,几乎都能判断正确。
而在这之前他们的主要业务是为平台网站提供数据审核服务,图像视频文字都支持,服务的平台有Reddit、Quora等。