"李飞飞又出手了！开源了1亿张授权图片数据集，重塑视觉生成基准"
2026-05-31 06:17:17 新浪新闻
近日，这一商讨李飞飞、吴佳俊团该范围集，名字叫做 GPIC，该数据集包含了一亿张照片，总像素接近 28 万亿。https：//arxiv.org/abs/2605.30341） 他们还训练了一个参考模型作为基准，使用的是 JiT 架构，这是一种直接在像素空间里做流匹配的模型，参数为 1.1 亿，在 GPIC 训练了一个周期，用了大约 40 个小时，8 张 H100 显卡。GPIC 把图片打包成为固定的 tar 文件然后存在 Hugging Face 上，任何时候下载都是一样的。收集到的图片还不能直接采用，有的图片分辨率太低模糊不清，有的近乎空白，还有些图片的内容不合适。GPIC 解决了 AI 生图范围的两个老大难问片的许可证都清清楚楚，商用完全没难题； 其二解决了可重复性问题，该领域集给到是图片链接，时间久了链接就会失效，别人没法复现实验结果。他们还提供了一个标准的测试方式，该领域的 AI 模型能够在同样的规则下比拼生图能力。这意味着未来无该领域、游戏里的场景生成器甚至是电影特效工具，都能用上更聪明的 AI 生图模型。训练模型需要大量的图片，以前的做法是从网上到处扒图，然而很多图片都有版权，很多时候不敢随便用。https：//arxiv.org/abs/2605.30341） 对于使用图片的研究者来说，该行业集的测试标准不一样，A 模型说自己得分很高，B 模型说自己是第一，根本无法公平比较。该范围集，他们设计了一套测试规则，把一亿张图片分成三块，大部分用来训练模型，20 万张用来调试参数，100 万张作为测试基准。经过这套流程之后，最终留下了干净的照片。 图片准备好了，接下来就是配上文字描述。对比维度主要有五个，分别是：整体概括准不准、数量数得对不对、空间关系厘没厘清、颜色材质等属性绑定是否正确、图片里的文字识别得准不准。李飞飞等人此次干脆自该领域，他们从 Flickr 和 Wikimedia 两个网站收集了超过 1.1 亿张图片，只挑选那些明确允许商用的。https：//arxiv.org/abs/2605.30341） 为了验证 AI 写的描述到底如何，他们随机抽取了 1，520 张图，用人工方式重写一遍描述，之后拿着 AI 版本和人工版本作对比。https：//arxiv.org/abs/2605.30341） 他们使用一种名为 SSCD 该领域，给每一张图片都生成一个独一无二的特征码，对于那些相似度过高的照片只保留其中一张。面对这样一个工作量庞大的描述工作，肯定不能使用手工来写。他们使用 Qwen3 VL 4B 模型来批量生成，处理全部图使用了大约 500 张 H100 显卡，跑了一个多月。首先是标签式，就是为图片设置几个关键词，这种比较适合快速检索。其次是短描述式，即使用一两句话来概括主要内容，方便大众用户理解。再次是中描述式，就是用两三句话来交代细节和空间关系。最后是长描述式，就是使用五到七句话把背景、物体位置和文字信息全部写清楚。其最特别的地方在于所有图片都可免费用于商业和研究，无需担心版权问题。剩下的一亿张照片里，还有大批的重复内容。对于部分连拍照片、已被转发传播的照片以及修改版照片，都需要对其展开去重。每张图片都配有详细的文字描述，有的是一两个关键词，有的是五六句话的长段落。对于同一种图片，可以有多种文字描述的方式。针对同一个画面，李飞飞等人设计了四种描述方式。结果说明 Qwen3 VL 4B 模型在速度和准确率之间获得了最好的平衡，比更大的 Qwen3 VL 30B 模型并没有慢太多，不过质量却非常接近。用来比较的指标叫做 FD DINOv2，它采用 DINOv2 这个视觉模型来提取图片的特征，然后再计算生成图和真实图之间的统计距离。为此，他们采用 Qwen3 VL 4B 模型做自动筛选，把质量差和不安全的图片踢出去，大概淘汰了百分之一。对于 AI 生图来说，GPIC 好比为其提供了一本教科书，它不仅免费、开放、标准统一，还附带考试大纲，一定程度上可以为 AI 公司提供一个可以公平比较的标准。他们累计给一亿张照片设置了描述，短描述和中描述各占 45%，标签占 1%，长描述占 9%。最好结果的 FD DINOv2 得分为 76.25，这个分数不算高，不过从论文来看他们并不打算冲高分，只是给后来者立个标杆。相关论文的第一的博士生 Keshigeyan Chandrasegaran。训练 AI 生图模型的时候，只能采用那 100 万张测试集里的 5 万条描述去生成图片，接着和 100 万张真实图片做对比，看哪个模型生成得最像。有关论文 https：//arxiv.org/abs/2605.30341 https：//keshik6.github.io/
热点排行
3
今日商丘
新浪微博
商丘网