在 Gradio 演示的最后一个标签页中,您可以将图像数据集导出为 Label Studio 可以加载的格式。Label Studio 是一款开源工具,用于标注数据,为机器学习任务做准备。在 Label Studio 中,我们可以定义要应用于数据集的标签。例如,我们可能想要从数据集中提取特定类型的图像。我们可以使用 Label Studio 创建带有这些标签的标注版本。这需要我们为数据集中的图像分配正确的标签。虽然这个过程可能需要一些时间,但它是进一步探索数据集并确保标签合理性的有效方法。
我们需要一个模型,它能够将输入文本(例如“一张狗的图片”)嵌入到模型中,并将其与数据集中所有图像的嵌入向量进行比较,从而找出最匹配的图像。我们使用Hugging Face Hub 上托管的CLIP模型的一个变体: clip-ViT-B-16。该模型可以将文本和图像都转换为嵌入向量,并返回与文本提示最匹配的图像。