上篇把模型压缩与 ONNX 部署打通而「图文一起理解」这类多模态能力正在重新定义模型的边界。人类一眼看图、一读文字就能把两者联系起来——这是只橘猫。但模型长期被割裂成看图的和读字的。多模态学习要做的就是给 AI 一双能跨模态对齐的眼睛和耳朵。2021 年 CLIP 的出现彻底点燃了这个领域今天的所有视觉大模型VLM、文生图、以文搜图都建立在图文联合表征之上。本篇拆解这条主线并给你零样本分类的实战代码。一、多模态表征定义核心目标把图像编码器和文本编码器的输出映射到同一个语义向量空间使得配对的图像-文本向量接近、不配对的远离。image_encoder(image) - v_img ∈ R^d text_encoder(text) - v_txt ∈ R^d 目标 sim(v_img, v_txt) 大 sim(v_img, v_txt-) 小当这个空间训好后猫的照片和a photo of a cat的向量就会彼此靠近。一旦对齐任何用文字描述的新类别都不用重新训练——这就是零样本zero-shot能力的来源。二、CLIP 对比学习范式CLIPContrastive Language-Image Pre-training用4 亿图文对做了件朴素又暴力的事图像过 Vision Transformer / ResNet 得I文本过 Transformer 得T。一个 batch 内N个图文对构成N个正例对角线其余N²-N个为负例。用对比损失InfoNCE拉正例、推负例。L -1/N Σ log[ exp(sim(I_i,T_i)/τ) / Σ_j exp(sim(I_i,T_j)/τ) ]为什么强监督信号来自图文是否配对无需人工标注类别可规模化的弱监督。文本侧天然是开放词汇所以能零样本做分类把类别名写成 prompt哪个文本向量和图像最像就判哪类。迁移性极好是后续 DALL·E、Stable Diffusion、BLIP-2 的视觉编码器基石。三、BLIP 及后续演进CLIP 只有对齐没有生成。BLIP补足了这一环统一了理解ITM、ITC与生成LM三个预训练目标能同时做检索和看图说话captioning。用生成式模型给网络爬取的噪声图文对洗数据再用干净数据回训缓解网络数据噪声问题。BLIP-2进一步用轻量Q-Former桥接模块把冻结的视觉编码器如 CLIP ViT连到冻结的大语言模型如 OPT/LLaMA既保留视觉先验又借到语言推理能力训练成本极低。Flamingo类似思路强调少样本视觉对话。一句话趋势冻结大模型 轻量桥接正在取代全参数多模态预训练因为前者省钱且能复用单模态 SOTA。四、零样本分类与图文检索实战用open_clip几行代码就能跑通零样本分类import open_clip import torch from PIL import Image ​ model, _, preprocess open_clip.create_model_and_transforms( ViT-B-32, pretrainedlaion2b_s34b_b79k) tokenizer open_clip.get_tokenizer(ViT-B-32) model.eval() ​ image preprocess(Image.open(cat.jpg)).unsqueeze(0) # 用自然语言描述候选类别 text tokenizer([a photo of a cat, a photo of a dog, a photo of a car]) ​ with torch.no_grad(): logits (model(image) model(text).t()) * model.logit_scale.exp() probs logits.softmax(dim-1) print(probs) # 无需任何微调直接判类以文搜图把图库全部过model(image)存成向量查询文本过model(text)算余弦相似度排序即可。这正是现代以文搜图引擎的最小原型。五、偏见与评测难点多模态不是没有代价数据偏见训练语料来自网络会继承其中的刻板印象如某些职业与性别的错误关联。分布偏移CLIP 在欧美场景训得多对中文、特定文化对象可能失灵——中文多模态模型如国产 VLM因此重要。评测难零样本泛化好但细粒度/长尾类别仍弱需要多基准ImageNet 系列、检索 Recall、VQA综合评估单一指标易误导。六、前沿趋势统一架构把图像、文本、音频、视频都塞进一个 LLM如 GPT-4V、Qwen-VL用统一 tokenizer 处理。视频/3D 多模态从图像-文本扩展到时序与空间。端侧多模态把 CLIP 量级模型量化部署到手机呼应第 16 篇压缩。总结多模态的本质是把看图和读字拉进同一个向量空间。CLIP 用对比学习点燃、BLIP-2 用轻量桥接降本今天几乎所有视觉语言应用都建立在这套范式上。本文的 open_clip 零样本代码可直接体验不用训练就能认新东西的魔力——这正是大模型时代最实用的能力之一。参考资料Radford, A., et al. (2021).Learning Transferable Visual Models From Natural Language Supervision(CLIP).Li, J., et al. (2022).BLIP: Bootstrapping Language-Image Pre-training.Li, J., et al. (2023).BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models.open_clip 项目https://github.com/mlfoundations/open_clip往期回顾模型训练调参技巧——学习率、正则化与优化器文本分类任务——从传统机器学习到深度学习生成对抗网络 GAN 原理与图像生成应用本篇出自专栏《深学之路从感知机到智能体》—— 从感知机到大模型智能体的完整深度学习连载基础工程化 扩散模型 / RAG / Agent 等。每篇附可运行代码与原创实验收藏专栏不迷路。