Contrastive Language-Image Pre-training

CLIP

Тип	vision-language modeld[1] і програмне забезпечення
Розробник	OpenAI
Перший випуск	5 січня 2021
Мова програмування	Python
Ліцензія	MIT License
Репозиторій	github.com/OpenAI/CLIP
Вебсайт	openai.com/research/clip

Contrastive Language-Image Pre-training (CLIP) — це метод навчання пари моделей нейронних мереж, одна з яких призначена для розуміння зображень, а інша — для розуміння тексту, з використанням контрастової цільової функції.^[2] Цей метод уможливив широке застосування в багатьох галузях, включаючи кросмодальний пошук,^[3] генерацію зображень за текстом,^[4] та естетичне ранжування.^[5]

Метод CLIP навчає пару моделей контрастово.^[2] Одна модель приймає фрагмент тексту як вхідні дані та видає один вектор, що представляє його семантичний зміст. Інша модель приймає зображення і аналогічно видає один вектор, що представляє його візуальний зміст. Моделі навчаються так, щоб вектори, що відповідають семантично схожим парам текст-зображення, були розташовані близько один до одного у спільному векторному просторі, тоді як вектори несхожих пар знаходилися далеко один від одного.^[2]

Для навчання пари моделей CLIP спочатку готують великий набір даних пар зображення-підпис. Під час навчання моделям пред'являються батчі з ${\displaystyle N}$ пар зображення-підпис. Нехай вихідні дані текстової та візуальної моделей будуть відповідно ${\displaystyle v_{1},...,v_{N},w_{1},...,w_{N}}$. Два вектори вважаються «схожими», якщо вони мають великий скалярний добуток.

Функція втрат на даному батчі, — це багатокласові N-парні втрати (англ. multi-class N-pair loss),^[6] які являють собою симетричні втрати крос-ентропії над оцінками схожості:

$${\displaystyle -{\frac {1}{N}}\sum _{i}\ln {\frac {e^{v_{i}\cdot w_{i}/T}}{\sum _{j}e^{v_{i}\cdot w_{j}/T}}}-{\frac {1}{N}}\sum _{j}\ln {\frac {e^{v_{j}\cdot w_{j}/T}}{\sum _{i}e^{v_{i}\cdot w_{j}/T}}}}$$

По суті, ця функція втрат стимулює збільшення скалярного добутку між відповідними векторами зображення та тексту (${\displaystyle v_{i}\cdot w_{i}}$), водночас перешкоджаючи високим значенням скалярного добутку для невідповідних пар. Параметр ${\displaystyle T>0}$ — це температура, яка в оригінальній моделі CLIP параметризується як ${\displaystyle T=e^{-\tau }}$, де ${\displaystyle \tau \in \mathbb {R} }$ є навчальним параметром.

Можливі й інші функції втрат. Наприклад, Sigmoid CLIP (SigLIP)^[7] пропонує наступну функцію втрат:

$${\displaystyle L={\frac {1}{N}}\sum _{i,j\in 1:N}f((2\delta _{i,j}-1)(e^{\tau }w_{i}\cdot v_{j}+b))}$$

де ${\displaystyle f(x)=\ln(1+e^{-x})}$ — це від'ємна логарифмічна сигмоїдна функція втрат, а символ дельти Дірака ${\displaystyle \delta _{i,j}}$ дорівнює 1, якщо ${\displaystyle i=j}$, і 0 в іншому випадку.

Хоча оригінальна модель була розроблена компанією OpenAI, згодом моделі навчали й інші організації.

Моделі кодування зображень, що використовуються в CLIP, зазвичай є візуальними трансформерами (ViT). Схема найменування цих моделей часто відображає конкретну архітектуру ViT. Наприклад, «ViT-L/14» означає «vision transformer large» (великий візуальний трансформер порівняно з іншими моделями тієї ж серії) з розміром патча 14, що означає, що перед обробкою трансформером зображення розділяється на патчі розміром 14 на 14 пікселів. Показники розміру варіюються від B, L, H, G (base, large, huge, giant) у вказаному порядку.

Окрім ViT, візуальною моделлю зазвичай є згорткова нейронна мережа, така як ResNet (в оригінальній серії OpenAI) або ConvNeXt^[8] (у серії моделей OpenCLIP від LAION^[9]).

Оскільки вихідні вектори моделі зображень і текстової моделі повинні мати однакову довжину, обидві моделі мають вектори виходу фіксованої довжини, що в оригінальному звіті називається «розмірністю вкладення» (англ. embedding dimension).

Наприклад в моделях ResNet розмірності вкладень варіюються від 512 до 1024,^[10]: а для ViTs, від 512 до 768.^[10]:

1. ↑

   !pip install git+https://github.com/openai/CLIP.git
   !wget https://github.com/openai/CLIP/raw/main/CLIP.png -O CLIP.png
   
   import torch
   import clip
   from PIL import Image
   import numpy as np
   
   device = "cuda" if torch.cuda.is_available() else "cpu"
   for m in clip.available_models():
       model, preprocess = clip.load(m, device=device)
       
       input_resolution = model.visual.input_resolution
       context_length = model.context_length
       vocab_size = model.vocab_size
   
       print("Model parameters:", f"{np.sum([int(np.prod(p.shape)) for p in model.parameters()]):,}")
       print("Input resolution:", input_resolution)
       print("Context length:", context_length)
       print("Vocab size:", vocab_size)
   
       n_params_vision = sum(p.numel() for p in model.visual.parameters())
       n_params_text = sum(p.numel() for p in model.transformer.parameters())
       image = preprocess(Image.open("CLIP.png")).unsqueeze(0).to(device)
       image_features = model.encode_image(image)
       print(f"Model: {m}, #vision parameters: {n_params_vision:,}, #text parameters: {n_params_text:,}, embedding dimension: {image_features.shape[1]}")
       del model, preprocess, image, image_features