CLS 토큰과 Patch 토큰 상호작용 재고

기존 ViT는 [CLS] 토큰과 patch 토큰이 모든 Transformer 레이어에서 동일하게 self-attention을 공유한다. 이 논문은 두 토큰 유형의 역할이 근본적으로 다르다는 점에 주목:

토큰	역할	최적 처리
[CLS]	이미지 전체의 global representation	분류에 최적화
Patch	각 위치의 local feature	dense prediction에 최적화

기존 문제

기존 ViT에서 [CLS] 토큰은 모든 레이어의 attention에 참여하면서 patch 토큰의 local feature를 "오염"시킨다. 이는 segmentation, detection 같은 dense prediction task에서 성능 저하로 이어진다.

제안 방법: Decoupled Processing

기존: [CLS, P1, P2, ..., PN] -> Transformer Layer x L -> [CLS, P1, P2, ..., PN]

제안: [CLS] -> CLS Branch (경량) -> Global Feature [P1..PN] -> Patch Branch (주력) -> Dense Features

수식

$$\text{Attn}_{\text{patch}} = \text{softmax}\left(\frac{Q_P K_P^T}{\sqrt{d_k}}\right) V_P$$ $$\text{Attn}_{\text{cls}} = \text{softmax}\left(\frac{q_{\text{cls}} K^T}{\sqrt{d_k}}\right) V$$

• 논문: Revisiting [CLS] and Patch Token Interaction in Vision Transformers (ICLR 2026)
  • arXiv: 2602.08626
  • Meta FAIR