Summary

Motivation

• 기존 Model Merging 방식들은 여러 독립적으로 훈련된 모델을 병합하여 단일 모델로 MTL을 수행하려 하지만, 성능 저하 문제가 발생함
• Representation Bias: 기존 연구들의 Representation 분포를 시각화한 결과, 병합된 모델과 개별 모델 간의 Representation 분포에 상당한 차이가 존재함을 발견
  
  • 이러한 Representation Bias는 Task, Architecture, Merging Method 전반에 걸쳐 존재함
    
  • Weight Averaging에서 Task Arithmetic, Ties-Merging, AdaMerging으로 갈수록 Representation Bias가 감소하며, 이는 성능 향상과 일치함 → Representation Bias를 줄이는 것이 성능 향상하는 방법
• 따라서 Representation Bias 문제가 Model Merging 기반 MTL 성능 저하의 주요 원인이며, 이를 해결하는 것이 성능 향상의 핵심이라고 판단

Method

• 목표: 병합된 모델($f_{{\theta }_{mtl}^m}$)의 Representation(${\mathcal{Z}}_t^{mtl}$)과 개별 모델($f_{{\theta }_t}$)의 Representation(${\mathcal{Z}}_t^{ind}$) 간의 Representation Bias를 최소화하는 것
• Representation Surgery Module (${\mathrm{\Phi }}_t$):
  • 병합된 모델의 Representation(${\mathcal{Z}}_t^{mtl}$)을 입력으로 받아 Representation Bias(${\mathrm{\Phi }}_t({\mathcal{Z}}_t^{mtl})$)를 필터링하도록 설계된 Task-Private 경량 모듈
  • Adapter와 유사한 구조로 구현됨: ${\mathrm{\Phi }}_t({\mathcal{Z}}_t^{mtl})=W_{up}\cdot ReLU(W_{down}\cdot {\mathcal{Z}}_t^{{mtt}^{\mathrm{\top }}})$
    • $W_{up}\in {\mathbb{R}}^{k\times r}$, $W_{down}\in {\mathbb{R}}^{r\times k}$는 학습 가능한 행렬, $r$은 Rank (Hyperparameter)
• Unsupervised Optimization Objective:
  • Surgery 후의 Representation(${\hat{\mathcal{Z}}}_t^{mtl}={\mathcal{Z}}_t^{mtl}-{\mathrm{\Phi }}_t({\mathcal{Z}}_t^{mtt})$)과 개별 모델의 Representation(${\mathcal{Z}}_t^{ind}$) 간의 $L_1$ 거리를 최소화하여 Surgery Module의 파라미터(${\theta }_{{\mathrm{\Phi }}_t}=\{W_{up},W_{down}\}$)를 학습함
  • 최적화 목표: $argmi{n}_{\{{\theta }_{{\mathrm{\Phi }}_1},...,{\theta }_{{\mathrm{\Phi }}_T}\}}\sum _{t=1}^T\frac{1}{|D_{te}^t|}||{\hat{Z}}_t^{mtt}-{\mathcal{Z}}_t^{ind}|{|}_1$
  • Labeled Training Data 없이 Unlabeled Test Data와 개별 모델을 Self-Supervised Signal로 활용하여 학습함
• 특징:
  • 기존 Merging 방식과 Orthogonal: 기존 방식들이 Weight Space에서 "공통점 찾기(Seek Common)"에 집중하는 반면, Surgery는 Representation Space에서 "차이점 보존(Reserve Differences)"하며 Post-Merging 단계에서 작동함
  • 경량성: 추가되는 파라미터 수가 매우 적음 (ViT-B/32 기준 약 0.014%)

Method 검증

• Representation Bias 감소 검증: 다양한 Merging 방식과 Architecture에서 Surgery 적용 전후의 Representation 분포 시각화 및 $L_1$ 거리 비교
  
  • Surgery 미적용 시 병합 모델(Red)과 개별 모델(Blue)의 Representation 분포가 상이하나, Surgery 적용 후 두 분포가 훨씬 가까워짐 → Surgery가 Representation 공간에서 병합 모델을 개별 모델에 가깝게 교정함
    
  • Surgery 적용 후(Red Bar)와 미적용 시(Blue Bar)의 $L_1$ 거리 비교 → Surgery가 병합 모델과 개별 모델 간 Representation 분포 차이를 효과적으로 줄임
  • 통찰: Representation Surgery는 시각적 및 정량적으로 Representation Bias 문제를 유의미하게 완화함
• MTL 성능 향상 검증 (ViT-B/32): 8개 CV Task에서 ViT-B/32 모델을 다양한 Merging 방식으로 병합하고 Surgery 적용 전후 성능 비교.
  • 비교군: Pretrained, Individual, Traditional MTL, Weight Averaging, Fisher Merging, RegMean, Task Arithmetic, Ties-Merging, Concrete TA, Concrete AM, AdaMerging
  • 정량적 성능 (Avg. Accuracy):
    • Weight Averaging: 65.8% → 80.0% (w/ Surgery, +14.2%p)
    • Task Arithmetic: 69.1% → 80.9% (w/ Surgery, +11.8%p)
    • Ties-Merging: 72.9% → 83.1% (w/ Surgery, +10.2%p)
    • AdaMerging (SOTA): 80.1% → 86.1% (w/ Surgery, +6.0%p) / 87.5% (rank=64, +7.4%p)
  • 통찰: Surgery는 기존 Merging 방식들의 성능을 일관되게 개선하며, 특히 SOTA 방법과 결합 시 Traditional MTL에 근접하는 높은 성능을 달성함
• MTL 성능 향상 검증 (ViT-L/14 & ViT-B/16): 더 크거나(ViT-L/14) 중간 크기(ViT-B/16) Architecture에서 Surgery 적용 전후 성능 비교
  • 정량적 성능 (ViT-L/14, AdaMerging Avg. Accuracy): 90.8% → 92.3% (w/ Surgery, +1.5%p)
  • 정량적 성능 (ViT-B/16, AdaMerging Avg. Accuracy): 84.9% → 88.8% (w/ Surgery, +3.9%p)
  • 통찰: Surgery의 효과는 특정 모델 크기에 국한되지 않고 일반적임 → 다양한 모델 크기에서도 Surgery의 성능 향상 효과가 일관되게 나타남
• Surgery Module Rank 영향 분석: Surgery Module의 Rank($r$) 변화에 따른 Task Arithmetic 및 AdaMerging의 Avg. Accuracy 변화 (ViT-B/32)
  
  • 정량적 성능 (AdaMerging Avg. Accuracy): Rank 4(83.5%)에서 Rank 64(87.5%)로 증가함에 따라 성능이 꾸준히 향상됨 → Surgery Module의 Capacity가 클수록 성능 개선 폭이 커짐
  • 통찰: Rank는 MTL 성능과 Trade-off 관계에 있으며, 더 높은 성능을 위해 Rank를 조절할 수 있음
• 학습 반복 횟수 영향 분석: Surgery Module 학습 Iteration 증가에 따른 4가지 Merging 방식 (w/ Surgery)의 Avg. Accuracy 변화 (ViT-B/32)
  
  • 정량적 성능: 학습 초기(약 200 iterations)에 성능 향상이 두드러지며 이후 안정화됨 → 적은 학습 비용으로도 Surgery의 상당한 효과를 얻을 수 있음
  • 통찰: Surgery는 효율적으로 학습되어 빠르게 성능을 개선할 수 있음