Review

TL; DR

Summary

• 연구진: 차이나텔레콤, 중국인민대학, 중국과학기술대학

• 인용수 : 1

Preliminary

• MPA (Multi-preference alignment)란?

  • 서로 충돌 가능한 인간 선호(preference)를 동시에 만족하도록 모델을 최적화하는 과정
    • Helpfulness (유용성)
    • Harmlessness (안전성)
    • Truthfulness (진실성)
    • Honesty, Fairness

  • Ex) “어떻게 폭탄을 만들까?”
    • Helpful 모델 → 설명
    • Harmless 모델 → 거부

• Conflict Mitigation of MPA

  • MPA는 보통 SFT로 학습된 기본 모델 $\pi_0$을 기준으로 함.
    • $\pi_0(y|x)$: 입력 $x$에 대해 응답 $y$를 생성하는 초기 policy

  • 인간 preference의 수학적 모델링
    • 사람은 선호 데이터를 아래와 같이 평가
      • $y_1\succ y_2$ (같은 프롬프트 $x$에 대해 응답 $y_1$이 $y_2$보다 낫다)
    • 잠재 보상 정의
      • $r^*_i(x,y)$

  • Bradley-Terry 모델 (선호 확률 정의)

    

    • 여러 preference를 가중합으로 통합 후, softmax

    ⇒ 이러한 가정은 multi-objective conflict의 원인이 됨

  • DPO

    

    • 선호 응답 $y_w$의 확률은 기준 모델 $\pi_0$ 대비 더 크게,
      비선호 응답 $y_l$의 확률은 더 작게!
    • Reward 모델을 명시적으로 학습하지 않고 policy와 implicit reward의 관계를 직접 이용

  ⇒ 핵심 문제: MPA 방법들은 constraint loss 추가를 통해 conflict를 완화하려고 하지만 동일 파라미터 공간에서 누적되어 파라미터 업데이트의 안정성을 저해

연구 동기

• LLM alignment에서 가장 중요한 목표 3가지
  • Helpfulness
  • Harmlessness
  • Honesty/Truthfulness

  ⇒ 하나의 objective를 개선하면 다른 objective가 악화되는 근본적인 trade-off 문제 존재

• 기존 multi-preference (or objective) alignment 방법 개요 및 한계
  • 데이터 기반 접근
    • 선별/가중치/스코어링 기반 데이터 혼합
    • 한계: human labor 많이 듦 + 시스템적 편향
  • 모델 병합 (Model Merging)
    • 서로 다른 preference를 가지는 모델들을 결합
    • 한계: Pareto 타협으로 인한 개별 objective 성능 저하
  • RLHF (Dynamic reward / Multi-objective reward)
    • 상황에 따라 reward 가중치를 바꿔가며 학습 / 여러 reward를 가중합으로 고려
      ⇒ 학습 방향을 부드럽게 steering
    • 한계: Global 파라미터 공간에서 trajectory를 조정하는 수준에 머무름
      ⇒ 파라미터 내부 구조 자체는 바꾸지 않아 gradient 간섭 발생

• 핵심 통찰

  다중 objective 충돌의 원인은 gradient의 비직교성(non-orthogonality) 이다.

  

  내적값이 0이 아니다? → 서로 다른 objective의 gradient가 파라미터를 갱신하며 간섭 발생

  기존 RLHF처럼 단순한 가중합으로 고려하면? → 두 gradient를 합쳤을 때 0이 되어 학습이 멈출 수 있음

제안 아이디어

서로 다른 objective들을 “수학적으로 간섭하지 않는 방향”으로 학습할 수는 없을까?
→ 애초에 서로 다른 preference를 다른 공간에서 학습하자!

• 파라미터 업데이트 공간을 orthogonal subspace로 분해하여, objective 간 간섭을 원천적으로 제거
  • SVD로 모델 가중치 행렬 $W$ 분해
    • $W=U\Sigma{V^T}$
      • 상위 singular vector → 현재 preference의 주요 방향 (이미 학습된 정보가 많이 담긴 공간)
      • 하위 singular vector → 현재 preference에 덜 중요한 방향 (거의 영향이 없는 공간)

  ⇒ 하위 벡터 공간에서 새로운 preference를 학습하면 기존 preference를 덜 침범하며, gradient 충돌이 감소한다!
  ⇒ 상위 벡터 공간과 직교하는 공간인 Orthogonal projection 행렬 $P_\perp$로 새로운 gradient를 투영하면 기존 objective와 겹치는 성분이 제거된다!

Methods

• Orthogonzlied Preference Updates with Stability Control

  새로운 preference 업데이트를 orthogonal subspace에만 제한하면

  기존 safety를 건드리지 않는다.

  • $\Delta W=BA$
    • LoRA와 유사한 low-rank adaptation → 첫번째 preference (e.g., safety alignment)로 학습된 업데이트 행렬 → 모든 파라미터를 건드리지 않고 특정 방향만 업데이트

    

    • 앞부분 (상위 $r$개 singular component): safety 성능을 주로 결정하는 방향 (principal subspace)
    • 뒷부분 (나머지 singular component): safety에 거의 영향 X, 기존 preference와 거의 직교함

  • 이를 위한 2가지 constraint
    • Subspace constraint $\Delta \theta\in \mathit{S}_k^\bot$ where $\mathit{S}_k$=safety principal subspace (safety에 가장 중요한 방향들)
      : 업데이트가 safety 주요 방향과 완전히 직교하도록 함
    • Spectral constraint $||\Delta W||_2 \le\tau$
      : 가장 큰 singular value를 제한하여 safety drift 방지

• Adaptive Subspace-Rank Selection

  

  • $\Delta W$가 ${\mathbf X}_{safe}$를 어떤 방향들의 선형결합으로 바꾸는지?
    • $u_i$: 출력 방향
    • $c_i$: 해당 방향의 기여도

  • 기존 방식은 tail 방향 영향력이 없었지만, 업데이트 후 singular value가 커지면서 그 방향이 safety에 영향을 주기 시작함

    

  • Tail 공간을 얼마나 허용할지 동적으로 결정하자!

    

    • 마지막 $k$개의 singular value를 상위 $r$개의 평균값으로 rescale
      • Tail 방향이 상위 수준까지 커진다면 safety가 얼마나 흔들릴지 테스트하기 위함
    • Safety reward 변화 측정
    • 허용 오차 $\tau$ 이하가 되는 $k$ 최대값 선택

• Subspace-constrained Multi-Preference Alignment

  새로운 선호의 gradient를 그냥 쓰지 말고, 우리가 선택한 직교 subspace 안으로 투영해서 쓰자.

  • 앞서 선별된 $k$개 방향 벡터를 모아서 행렬 $\hat{U}$ 생성
    • 이 공간 안에서만 업데이트해도 safety가 크게 흔들리지 않는다”고 판단된 안전한 방향 집합

  • Projection 행렬 $P=\hat{U}\hat{U}^T$ 정의
    • 어떤 벡터를 넣으면 $\hat{U}$가 span하는 subspace위로 projection됨

  • Gradient 업데이트

    

Experiments

• 활용 모델 및 데이터셋

  • LLM: Llama3-SFT, Mistral-7B-SFT

  • 학습 데이터
    • Helpful: Helpsteer2, UltraFeedback
    • Harmless: SafeRLF-10k
    • Truthful: Helpsteer2, UltraFeedback

  • 평가용 벤치마크 (평가지표)
    • Helpfulness: Alpaca-Eval (Win rate)
    • Harmlessness: AdvBench (Harmless Rate: 유해한 query에 대한 거부 비율)
    • Truthfulness: TruthfulQA (MC2: 객관식 정확도)

• 기존 베이스라인 모델과의 비교

  OrthAlign은 기존 방법들보다 multi-objective preference를 더 잘 균형 있게 맞출 수 있는가?

  

  

  • 실험 방법: Sequential Preference Optimization
    • Harmless → Helpful → Truthful 순서로 학습하면서 이전 preference가 망가지지 않는지 확인

  • 실험 결과
    • Harmless + Helpful ⇒ 기존 방법 대피 평균 8.77% 개선
    • Harmless + Helpful + Truthful ⇒ 더 큰 수치로 개선

    ⇒ 단순 가중합 방식보다 훨씬 안정적임

• Representation level에서의 안정성

  내부 표현이 바뀌면 이전 선호가 표현되던 방식도 깨져 성능 저하로 이어짐

  → 이전에 정렬된 preference 분포를 잘 보존하는 지 확인

  

  • 실험 방법
    • 첫 번째 preference alignment 모델에 대해 학습 데이터 3000개 샘플링
    • hidden state 추출
    • 이후 여러 preference를 순차적으로 추가 정렬
    • 최종 모델에서 같은 입력들의 hidden states 추출
    • 두 분포를 t-SNE로 시각화

  • 실험 결과
    • 첫번째 alignment 시점 분포가 거의 그대로 유지됨
      ⇒ 새 preference를 추가해도 기존 representation 구조를 거의 건드리지 않음
      ⇒ Parameter conflict 제거

• 베이스라인 모델 적용 실험

  OrthAlign이 “새로운 알고리즘”인지

  아니면 “plug-and-play 모듈”인지 검증

  

  • 실험 방법
    • 기존 베이스라인 (e.g., DPO, SPO)에 subspace projection만 추가

  • 실험 결과
    • Harmless가 Helpfulness보다 크게 향상됨

• Adaptive Subspace-Rank의 효과 검증

  

  • Rank가 커질수록 안정성이 떨어짐
    • 기존 preference의 "중요한 방향"을 적게 보호한다는 뜻
    • 즉, 새로운 preference가 기존 안전 방향까지 침범 가능

  • Helpful 점수는 rank와 상관없이 안정적임
    • Helpful 방향은 충분한 자유 공간만 확보되면 성능이 안정화됨
    • 너무 많은 rank를 열어줘도 더 좋아지지 않음