Review

TL; DR

Summary

• cited: 14

Preliminary

Pareto Frontier (파레토 프론티어)

• 여러 목표(objectives) 간에 상충 관계(trade-off)가 존재할 때, 어느 한 목표를 더 개선하면 다른 목표 중 적어도 하나는 반드시 악화되는 경계선의 집합

• Pareto Optimization
  • 다중 목표 최적화 문제에서 모든 목표를 동시에 더 이상 개선할 수 없는 최적 상태를 찾는 방법
  • 쉽게 말해서… 설정한 모든 목표들을 다 이뤄보자..!
    • e.g., 목표: 공부, 운동
      • 운동을 너무 열심히 하면 졸려서 공부에 지장 감 (trade-off 발생!)
      • → 운동을 딱 30분만 하고 공부하면 머리도 좋아지고 몸도 좋아짐 (두 목표 모두 달성!)

⇒ 논문의 view point: 여러 인간 가치를 동시에 Pareto Optimize 할 수 있을가?

분위수(quantile) ← (실험에서 등장할 예정..)

• 어떤 점수가 전체 분포에서 어느 위치에 있는지를 나타냄

• e.g.,
  • 50% quantile = 중앙값
    • 전체 결과 중 절반은 이보다 낮고, 절반은 이보다 높음
  • 80% quantile = 상위 20%
  • 90% quantile = 상위 10%

Introduction

Background

• Human Value Alignment의 기존 접근
  • LLM의 human value alignment는 주로 reward function, preference data를 통해 특정 가치(e.g., helpfulness, harmlessness…) 를 강화하는 방식으로 이루어져 왔음
  • 다중 인간 가치 정렬을 위해 Multi-Objective Reinforcement Learning (MORL) 이 사용되어 옴

• 기존 다중 가치 정렬 방식의 한계

• 대부분의 연구는 여러 보상 함수를 선형 결합하여 trade-off를 근사함

  $R = \lambda_1 r_1 + \lambda_2 r_2 + \cdots$

  • e.g., Rewarded Soup: 서로 다른 가치에 대해 학습한 여러 모델을 사후적으로 섞는 방식

• 문제점
  • λ (가중치)는 어떻게 정할 것인가?
  • 정한 λ가 Pareto optimal한지 어떻게 알 수 있는가?

Motivation

• 여러 인간 가치를 동시에 정렬하기 위해선 여러가지 Challenges 존재함

RQ1 여러 인간 가치를 손상 없이 동시에 향상시킬 순 없을까? 그리고 이것을 정량화할 순 없을까?

• 하나의 가치를 정렬하면 다른 가치가 의도치 않게 감소할 수 있음
  • Helpfulness ↑ → Harmlessness ↓
  • Humor ↑ → Coherence ↓

• RQ2 시행착오 없이 한 번의 설정만으로 모든 인간 가치를 Pareto 개선하도록 정렬할 수 있는가?
  • 하이퍼파라미터 설정의 불확실성: RLHF에서 원래 모델 $p_0$가 정렬된 모델 $p$가 되기 위해 필요한 reward 함수 $R$와 하이퍼마라미터 $\beta$를 한번에 구할 순 없을까?
  • 좋은 가중치 파라미터를 찾기는 정말 힘듦

    

Contribution

1. MAP 프레임워크 제안
   • 여러 인간 가치를 동시에 정렬하면서 사용자가 원하는 각 가치의 목표 수준(target level)을 직접 지정할 수 있는 프레임워크

2. 다중 가치 정렬을 보상 가중치 튜닝 문제가 아니라 목표 수준을 만족시키는 제약 최적화 문제로 재정의

Method: MAP

기존 접근 (RLHF / DPO / MORL)

• 여러 가치를 정렬하기 위해 보통 아래와 같은 방식을 택함

  Reward = λ₁·Helpfulness + λ₂·Harmlessness + λ₃·Humor + …

• 문제:
  • 가중치 λ 선택 기준이 불명확함 (어떻게 정해야 하는지 감이 안 옴)
  • λ 를 조금만 바꿔도 결과가 크게 달라짐
  • 대부분의 λ는 하나의 가치만 올리고 다른 가치를 망침(trade-off)
  • 좋은 λ는 극히 일부
  • 정렬해야 할 가치가 늘어날수록 탐색 난이도 very very hard

⇒ 관점을 바꿔보자!

• 최대화가 아닌 이 수준 이상은 보장해달라는 제약

• ⇒ MULTI-HUMAN-VALUE ALIGNMENT PALETTE (MAP) 의 등장

MAP의 3단계 프로세스

입력/출력

• 입력
  • $r$: 가치(Values) 별 score functions
  • e.g., $r = [r_{\text{help}}, r_{\text{harmless}}, r_{\text{humor}}, ...]$
    • 생성된 문장 $y$에 대해, 각 가치(help, harmless, humor…) score를 반환하는 함수
  • $p_0(\cdot|x)$: 정렬 전 기본 모델
  • $x$$\sim\mathcal{D}$: 데이터 분포 $\mathcal{D}$의 프롬프트 $x$

• 출력
  • multiple value에 정렬이 반영된 최종 생성 답변 $y$

Step 1: Value Palette (목표 수준 설정)

• 핵심 관점을 바꾸자!!

• 기존 방식은 가중치($\lambda$)를 바꿔가며 목표치에 도달하는 방식이었다면, MAP은 반대로 목표부터 설정

• Value Palette: 각 가치에 대해 사용자가 원하는 목표 수준을 모아둔 벡터
  • 사용자가 각 가치의 목표 수준 직접 지정

• 예: Harmlessness 70%, Humor 60%, Helpfulness 80%

  palette = {
      "Helpfulness": 80%,  # 상위 20% 수준
      "Harmlessness": 70%, # 상위 30% 수준  
      "Humor": 60%         # 상위 40% 수준
  }

Step 2: Feasibility Check (실현 가능성 검증)

• 핵심 Step 1에서 정한 목표 즉, Value Palette가 현실적으로 가능한지 검증

• 기존 방식은 실험해보기 전까지 실패할지 알 수 없음, but, MAP은 사전에 실패를 차단
  • 목표들을 동시에 만족 가능한지를 먼저 검증
  • Value Palette가 이론적으로 가능한지 판단
    • 불가능 ⇒ 목표가 현재 모델로는 불가능하다고 알리고 대안 Palette 제시 (예시 참고)
    • 가능 ⇒ 목표한 가중치 벡터 $\lambda$와 최종 단일 보상 함수 $R(x,y) = \lambda^T r(x,y)$를 자동으로 계산!

  # Feasibilty Check
  result = MAP.check([80, 70, 60])
  
  # Case 1: 가능
  → "가능, λ와 R(x,y)=λ^T r 반환"
  
  # Case 2: 불가능  
  → "불가능. [70, 60, 65]는 어떤가요?"

Step 3: Align model

• step2에서 만든 최종 보상 R을 가지고 정렬을 실제로 수행하는 단계 (두가지 방식이 존재함)

1. MAP-D (Decoding)
   • 생성할 때만 조정
   • 방식
     1. 프롬프트 $x$에 대해 후보 답변을 $y^{(1)},...,y^{(m)}$ 을 생성
     2. $R(x,y^{(i)})$가 큰 후보가 더 뽑히도록 softmax 확률로 샘플링
   • 장점: 모델 파라미터를 안 바꾸니 빠르고 간단함
   • 단점: 근본적으로 모델 자체가 바뀌지는 않기 때문에 정렬 효과에 한계가 있을 수 있음

2. MAP-F (Finetuning)
   • 모델 자체를 팔레트에 도달하게끔 학습
   • 방식
     1. PPO로 $R$을 보상으로 삼아 $p_0 → \hat{p}$ 로 fine tuning 시킴
     2. 이후에는 $\hat{p}$를 답변 생성
   • 장점: 더 나은 정렬 효과
   • 단점: 비싼 학습 비용, 팔레트가 바뀔 때마다 재학습 필요

Experiment