• RLHF은 크게 3단계 pipeline으로 잔행됨:
  1. SFT(Supervised Fine-Tuning): 데모/supervised 데이터로 기본 응답 능력을 갖춘 reference 정책 $\pi_{\text{ref}}$(또는 초기 정책)을 학습
  2. Reward Model(RM) 학습: pairwise 선호 데이터로 보상함수 $r_\phi(x,y)$를 학습
  3. RL fine-tuning (+KL 정규화 ): 보상을 최대화하되 $\pi_{\text{ref}}$에서 멀어지지 않도록 KL 패널티를 두고 정책 $\pi_\theta$를 학습

• Bradley–Terry(=로지스틱) 선호 모델 기반 선호 데이터 모델링
  • 프롬프트 $x$가 주어졌을 때 두 답 $y_0, y_1$ 중에 $y_1$이 더 선호될 확률을 다음처럼 모델링함:

    

    • $P(y_1 \succ y_0 \mid x)$ : prompt x가 주어졌을 때, $y_1$을 $y_0$ 보다 낫다고 고를 확률
    • $r(x,y)$는 좋음/선호를 나타내는 점수(보상)
    • $r(x,y_1) > r(x,y_0)$이면 $y_1$이 선택(선호)될 확률이 커짐

• Reward Model 학습 (선호 데이터에 대한 pairwise logistic loss)
  • 사람 선호 데이터 $D=\{(x, y_w, y_l)\}$ (winner/loser 쌍)을 이용해 보상모델 $r_\phi$를 학습

    

    • winner가 loser보다 높은 점수를 받도록 학습
    • 우리는 winner가 loser 보다 높은 점수를 받게 하고 싶기 때문에, log안의 값의 차이를 크게 하고 싶음 (-log를 최소화)

• RLHF의 정책 최적화(KL-regularized objective)
  • RL 단계에서는 보상을 키우되, reference 정책과의 차이를 KL로 제한함

    

    • 정책(모델) $\pi_\theta$ 가 보상 $r_\phi$는 크게 만들고 동시에 레퍼런스 모델 $\pi_{ref}$에서 너무 멀어지지는 않게(=KL 페널티)학습
    • $\beta$가 크면 ref model에서 많이 못움직이고(보수적), $\beta$가 작으면 보상 $r_\phi$을 더 많이 고려하게 됨

• RLHF처럼 reward model을 따로 학습/사용하지 않고, 선호 데이터(winner/loser)만으로 정책 $\pi_\theta$를 직접 최적화
  • DPO의 목적함수는 다음과 같음:

    

    • winner $y_w$ 는 $\pi_\theta$에서 ref 대비 더 높은 확률을 갖도록(더 자주 나오도록) 만들고,
    • loser $y_l$ 는 $\pi_\theta$에서 ref 대비 더 낮은 확률을 갖도록(덜 나오도록) 함

• 앞서 언급한 기존 !!!

  • 기존의 safety alignment 는 safe 한 응답에 대해서는 확률을 높게, unsafe한 응답에 대해서는 확률 0으로 뽑아야 한다는 정책을 가지고 있음 ⇒ Hard constraint 라고 함
    • Hard constraint: 반드시 지켜야 하는 규칙 — 모델이 어떤 확률로든 unsafe 답을 “낼 수 있으면” 안 되고, 아예 그 답들에 대해 확률이 0이 되게 만들어야 함

      

      • 어떤 프롬프트 $x$가 오든 모델이 뽑을 수 있는 어떤 답 $y$든 전부 안전해야 함
    • 그런데 많은 기존 방법은 계산 편의 때문에 expected-cost(평균 위험) 제약같은 완화된 형태를 쓰고,이 경우 엄밀한 ‘확률 0’ 보장은 되지 않음!
      • Detail: 왜 ‘엄밀한 보장’이 안되는가? (expected-cost)

        • Expected-cost 제약은 다음과 같이 두는데:

          

        • 여러 상황에서 나오는 위험(cost)을 평균냈을 때 그 평균이 임계값 $\tau$ 이하이면 OK로 간주가 되게 됨

        • 가끔 unsafe가 터져도 다른 경우들이 충분히 안전해서 평균이 낮으면 제약을 만족할 수 있다는 문제가 있음
    • → Hard Constraint 자체를 다시 보자!

• 해당 논문에서는, 새로운 보상함수 $r_c$를 정의

  

  • unsafe 한 응답에 대해서 보상으로 ‘엄청 큰 벌점’을 주는게 아니라, -∞로 보내버림
  • 이후 지수 가중(exp weighting)에서 $\exp(-\infty)=0$이 되도록 만들어 확률 질량이 0

    이 되게 함

    → 즉, unsafe가 구조적으로 제거되게끔 함

• 그래서 앞선 safety alignment 목적함수 식(eq 6)에서 보상함수 부분 $r_c$ 만 바꿈

  

  • 우리가 원하는 정책 $\pi_\theta(\cdot|x)$은
    1. Safe 중에서 보상 $r_c$ 이 높은 답을 더 자주 뽑고,
    2. 동시에 레퍼런스 모델 $\pi_{ref}$에서 너무 멀어지지 않도록 (KL로 벌점) 하고싶음
  • Eq 6처럼 ‘unsafe 확률은 0이 나와야 한다’를 제약식으로 강제하는게 아닌, 보상함수 $r_c$를 통해 목적함수 자체가 unsafe를 배제하도록 함

  각 프롬프트 $x$에 대해 safe 한 응답이 존재하고, reference 정책 $\pi_{\text{ref}}$ 가 그 safe 영역에 0이 아닌 확률 질량을 둔다면, hard constraint 형태(Eq.6)와 $r_c$ 로 바꾼 목적(Eq.8)은 같은 최적해를 갖는다고 증명함(증명 과정은 생략…)

• Eq 8의 최적해는 다음과 같다고 한다:
  • 최적해—”최적일 때 분포가 이런 모양이어야 한다”를 수학적으로 바로 도출한 결과”
  • Eq 8 같은 ‘기대 보상 − $\beta$KL’ 형태는 최적 정책이 다음처럼 reference × exp(보상/$\beta$) 형태로 떨어지는 게 유명한 결과라고 한다..!

  

• 앞서서 unsafe 한 $r_c$에 대해서는 -∞ 로 정의했었는데,

  → $r_c(x, y)$ 부분이 -∞ 으로 가면 exp(-∞)으로 가서 궁극적으로 unsafe는 레퍼런스가 원래 확률을 주고 있었더라도, 곱셈에서 0이 되어 완전히 제거됨

  • 기존에는 확률을 0으로 주고자 해도 이를 strict하게 보장이 되지 않았지만, 수식 측면에서 아예 0으로 만들어버리는것임

• 이제 이론적으로 유도되는 선호 목적은 다음과 같음:

  

  • 하지만! 이것은 직접 계산이 안되는 식임
  • 왜냐하면, 기대값이 우리가 가진 데이터 D가 아니라, $r_c$가 만들어내는 가상의 선호 분포 $\tilde D$에 대해 정의되어 있기 때문 (직접 샘플링/계산이 안됨)
    • Detail

      • 우리가 실제로 갖고 있는 데이터는 사람(또는 모델)이 찍어준 helpfulness 선호 $(x, y_w, y_l)$ 와 안전 라벨 $(h_w, h_l)$ 뿐임

      • 그런데 목적함수 L은 “사람이 찍은 선호”가 아니라, $r_c$ 가 만들었을 “가상의 선호 분포 $\tilde D$”를 기대값으로 씀
        • $\tilde D$ 는 $r_c$ (unsafe면 -∞) 기반으로 “이론적으로 생성됐을” 선호 분포임

      • 문제는 $r_c$ 자체가 관측되지 않는 latent 함수(reward + safety cost 반영)라서, $r_c$가 만들어낼 선호 분포 $\tilde D$도 데이터에서 직접 알 수가 없음

      → 그래서 $\tilde D$ 에서 기대값을 직접 계산할 수가 없음

• 앞선 식(eq 10)은 이론적으로는 성립하지만 계산이 되지 않음. 이를 계산 가능하게 하기 위해 데이터 $D$에 변환을 가한 데이터 $T$를 제시함
  • 데이터 설명

    • 원래 DPO preference 학습에서는 데이터가 $(x, y_w, y_l)$ 이렇게 생김

    • 그런데 safety alignment(안전 정렬) 세팅에서는 preference 데이터에 ’각 답이 안전한지/위험한지’ 라벨이 추가로 붙음 $(x, y_w, y_l, h_w, h_l)$
      • h=1이면 unsafe, h=0이면 safe 한 이진 안전 indicator

    • safe한 답의 보상은 $r_c(x, y)$ 로 원래 reward를 유지하고, unsafe한 답에 대해서는 -∞

  

  • Case1: winner가 safe → 그대로 사용
  • Case2: Winner가 unsafe인데 loser가 safe → swap
    • SafeDPO는 safe 여부를 우선 제약으로 보기 때문에 safe/unsafe가 섞인 pair이라면 무조건 safe가 winner가 되어야 함
  • Case3: 둘 다 unsafe → 버림(drop)
    • 둘다 결격이라 ‘뭐가 더 낫다~’를 따지는게 의미가 없어짐 (학습에 기여X)

• 최종적으로, 다음과 같은 목적함수를 획득함

  

  • 관측 불가한 이상적인 목적(eq10)을 데이터 재정렬을 통해 복원함
    • 예시 기반 부가 설명

      • 어떤 프롬프트 x에 대해 pair가 다음과 같이 들어옴:
        • $y_w$: 정확하지만 위험한(unsafe) 방법 설명 → unsafe
        • $y_l$: 안전하게 거절 + 대안 제시 → safe

      • 사람 선호 데이터가 도움됨을 더 쳐서 unsafe를 winner로 찍었을 수도 있지만, SafeDPO의 $r_c$ 세계에서는 unsafe는 -∞라서 무조건 loser여야 함 → swap 해서 safe가 winner가 되게 만드는 것

        → 이것으로 $\tilde D$가 그렸을 선호 방향을 재현

        ---

        • 원래 선호 데이터 D: 보통 “둘 중 더 도움이 되는 답이 뭐냐?”를 찍은 것
        • SafeDPO가 원하는 것: “unsafe는 무조건 탈락. safe끼리만 비교해서 더 도움이 되는 쪽을 올리자”
        • 그래서 safe vs unsafe 쌍에서 사람이 “unsafe가 더 유용하다”고 찍어놨어도, SafeDPO는 “그건 안전 제약을 위반하니 학습 목표에서 뒤집는다(swap)”

앞서 정의한 Eq.10 과 Eq.11 은 동일하다고 한다 (증명은 생략…)

• 학습 과정에서 safe-unsafe 구분을 더 강하게 밀어줘서 학습 신호를 강화하고자 함

  

  • 여기서 $(\tilde h_l-\tilde h_w)\Delta$ 항:
    • safe vs unsafe인 경우에만 마진이 적용됨(학습을 더 세게 밀어줌)
    • safe vs safe면 0이라서 기존 DPO와 동일하게 동작
  • 결과적으로 safe-unsafe쌍에 대해 다음과 같은 마진 조건을 더 강하게 만족시키도록 함