Review

TL; DR

Summary

• 뭐에 쓰려고 이 연구를 했을까?
  • 다양한 가치와 관점이 존재하지만, RLHF는 점수 기반 최적화기 때문에 모두를 만족시키기 어려움
    • 어떤 관점과 가치로 학습하고 최적화되느냐에 따라 매번 달라져서, 어떤 경우에는 더 안 좋아질 수 있음
  • Nash 최적화는 이를 보완함. 어떤 심판이 오던, 상대 모델에 대해서 최소한 지지는 말자!
    • 그런데, 기존 방법은 2-player만을 고려. 그런데, 상대 모델은 보통 여러개 아닌가?
  • 그래서, Multiplayer Nash PO를 제안
    • 어떤 가치가 오든, 어떤 상대 모델이 오든, 평균적으로 지지는 말자!
    • 어떤 상황에서든 최선의 선택이 가능하도록 만들기
  • 예)트랜스포머 설명해줘
    • RLHF (concise) (보상 점수 최적화)
      • 트랜스포머는 어텐션 기반 모델입니다
    • RLHF(detail)
      • 트랜스포머는 인코더 디코더 기반으로 구성되며, 어텐션…
    • NLHF(concise vs detail) (상대 한명과 토론해서 지지 않기)
      • 상대 모델의 특성에 따라, oracle에 따라 특정 방향으로 쏠릴 수 있음
    • MNPO (토론 상대가 여러명이어도 누구에게도 완패하지 않기)
      • concise+detail+… 가 경쟁하고, 어느 하나도 놓치지 않도록 구성

Background

• 논문에서 정리를 잘함

  

• Bradley-Terry (BT)
  • 하나의 스칼라 reward 함수를 통해 최적화
  • Transitive 가정
    • A를 RLHF해서 A’를 만들면, A< A’
    • A’를 RLHF해서 B를 만들면 A’< B
    • 그러면, A<B 라고 봄

• Nash 균형
  • 상대가 바꾸지 않으면 나도 바꿀 이유가 없음
  • 항상 파레토 최적은 아님(최선의 선택이 아님)
  • 학습 관점에서, 무슨말인가?
    • 내가 한번 더 학습하면, 상대보다 못해질 가능성이 있음. 그래서, 더 학습하는 게 의미가 없음.
      • 가만히 있는 것이 더 좋은 경우
  • 참고

    

    

Motivation

• 기존 연구에서 BT 기반의 RLHF(Reinforcement Learning from Human Feedback)를 NLHF(Nash Learning from Human Feedback)로 확장
  • RLHF의 문제점
    • 실제 인간 선호가 transitive 하지 않음
    • 다양한 성질이 영향을 미치며(안전성, 효용성, 간결성 등) annotator마다 기준이 다름
  • 이를 해결하는 2-player nash game으로의 최적화 정의
    • Nash Learning from Human Feedback (ICML’24)
    • 상대가 누가 오든, 괜찮도록 만들기
    • 어떻게?
      • 심판을 두고, 그 심판이 더 좋은 것을 뽑게 만들었을 때, 상대방으로부터 최소한 지지 않게 만들기
    • 즉, RLHF의 보상 점수를 ⇒ 비교 기반 우위로 변경

• 하지만, 정렬은 n-player game이어야 함
  • 상대 정책이 꼭 하나인가?(X)
  • 목표가 단일인가?(X)

• 어떻게 처리?
  • 여러 정책의 평균을 활용하여, 평균적인 상대보다 더 자주 이기도록

Idea

• Alignment(정렬)은 min-max가 아니라, 전체 관점의 평형을 봐야 함
  • 여러 기준을 가지는 정책 집단과 경쟁해야지, 단일 정책과 경쟁해봐야 의미 없다!
  • 평균보다 더 좋은가? ⇒ 최소한 중간 이상은 간다!
  • DPO, SimPO 를 포괄하는 개념임!
    • 어떤 상대가 있고, 그 상대보다 더 우수해지도록 비교 우위 기반으로 학습하면 이 방법임(저자들 주장이긴 함)

Method (수식 다 뺌)

• Multiplayer Nash Preference Optimization(MNPO) 제안
  • preference oracle(심판)을 공유하는 경우 (Homogeneous)
    • 이론적으로 완벽하지만, 실세계와는 멀어짐
  • 각각 다른 preference orcale이 존재하는 경우(Heterogeneous)
    • 이론적으로 조금 이상해지지만, 실세계에 가까움
      • 안전성, 효용성 등 관점에 따라 달라질 수 있음

Homogeneous MNPO

• Oracle이 하나, 모든 모델이 공유

• Oracle이 좋아야 함

• 이론적으로 좋다!
  • 내쉬 균형이 보장될 수 있음

Heterogeneous MNPO

• Oracle이 여러개(각 모델이 preference가 여러개임)

• 내쉬 이론 보장이 약해지지만, 현실에 가까움

• 본 연구에서는 제안만 하고, 명확하게 다루지는 않음

Time-dependent MNPO

• 이전 학습 정책을 경쟁 상대로 활용

• 여러 정책을 동시에 쓰기, GPU 메모리도 한계가 있으니, 효율성 측면에서 snapshot 기반 활용

Experiments

• 정렬은 보상을 많이 받는 것이 아니라, 여러 상대보다 못하지 않는 것! ⇒ 안전성, MNPO의 motivation

• Instruction following 벤치마크

  

• Knowledge, commonsense 벤치마크

  

Analysis

• 여러 oracle이 있어도, 동작 가능

  

  • 성능이 더 좋아질 수 있다!

• Single player보다 Multiplayer가 더 좋다

  • vs., INPO에서 성능 우위

  • single opponent는 과적합 위험, 더 강건하게 학습한다.

  

• Alignment 강화 + 능력 유지

  • 잃는 것을 줄이고, 새로운 것을 잘 받아들임

  

  • RLHF 계열은 성능 편차가 존재하지만, MNPO는 성능의 일관성이 좋다