기존 LLM을 Fine-tuning하는 기법으로 RLHF, DPO가 새로운 패러다임으로 부상하였음.

⇒ 하지만, 이러한 방식들은 “Preference Pairs” 에만 의존하여 rich한 다수 정보들을 2개로 줄여버리기 때문에 가치있는 정보들을 버릴 위험이 있다.

이러한 문제를 해결하기 위해 RCPO(Ranked Choice Preference Optimization)을 제시함.

⭐ 확률분포로 정의가 가능하면, MLE 표현이 가능하고, Objective(=-loss) 표현이 가능하다.

⭐ Choice model : 여러 개의 선택지 중에서 어떤 것이 선택될 확률을 표현한 모델

⭐ Reward model : response의 품질을 점수로 평가하는 모델

• Conceptual Framework : LLM의 Fine-tuning과 Choice Modeling을 연결한다.

  ⇒ Choice Model이 확률분포이므로, LLM Fine-tuning→Choice model→MLE 연결이 가능하다.

• Concrete Example of Choice model : 대표적인 Choice model 예시로 MNL과 Mallows-RMJ를 사용.

  ⇒ 각 choice model별로 objective 함수를 정의

• Experiments : RCPO Framework를 Llama-3-8B-Instruct, Gemma-2-9B-it, Mistral-7B-Instruct에서 평가.

  ⇒ In-distribution, out-of-distribution benchmark에서 평가함.

⭐ 결과적으로, Preference에 따른 순서 정보를 모델이 학습함으로써, 지역적 정보에서 전역적인 순서 정보를 알게된다!

**아래 figure는 Pairwise, Single-Best Feedback, Top-k Feedback 구조이다.

전체 파이프라인

• (1) 이미 훈련된 LLM을 가져옴

  Llama-3-8B-instruct, Gemma-2-9B-it, Mistral-7B-instruct

• (2) Choice model 선택(MNL, Mallows-RMJ)

  • MNL이란?

    utility 기반의 choice model

    각 response는 utility(점수)를 갖는다. → 점수가 높을수록 선택될 확률이 커진다.

    

  • Mallows-RMJ Model이란?

    Rank 기반의 choice model ⇒ 순위가 어떤 확률로 생성되는지 정의하는 모델

    

• (3) 선택된 Choice model을 바탕으로 objective function 정의(=Loss)

  • MNL의 확률분포, objective function

    Single-best(결과가 하나)

    

    Top-K(결과가 여러 개)

    

    ---

    closed form으로 각각 재표현할 수 있다.

    Single-best

    $$P(y_i|S; x) = \frac{e^{\nu_{y_i}(x)}}{\sum_{j \in S} e^{\nu_{y_j}(x)}}$$

    

    ⇒ winner resonse와 나머지 response를 전부 동시에 비교함.

    Top-K(결과가 여러 개)

    

    

  • Mallows-RMJ Model 확률분포, objective function

    Single-Best

    

    Top-K

    

    ---

    closed form으로 각각 재표현할 수 있다.

    Single-best

    

    

    Top-K

    

    

• (4) TrainData Set을 통해 Ranked based preference data를 만듦.

  UltraFeedback Dataset을 사용함.

  • LLM에 UltraFeedback Dataset의 프롬프트 x 입력

  • x를 받고 LLM이 생성한 여러 응답(후보 집합)에 대해 reward model로 점수를 부여 후 정렬

  • (X,S,μk) 형태로 데이터 구축

• (5) 위에서 생성된 데이터와 objective function으로 LLM을 Fine-tuning

  $$∇_{θ}L_{Mallows-RMJ-PO-Top-k} (π_{θ})$$

  

  • Mallows-RMJ-PO-Top-2 방식이 가장 성능이 좋기에, 대표적으로 설명함.

  • 높은 순위에 대한 가중치는 올리고, 낮은 순위의 가중치는 낮춤.

  • 또한 S에서 랭킹의 위치와 reward의 비슷한 정도에 따라서 업데이트 강도를 조절한다.

• Experiment & Result

  • out-of-distribution : AlpacaEval 2.0 / Arena-hard-v0.1 (명령어 수행 벤치마크)

    AlpacaEval 2.0 = Fine-Tuning LLM과 GPT-4-Turbo에서 생성된 답변에 대한 WR과 LC로 측정.

    Arena-hard-v0.1 = Fine-Tuning LLM과 GPT-4-0314에 대한 WR을 측정

    ⇒ Q : 이렇게 하는 의미는?

    ⇒ A : [Fine-Tuning 모델 출력과 평가자 역할의 모델 출력]을 두고, GPT-4.1-mini를 통해 어느 것이 더 적합한 출력인지 평가한다.

    Arena-Hard-v0.1에서는 GPT-5-mini를 심판역할에 추가 사용함.

  ---

  • in-distribution

    [Fine-Tuning 모델 출력과 기존 Test Dataset의 Preference Response] 를 두고 GPT-4.1-mini를 통해 어느 것이 더 적합한 출력인지 평가한다.

  ---

  Llama-3-8B-Instruct

  

  • 전반적으로 Mallows-RMJ-PO-Top-2가 성능이 가장 좋음을 확인할 수 있음

  • Top-2인 이유?

    ⇒ Top-2 Feedback으로 학습하는 것이 일반적으로 Top-1보다 더 나은 성능을 보인 것을 확인.

  • Choice model의 영향

    어떤 Choice model을 쓰느냐에 따라서, 성능이 좌우된다.

  ⇒ Q) AlpacaEval 2 dataset의 LC 부분에서 SimPO의 성능이 왜 더 좋을까?

  ⇒ A) LC는 길이 보정을 한 후의 비교 결과로, SimPo가 길이에 덜 의존적이고, 안정적이기 때문.

  다른 LLM 모델에 적용했을 때의 결과

  

  • Ablation Study

    마찬가지로, Llama-3-8B-Instruct를 사용하고, 순위의 갯수 K와 집합 크기 S를 살펴봄.

    

    1. K와 성능은 항상 비례하지 않음.

       ⇒ K가 커질수록, 정렬 과정과 항목들을 구별하기 어려워짐.

    2. S는 성능에 일반적으로 비례하지만, S=3만으로도 S=2(Pairwise)에 비해 상당한 개선을 달성함.

       ⇒또한, S가 커질수록 negative sample이 생겨, LM이 구별 능력을 학습할 수 있음.

    💡

    S와 K의 균형을 맞추는 중간 정도의 값이 이상적이다.

• conclusion

  RCPO는 Preference Optimization(선호도 최적화)과 Choice Model Estimation(선택 모델 추정법)을 연결하는 Framework임.

  MLE를 사용하여 RCPO는 Pairwise, Single-Best, Top-K Preference Data를 통합함.

  Utility-Base와 Rank-Base Choice model을 예시로,

  RCPO는 Pairwise보다 더 풍부한 피드백을 보존해내는 성능 개선 결과를 보여줌.

💬 기존 연구는 Preference Pairwise에 대해 학습하므로, rich한 정보를 학습하지 못했다.

⇒ RCPO는 여러 response에 대한 ranking preference 정보를 choice model의 확률로 변환하여, LLM에 학습시킨다.

⭐ 더 rich한 preference 정보를 학습할 수 있다.