1. 여러 사용자들의 preference 데이터를 모아 응답을 몇 개의 공통 base reward functions로 표현할 수 있도록 학습
   • 수백 명의 유저에게 응답 쌍 $(X,Y)$ 을 보여주고 선호 데이터를 수집 ⇒ 유저 x 응답쌍 행렬 $A$ 구축
     Sparse Preference Matrix	응답쌍1	응답쌍2	응답쌍3	응답쌍4	응답쌍5
     유저A	응답 $X$선택			응답 $X$선택
     유저B		응답 $X$선택		응답 $X$선택
     유저C			응답 $X$선택
     유저D					응답 $X$선택

2. 이 데이터를 바탕으로, 응답을 몇 개의 공통 base reward functions로 표현하도록 모델을 학습
   • 하나의 응답은 여러 공통 선호축 위에서 점수를 받고, 각 사용자는 축들에 서로 다른 가중치를 줌
   • 행렬 분해(Matrix Factorization)

     $$A \approx U \times V^\top$$

     • 행렬 $U$ (User Factor): 사용자들이 각 선호 축에 대해 가지는 가중치 ($\lambda_i$)
     • 행렬 $V$ (Item Factor): 각 응답 쌍이 어떤 선호 축의 특징을 가졌는지에 대한 점수 ($\phi_j$)
   • 사용자 $i$의 보상 함수 ($U$ $\cdot$ $V$ dot product)

   $$r_i(x,y)=\lambda_i^\top \phi(x,y)=\sum_{j=1}^{J}\lambda_i^j \phi_j$$

   • $ϕʲ$: 공통된 선호축(모든 유저 공유) e.g., $\phi_1$: 간결함, $\phi_2$: 격식, $\phi_3$: 친절함, $\phi_4$: 창의성
   • $λᵢʲ$: 유저 $i$의 고유 가중치

     

   • 프롬프트와 응답을 입력받아 $J$ 차원 벡터 $\phi(x,y)$를 출력하는 신경망을 학습
     • SVD 초기화, L2 정규화 사용

⇒ 사용자마다 완전히 별도 모델을 만들지 않고, 모든 사용자에게 공통으로 쓸 수 있는 reward 모델

• 새로운 사용자에게 몇 개의 비교 질문을 통해 사용자가 공통 축들을 어떤 비율로 좋아하는지 $λᵢ$ 추정
  • 현재 λ 추정이 가장 불확실한 축에 해당하는 응답쌍을 능동적으로 선택(Active Learning) 해 데이터 효율을 극대화
    • Active Learning 사용자에게 아무 질문이나 묻지 않고 사용자의 취향을 가장 빨리 알아낼 수 있는 질문을 골라서 묻는 것
    • e.g., 답변 A와 B 중 어느 쪽이 더 좋은가?

⇒ 새 사용자에 대해 $ϕ$는 고정한 채, logistic regression으로 사용자의 weight vector만 맞추면 됨

• LLM을 새로 학습하지 않고, Personalized Reward로 응답 선택
  1. 학습된 공통 축 $\phi$ 와 새 사용자의 가중치 $\lambda$를 결합해 personalized reward를 계산
  2. 추론 시, 이 보상 값을 가지고 응답 선택

• model: qwen 2.5 계열

• dataset

  1. Attributes
     • 저자들이 만든 synthetic personalization 데이터셋
     • 7개의 preference attribute 정의하고, 각 attribute마다 positive/negative trait를 둠

       

       • 사용자마다 두 개의 trait를 랜덤하게 부여해 84명의 synthetic user 만듦
       • AlpacaEval 프롬프트 기반으로 사용자당 100개의 preference를 수집

  2. PRISM
     • 전 세계 다양한 응답자들의 LLM 선호 데이터를 담은 데이터셋
     • 1.5K users, 3K prompts and answers

• metrics

  • User Preference AUC-ROC: 응답쌍 중 어느 것을 사용자가 선호할지 맞히는가

  • Win rate: 개인화 reward를 이용해 생성한 응답이 비개인화 baseline보다 얼마나 더 선호되는가

• Baseline

  • Standard RLHF: 모든 사용자를 하나의 전역 reward로 학습

  • Model per User: 사용자마다 개별 reward model 학습

• 목표 새로운 사용자에게서 피드백을 받았을 때, 누가 가장 사용자의 선호를 빠르게 학습하는지

  

• 실험결과
  • Standard RLHF
    • 개인화 모델이 아니므로 성능 변화 X
  • Model per user
    • 사용자 별 데이터가 적기 때문에 많은 응답이 쌓여야 성능이 오르기 시작함
  • PReF(Ours)
    • 적은 수의 사용자 응답만으로도 personalization 성능을 빠르게 올림
    • x축: 새 사용자에게서 받은 선호 응답 수
    • y축
      • User Preference AUC-ROC: 응답쌍 중 어느 것을 사용자가 선호할지 맞히는가
      • Win rate: 개인화 reward를 이용해 생성한 응답이 비개인화 baseline보다 얼마나 더 선호되는가

• VPL: few-shot에서는 강하지만, in-context 방식이라 사용자 예시가 많아지면 성능

• PReF: 사용자 피드백이 10개 이상 넘어가면 SOTA

(A) SVD 초기화와 regularization이 진짜 필요한가?

(B) base reward function 개수 $J$는 몇 개가 적절한가?

목표 데이터셋 크기과 base reward model ↔ 사용자 선호 예측 성능 사이의 연관성

• 실험 결과
  • 데이터셋이 커질수록 모든 모델의 성능 향상
  • 같은 데이터 크기에서의 성능: 3B > 1B > 0.5B
  • 데이터가 충분히 많아질수록 모델 간 성능 차이 줄어듦

⇒ 더 큰 reward model과 더 많은 데이터는 personalization 성능을 향상시킴

• MIT/Harvard 계열의 28명 자원자를 대상으로, 앞 15개 비교에서 취향을 학습하고 뒤 15개에서 평가
  • personalized response가 기본 GPT-4o 응답보다 67% win rate를 보임