마르코프 결정과정 형태(MDP) = $(S, A, P, r, γ)$

$S$ : 지금까지 쓴 풀이 / $A$ : 다음에 올 토큰 / $P$ : 다음 상태로 가는 규칙 /

$r$ : reward / $γ$ : discount factor

policy = 현재 LLM 모델이 생성 정책(어떤 값을 어떤 확률로 생성하는가 ~ ?)

trajectory = 추론 과정(=풀이 과정)

⇒ Positive trajectory(정답 풀이) / negative trajectory(오답 풀이)

$J(\theta) \triangleq \mathbb{E}_{s \sim \rho_0, a \sim \pi_\theta (\cdot | s)} \left[ \mathcal{Q}^{\pi_\theta} (s, a) \right] - \alpha \cdot \mathbb{E}_{s \sim \rho_0} \left[ D_{\text{KL}} (\pi_\theta (\cdot | s) \| \pi_0 (\cdot | s)) \right]$

= 기존 모델에서 너무 멀어지지 않게, Reward를 최대화

위의 수식을 풀면,

$\pi^*(a|s) = \frac{\pi_0(a|s) \exp(Q^\pi(s, a)/\alpha)}{Z(s)}$

최적 policy의 형태가 나온다. (= 기존 확률 x exp(보상 기반의 weight))

하나의 문제를 N번 풀게해서 제일 reasoning(풀이)을 잘한 답 하나를 고르는 것

$a^∗=argmax_{a^(i)}\ Q(s,a(i))$

문제에 대한 최종 답변에 대해서 정답(1), 오답(0)으로 결과에 대해서만 reward를 부여함

Problem)

• Learning from positive sample

  
  $\pi_{\text{BoN}}(s) = n \cdot [P(s)]^{n-1} \cdot \pi(s)$ : positive trajectory s가 뽑힐 확률

  샘플량 N을 늘릴수록, 적어도 1개 이상은 positive가 뽑힘.

  why?) 논문에서는 sampling시 오답이 많이 뽑히는 문제를 전제로 reward sparse를 지적함. 따라서, 적어도 하나의 positive trajectory가 선택될 수 있게 BoN을 사용함.

  e.g.,)

  • 기존 RL : 문제를 보고 계산 → 틀림 → 업데이트 (이 경우에 정답에 대한 정보가 부족하므, reward sparse)

  • BoN : 문제를 보고 계산을 10번 생성 → 생성된 결과 중에 정답을 sampling

  ---

  
  $\mathbf{KL}(\pi_{\text{BoN}} \| \pi) = \log n - \frac{n-1}{n}$ : Constraint

  ---

  
  $n(\epsilon) = \operatorname{arg min}n \mathbb{E}{s \sim \pi_{\text{BoN}}} [-R(s)]$ : BoN에서 몇 번 샘플링하는게 좋을지 선택

  ⇒ 최적의 n 고르는 과정

  ---

  
  $\mathcal{L}1(\theta) = \underbrace{\mathbb{E}{s \sim \mathcal{D}^+} [- \log \pi_\theta(s)]}_{\text{Positive example alignment}} + \underbrace{\beta \mathbf{KL}(\pi\theta \| \pi_{\text{old}})}_{\text{Policy constraint}}$

  정답 trajectory를 잘 생성하도록 하면서, 기존 policy에서 너무 멀어지지 않게 함.

  💡

  $\pi_{\text{BoN}}$ 으로 만든 positive distribution을 따르도록 policy을 업데이트하는 loss

• Learning from negative sample

  $\pi_{\text{bon}}(s) = \pi(s) \left[ R(s) \cdot \frac{1 - (1-p)^n}{p} + (1 - R(s)) \cdot (1-p)^{n-1} \right]$

  = positive 확률은 높지만, negative 확률은 낮음

  ---

  

  

  ⇒ negative gradient의 지수가 한 번 더 곱해지므로, gradient 불균형이 존재.

  ---

  
  $L_2(\theta) = \mathbb{E}_{s \sim \mathcal{S}{-}} \left[ F(1 - p) \cdot \log \frac{\pi_\theta(s)}{\pi_{\text{old}}(s)} \right] + \beta \text{KL}(\pi_\theta \parallel \pi_{\text{old}})$

  💡

  $\pi_{\text{BoN}}$ 으로 만든 positive distribution에서 negative를 보정 후 policy을 업데이트하는 loss

• Dealing with Long Reasoning Chains

  정답은 마지막에 알 수 있지만, 중간 추론 과정도 고려해서 학습해야 한다.

  ⇒ token 별 중요도를 추정 (Reward를 추론 과정에 분배)

  
  $Q^\pi(s_{<t}, \pi(s_t)) = V^\pi(s_{\leq t}) = \sum_{k=0}^{T-t} \gamma^k r(s_{t+k} | s_{<t})$

  : Q(행동)을 V(상태)로 보고, t 상태에서 앞으로 받을 reward 점수

  ---

  
  $A(s \le t) = V^{\pi}(s \le t+1) - V^{\pi}(s \le t)$

  : 토큰이 하나 추가됐을 때, 결과를 얼마나 바꿨는지 측정하는 식

  

  : 동일한 질문에 대해 정답과 오답이 나오면, 각 추론과정의 token별 기여도 차이를 계산함.

  즉, 정답과 오답의 reward 차이는 각 trajectory별 token별 기여도 차이의 총합.

  ---

  💡 reward 차이를 token별 기여도 차이의 합으로 나타냈으므로, 처음부터 trajectory 자체를 token의 합으로 표현해보자

  (reward 총합의 차이 = reward별 차이 합) , (reward 총합 = reward별 총합)

  • 그래서, Reward를 token 기여도 총합으로 나타낼 수 있다

    
    $r^*(s) \triangleq \sum_{t=0}^{T} \gamma^t A(s \le t)$

    : trajectory reward를 token별 기여도 합으로 표현
    
    $\frac{1}{T} \sum_{t=0}^{T} w(s \leq t) = r(s)$ : 기여도 평균

    $w(s \leq t)$ : 모델이 예측하는 토큰 기여도

    ---

  • 최종 Loss

    = (L1 Loss + L2 Loss) 와 (각 trajectory의 토큰별 가중치)를 결합한 형태임.

    

    • 정답을 더 많이 생성하되, 중요한 token에 가중치를 부여
    • 오답이 나올 확률을 보정하면서, 틀린 token에 강한 페널티
    • KL constraint로 policy 이탈 방지

    💡

    토큰의 중요도를 반영해서, positive trajectory는 잘 생성하고, negative trajectory는 덜 생성하도록 plicy를 학습함. (policy update)

초기 모델(policy)로 Qwen2.5-7B, Qwen2.5-32B를 사용하여, RFT를 초기화

기존 초기 모델에 OpenDataLab Dataset, Numina, MATH Training set을 질문으로 넣고, 나온 답변을 실제 정답과 Exact Match를 통해 reward를 부여함! (정답 1, 오답 0)

그렇게 나온 (질문, reward) 쌍을 가지고, RFT를 초기화함.

Dataset : Numia, MATH, AMC/AIME

• 위 데이터들의 각 문제에 대해 RHF 모델로 64개의 배치(질문)에 대해 16개의 trajectory(풀이)를 sampling. = (1024개의 trajectory)

• 각 trajectory를 Qwen2.5-72B-instruct와 rule-based-verifier를 통해

  정답(reward)를 매김 (정답인 추론은 1, 오답은 0).

• 그리고, 총 정답률이 0~0.8 사이인 문제만 사용함. (필터링)

• 필터링된 문제의 trajectory에 대해서, positive, negative pair를 선택

• 선택된 pair를 사용하여 token별 가중치를 학습함.

  
  $\mathcal{L}_{\text{CE}} = - \mathbb{E}_{(s,r) \sim \mathcal{D}} \left[ r \log p(s) + (1 - r) \log(1 - p(s)) \right]$

  여기서, $p(s) = σ(\frac{1}{T} \sum_{t=0}^{T} w(s \leq t) )$ 이다.

  16개의 trajectory 중 (positive, negative) pair 가중치를 보고, 공통 부분은 상쇄되고, 차이 부분을 학습.

  (여러 trajectory가 합쳐지면서 토큰별 가중치가 학습됨)

  ⇒ 어떤 reasoning 패턴이 정답으로 이어지는지?

• Hyperparameter

  • Learning Rate = Policy(5e-7), reward(2e-6)

  • Warmup(10 step warmup)

  • Cosine Annealing

  • Optimizer : AdamW

  • KL coefficient : β=0.01

  • 총 80스텝 training을 하고, 10 step마다 평가 진행

    (1스텝마다 policy와 weight를 update)

  • 더 복잡한 수학문제(삼각함수, 확률 통계, 급수) 같은 경우에는 같은 스킬의 문제를 더 수집하여 RFT 단계에서 재학습.

• 평가 데이터셋 : MATH-500, AIME2024, AIME2025 (Part1), LiveMathBench, OlympiadBench (수학 문제 데이터셋)

• OREAL-7B 모델이 RL 만으로 좋은 성능을 냄. (작은 모델임에도 좋은 성능. Distillation을 사용안함)

• 기존 최고 모델이었던 DeepSeek-R1-Distill-Qwen에 적용시 성능 향상

• AIME 데이터셋에서는 낮은 성능을 보이지만, 훈련 데이터의 품질 및 질문의 난이도가 원인이라고 판단

7B 모델을 기반으로 모듈을 점진적으로 추가시키면서 MATH-500에 대해 성능 평가

• Reward Shaping = L2

• Behavior Cloning = L1

• Importance Shaping = L_total

7B 모델에서 각 모듈을 추가함으로써 기존 RL Baseline 성능을 완화할 수 있음.

최종적으로는 Importance Sampling이 가장 좋은 결과를 보임을 확인할 수 있음.

• 좋은 초기 모델(Policy)을 사용할수록 최종 성능이 높음을 확인

  ⇒ OREAL 프레임워크는 성능을 올리는 역할을 하는 것을 볼 수 있고, 좋은 초기 모델일수록 성능 향상이 높음.

• conclusion

  • OREAL 프레임워크는 BoN 샘플링, / 토큰별 기여도 학습 방식을 사용해 mathematical reasoning 에 대해 잘 할 수 있음.

  • 하지만, 이 접근법들은 초기 policy model(base model)이 충분한 knowledge를 갖고 있다는 전제에 의존함.

  • 따라서, policy model에 knowledge deficiency가 없어야 하고, 데이터의 균형잡힌 품질이 보장되어야 함. (난이도가 어려우면 맞추는게 어렵다)

  ⇒ Future work로 data construction process를 언급하며, 부족한 부분을 개선.

  RL을 간접적으로 구현했다 !

  = 직접적으로 RL을 쓴 건 아니지만, Reward를 추론 과정에 가중치 형태로 분배해서 간접적이라는 표현을 사용한 것.