Review

TL; DR

Summary

• 연구진: 카를스루에 공과대학, 마이크로소프트

• 인용수 : 2

Preliminary

• Trust Region method란?

  “한 번에 너무 멀리 가지 말고, 안전한 범위 안에서만 업데이트하자”

  • 일반적인 gradient update 수식
    • $\theta_{new}=\theta_{old}+\alpha \nabla J(\theta)$

      ⇒ Gradient가 크면 변화량이 너무 커져 성능 안정성이 악화됨

      ⇒ RL에서는 reward variance가 크고 policy가 조금만 바뀌어도 결과가 크게 변하기에 치명적

  • 그러면 어떻게 정의하나? ⇒ KL Divergence로 정의
    • $KL(\pi_{new}||\pi_{old})\leq \epsilon$
      • 새로운 policy와 기존 policy가 너무 달라지지 않도록 제한을 둠

    ⇒ 최적화 목표: reward 최대화하면서 policy 변화는 작게!

  ---

• PPO (Proximal Policy Optimization)이란?

  “KL constraint 계산이 너무 오래 걸리니 clipping을 활용하여 근사하자!”

  

  • 새로운 policy가 특정 action을 얼마나 더/덜 선호하는 지 비율 정의
    • $\frac{\pi_{\theta}(a_t|s_t)}{\pi_{old}(a_t|s_t)}$

  • 그러나 여전히 비율이 너무 커지거나 작아질 수 있음 → Clipping을 하자
    • 비율이 정상 범위 이내인 경우 → $\frac{\pi_{\theta}(a_t|s_t)}{\pi_{old}(a_t|s_t)} \in (1-\epsilon, 1+\epsilon)$ → 좋은 action이므로 그대로 사용
    • 비율이 너무 커지는 경우 → $\frac{\pi_{\theta}(a_t|s_t)}{\pi_{old}(a_t|s_t)}> (1+\epsilon)$ → Clip해서 과도한 업데이트 방지
    • 비율이 너무 작아지는 경우 → $\frac{\pi_{\theta}(a_t|s_t)}{\pi_{old}(a_t|s_t)}< (1+\epsilon)$ → Clip해서 과도한 업데이트 방지

연구 동기

LLM의 post-training 단계에서

• RLHF / RLVR 등 강화학습 기반 fine-tuning이 표준 방법이 됨

• 대부분의 방법은 PPO 기반 policy gradient 알고리즘을 사용
  • 모델이 생성한 토큰에 대해 advantage 계산
  • 기존 policy와 새로운 policy의 비율 계산을 통해 policy gradient 업데이트
  • 업데이트 폭이 너무 커지지 않도록 clipping 적용

  ⇒ policy 변화가 너무 커지는 것을 막아 훈련 안정성 확보

이 논문은 다음 질문에서 출발함

“LLM 강화학습에서 PPO clipping이 아닌 더 principled한 trust region 방식이 필요하지 않을까?”

기존 PPO clipping 메커니즘의 한계

• Clipping은 이론적으로 정확한 trust region이 아닌, 단순히 비율을 자르는 heuristic 방식임

• Clipping 범위를 벗어나면 gradient가 사라지는 문제 발생 → 느린 수렴

• 하이퍼파라미터에 민감하여 낮은 reproducibility를 보임

• Continuous action 중심이라 discrete 토큰 분포를 가지는 LLM에 바로 적용이 어려움

제안 아이디어

• 그림 설명

  • 3 토큰 분포 (고양이 / 트롤 / 햄스터) 를 나타냄

  • 기존 policy는 트롤 토큰을 선호하고, 새로운 policy는 햄스터쪽으로 이동
    • 근데 너무 멀리 이동시키면 안되니까 trust region 안으로 projection해서 끌어오자!

• 근사 방식인 clipping이 아닌, 정확한 trust region을 활용하여 projection하자!
  • 새로운 policy와 최대한 가깜게 유지하면서 old policy와 KL 거리 제한
  • Token-level KL constraint
    • LLM은 시퀀스이기 때문에 각 토큰 분포에 대해 trust region 적용
  • Sparse projection (LLM scaling 문제 해결)
    • 확률 높은 토큰만 유지하여 projection 계산 비용을 낮춤

Methods

• Trust Region Projection

  

  • 새로운 모델이 만든 policy $\tilde{\pi}_{\theta}$와 최대한 가깝되, 기존 policy $\pi_{old}$와 너무 멀어지지 않는 분포를 찾아라!

    ⇒ 그럼 최적해는 무엇이야?

    

    • 기존 policy와 새로운 policy의 기하 평균
      • KL constraint가 붙은 최적화 문제를 풀면 log-space에서 linearization → 이후 exponential 취하면 기하 평균이 됨

  • 한편, projection은 일부 토큰에만 필요하다!
    • 대부분 토큰은 이미 KL constraint를 만족해서 그대로 사용하고, 일부 토큰만 projection 필요

• Sparse & Efficient Representations of Token Distributions

  • Qwen3의 vocab size는 151936
    • 토큰 하나당 15만개의 확률을 계산해야 함 → 너무 비싸서 현실적으로 불가능

  ⇒ 분포를 sparse하게 만들어서 중요한 토큰만 남기자!
  ⇒ 메모리 OOM 방지 및 계산 효율성 증가

  • How?

    • 확률 기준 top-K 토큰 선택
      • 확률을 누적합해서 특정 threshold (e.g., 99.9%)까지 채우는 토큰만 유지

    • 모델이 실제로 선택한 토큰은 포함시켜 gradient 계산에 활용

Experiments

• 실험 목적

  • PPO clipping을 TROLL로 교체하면 성능이 좋아지는가?

  • 다양한 모델과 RL 알고리즘에서도 효과가 유지되는가?

  • 수학 reasoning / 코드 생성 같은 실제 RLVR task에서도 효과가 있는가?

• 데이터셋

  • DAPO-Math : 수학 추론 능력을 RL로 학습하는데 사용됨

  • Math-Eval: 여러 수학 벤치마크 통합본, 올림피아드 수준 문제

  • GSM8K: 초등학교 수준 문제

  • Eurus-2-RL: 수학 추론 & 코드 생성 문제 포함

• 활용 LLM

  • Qwen3-{0.6B~14B}

  • Qwen2.5-{0.5B~7B}

  • Llama3.1-8B, Llama3.2-3B, Apertus-8B, Smol-LM3-3B

• 실험 결과 1: Qwen 활용한 실험 성능

  “Qwen3 모델을 GRPO로 학습 시, PPO clipping 대신 TROLL을 사용하면 어떤 변화가 생기는지?”

  

  • 모든 모델에서 TROLL이 더 빠르게 학습 ⇒ 학습 효율성이 더 좋다!

  • 최종 성능이 더 높으며, 작은 모델에서도 큰 개선이 이뤄짐

  • 코드 생성 데이터에 대해서도 동일한 패턴을 보임

  “TROLL이 다양한 RL 알고리즘 활용 시 PPO clipping보다 실제로 성능을 개선하는지?”

  

  • TROLL이 학습 안정성을 크게 개선
    • PPO clipping 자체가 RL 최적화를 제한시키고 있을 가능성 시사

• 실험 결과 2: 다른 LLM에도 동일한 효과가 나타나는 지 검증

  

  • 대부분 LLM에 대해 TROLL이 더 높은 성능을 보임

  • Clip에서 학습이 실패하는 경우 존재 (e.g., Llama3.1-8B)

  • TROLL은 학습을 훨씬 빨리 시작하며, 학습 안정성도 개선함

• 실험 결과 3: 하이퍼파라미터 분석

  • KL bound (Trust region 크기) $\epsilon$ & Sparsification 토큰 수 $K$ 조정 실험

    

    • KL bound가 작은 경우 policy 변화가 매우 제한되어 학습 속도 감소 but 최종 성능은 동일
    • KL bound가 큰 경우 성능 감소 및 학습 품질 악화
    • Sparsification 토큰 수가 작은 경우 실제 분포 approximation 악화 ⇒ policy 업데이트 품질 악화
    • Sparsification 토큰 수가 너무 큰 경우 연산 비용은 증가하지만 성능 개선은 그닥

• 실험 결과 4: Entropy 관점 해석

  • 기존 문제: PPO-like clipping은 엔트로피를 줄이는 방향으로 학습됨 (과도한 업데이트 방지)
    → 분포가 특정 방향으로 쏠리는 현상 발생
    → 새로운 reasoning 전략에 대한 학습이 어려워짐

  

  • TROLL은 계속 높은 엔트로피를 유지한다!
    • KL constraint 안에서 projection을 수행하여 이전 policy와의 거리를 유지→ gradient가 계속 유지됨