Review

TL; DR

Summary

• 연구진:

• github: https://github.com/rStar-RL/LoongRL

• 인용수: 3

Background & Motivation

Background

• Long-context Reasoning 이란?

  수만~ 수십만 토큰의 외부 문서에서 관련 정보를 retrieve 해서 → reasoning 하는 능력

  현대 모델들은 긴 컨텍스트 윈도우를 사용하여 많은 입력과 단문 문서에서 retreive는 뛰어나지만 장문 문서에서 retrieve 하여 reasoning하는 능력은 부족하다

• 법률 문서 분석, 코드 베이스 분석 등 많은 실제 작업에서 수만~ 수십만 토큰의 정보를 통합하는 추론 (long-context reasoning) 능력이 요구됨

• DeepSeek-R1, OpenAI o-series 등 최근 RL 기반 모델들은 단문 추론, 내부 지식 의존 영역에서 longer CoT, self-reflection 등을 유도하며 강화학습

• 하지만 외부 문서에서 정보를 retrieve 하여 reasoning 하는 능력은 여전히 잘 안됨 (long context resoning)

기존 세가지 주요 문제

기존 방법들을 사용한 장문 컨텍스트 RL 방법에는 현재 세 가지 문제가 있음

• 문제1 - 고난이도 학습 데이터의 부족
  • 학습을 위해서 단순 retrieve 만으로 해결할 수 없는 고난이도의 장문 문제가 필요함
  • 하지만 데이터는 드물며 정답도 다양한 형태를 가지기 때문에 자동 검증이 어려움

• 문제2 - 연산 비용
  • RL 학습에는 문제당 여러번의 답변 생성(rollout)이 필요함
  • 이는 128K 토큰 정도의 장문 입력에서는 메모리, 연산 비용이 감당 불가능한 수준임

• 문제3 - long-context 학습 시 short-context 능력의 저하
  • 장문 데이터만으로 학습하면 math와 같은 단문 추론 능력이 저하되어 오히려 일반적 성능이 떨어지는 문제 발생

⇒ 위 세 가지 문제를 해결하는 데이터 중심 장문 컨텍스트 RL 방법론 LoongRL을 제안

Contributions (What they’ve revealed)

• KeyChain 데이터 합성 기법 제안

  • 기존 short-context 멀티홉 QA를 dstracting documents와 UUID 체인 삽입으로 고난이도 장문 문제로 변환

  • UUID 체인을 삽입함으로서 모델이 어휘적,의미적 단축로(편법)을 사용하지 못하도록 강제하고, 실제 질문을 구분할 수 있도록 함.

  • 규칙 기반 보상 설계 (양방향 부분문자열 매칭)
    • LLM-as-a-judge 없이 단일 규칙으로 자유 형식 QA 정답을 검증 함
    • 표현 다양성을 허용하면서 편법으로 학습하는 reward hacking 방지

• 새로운 추론 패턴 유도

  • KeyChain 데이터로 RL 학습 시 plan–retrieve–reason–recheck 패턴이 자연스럽게 만들어짐

  • 16K 토큰으로 학습했음에도 128K 추론으로 일반화됨 → 긴 컨텍스트의 RL 비용 없이 장문 성능 확보 가능

• 균형 잡힌 데이터 혼합 사용 + 3단계 RL 커리큘럼

  • 장문 추론,검색 데이터뿐 아니라 단문 수학 데이터를 혼합해 단문 추론 능력을 보존

  • Warm-up → Stage I (KeyChain 도입) → Stage II (난이도 집중) 3단계 커리큘럼

Methods

KeyChain 데이터 구성

• 3단계의 데이터 구성 과정

  • Step 1 - 시드 데이터 필터링
    • RL이 효과적으로 작동하기 위한 적절한 난이도 구간을 확보함
    • HotpotQA, MuSiQue, 2WikiMultiHopQA에서 277K의 인스턴스 수집 → Qwen2.5-32B로 각 질문에 8회 응답 후 정답률 0(너무 어려움) 또는 1(너무 쉬움)인 문제 제거 → 72K의 중난이도 예제 확보.

  • Step 2 - 장문 컨텍스트 확장
    • 이 과정은 실제 환경에서 관련 정보가 방대한 무관 텍스트 속에 묻혀 있는 상황을 시뮬레이션
    • 필터링된 72K 예제의 원본 단문 컨텍스트를, 필터링에서 제거된 200K 예제의 문서들에서 샘플링한 관련 없는 실제 문서를 삽입해 각 예제를 약 16K 토큰의 장문 컨텍스트로 확장함. 원본 질문은 그대로 유지

  • Step 3 - KeyChain 삽입
    • 장문 컨텍스트 내 랜덤 위치에 두 종류의 UUID 체인을 삽입
    • 진짜 체인 (1개): 원본 질문 oqi로 이어지는 체인. 모델은 시작 UUID부터 체인을 단계별로 추적해 진짜 질문을 찾아낸 뒤, 장문 컨텍스트에서 증거를 검색·추론해 정답을 생성해야 함
    • 가짜 체인 (여러 개): 다른 QA 인스턴스에서 샘플링한 오답 질문으로 이어지는 체인. 그럴듯하지만 무관한 질문으로 연결되어 모델을 혼란시킴

  

• UUID를 사용하는 이유

  UUID는 고엔트로피의 비의미적 식별자로, 모델이 토큰 생성 과정에서 어휘적, 의미적 단축로(편법)를 사용하지 못하도록 강제한다.

  UUID를 동일 길이의 랜덤 문자열로 교체한 ablation 실험에서 성능이 동일(72.4 vs 72.2)하게 나와 식별자의 비의미성이 핵심 속성임이 확인됨.

  → UUID 형식 자체가 핵심이 아니라 의미 없는 식별자면 다 상관없음

• KeyChain-augmented long-context question 예시

  

  모델에게 주어지는 지시문: "시작 UUID부터 연속된 key:value 체인을 따라가 진짜 질문을 찾은 뒤, 답하라"

  {"UUIDA-1": "UUIDA-2"} ← 진짜 체인 1번째 hop
  {"UUIDA-2": "UUIDA-3"} ← 진짜 체인 2번째 hop
  {"UUIDA-3": "original question oq"} ← 진짜 질문 도달

  {"UUIDB-1": "UUIDB-2"} ← 가짜 체인
  {"UUIDB-2": "distractor question q'"} ← 오답 질문

• KeyChain의 새로운 추론 패턴 plan–retrieve–reason–recheck 유도

  

  • KeyChain 데이터로 RL 학습 시 모델은 plan–retrieve–reason–recheck 패턴을 자연스럽게 획득한다.
    • Plan: 문제를 하위 단계로 분해하여 풀이 경로를 먼저 설계
    • Retrieve: 각 단계에서 필요한 정보를 장문 컨텍스트에서 명시적으로 추출
    • Reason: 추출된 정보를 바탕으로 단계별 추론 수행
    • Recheck: 불확실할 때 다시 관련 문서로 돌아가 검증

  • 일반 장문 QA 데이터로 학습한 모델은 명시적 계획 단계 없이 검색과 추론이 혼재된 패턴을 보이며, 이것이 오답으로 이어지는 주요 원인이 됨

  • 이 패턴은 컨텍스트 길이에 독립적으로 적용됨
    • 16K 토큰으로 학습했음에도 128K 추론으로 일반화됨으로써, 풀-길이 RL의 막대한 연산 비용 없이 장문 성능을 확보한다

보상 설계

• 양방향 부분문자열 매칭을 통한 보상 설계

  • 일반 QA의 정답은 다양한 표현 형태를 가질 수 있어 자동 검증이 어렵다.
    • 그렇다고 "1 December 2010" vs "2010년 12월 1일"처럼 완전 정확 매칭을 하면 표현만 다른 정답을 틀리다고 판단한다

  • 이를 해결하기 위해 LLM-as-a-judge 없이 아래의 규칙 기반 보상을 설계한다.

    

  • 모델이 최종 답을 반드시 “\boxed{}” 안에 출력하도록 프롬프트에 명시하여 답 추출을 명확히 하고, 추출된 답과 정답 간 양방향 포함 관계를 확인함.
    • (추출 정답이 실제 정답과 양방향으로 부분 매칭되면 1, 아니면 0을 도출함

  • 양방향 부분문자열을 사용하여 표현 다양성을 허용하면서도 정밀도 유지 → reward hacking 방지

  보상 방식 비교 (ablation): F1(65.1) < LLM-as-a-judge(65.2) < 완전 정확 매칭(69.2) < 양방향 부분문자열(72.4)

학습 데이터 구성

• 데이터 구성 (총 22,024개)

  

  • 고난이도(KeyChain 적용) + 중난이도(KeyChain 미적용, 일반 멀티홉 QA) + 장문 검색 + 단문 수학 으로 구성.
    • 중난이도 일반 QA 데이터는 특히 소형 모델(7B)에서 중요한 역할을 한다.
      • KeyChain 문제가 초기에 너무 어려워 RL 신호가 불안정할 때, 중간 난이도 문제로 먼저 기초 능력을 쌓을 수 있게 함
    • 단문 수학 데이터는 장문 학습으로 인한 단문 능력 저하를 방지하는 완충재 역할을 한다.

3단계 RL 커리큘럼

• LoongRL의 3단계 RL 스텝

  • Warm-up (42 steps): KeyChain 제외 데이터로 학습하여 기초 검색,추론 능력 확보.
    • 14B 모델은 이미 강력한 기초 능력을 갖추고 있어 이 단계를 건너뜀

  • Stage I - KeyChain 도입 (7B: 168 steps, 14B: 168 steps)
    • KeyChain 데이터를 학습에 추가. 모델이 계획·정밀 검색·다단계 추론을 수행하도록 유도
    • 이 단계에서 recheck 행동이 생성되고 응답 길이가 점진적으로 증가

  • Stage II - 난이도 집중 (7B: 118 steps, 14B: 150 steps)
    • Stage I 에서의 최적 체크포인트로 예제당 8회 rollout 후, 모두 정답인 쉬운 예제를 제거 → 전체의 30~40%에 해당하는 어려운 예제만 남겨 집중 학습.
    • 이 단계에서 명시적 plan 행동이 추가로 나타나며, 더 짧고 정확한 응답이 생성됨

Experiments

Result

• 주요 결과

  

  • 장문 컨텍스트 추론 (LongBench v1)
    • LoongRL-14B: 74.2점 → o3-mini(74.5), DeepSeek-R1(74.9)에 근접
    • 기준 모델 대비 절대 정확도 향상: 7B +23.5%, 14B +21.1%
    • LoongRL-7B(72.4)가 파라미터 4.6배 큰 QwenLong-L1-32B(70.1)를 능가

  • 단문 추론은 보존됨
    • MMLU: 오히려 향상 (+2.8%, +1.1%)
    • IFEval: 소폭 감소 (-0.3%, -2.6%) — R1-Distill 대비 현저히 적은 저하

• Long-context에 대한 일반화

  • 16K 학습 → 128K에서도 강력한 성능 유지

  • R1-Distill 계열(기존 RL기반 학습 모델)은 128K에서 성능이 급격히 떨어지는 반면, LoongRL은 안정적

  

• Improved long-context retrieval (Needle-in-a-Haystack)

  • 다양한 깊이에서 긴 문서의 retrieve 능력 측정

  • LoongRL-7B는 128K 전 구간에서 100% 정확도 달성

  • 기준 Qwen2.5-7B-Instruct, QwenLong-L1-32B는 일부 구간에서 실패

  • LoongRL은 검색 성능을 실질적으로 향상시키며, LoongRL-7B는 모든 깊이에서 완벽한 정확도를 달성