1. Training Setup
   1. Pre-training 사용 데이터: FineWeb-Edu(교육 중심 웹 데이터셋)
   2. Continued Pre-training 사용 데이터: Fine-Math(tngkr-cnfhs wndtla epdlxj)
   3. Supervised Fine-tuning 사용 데이터: GSM8K, MATH 기반 QA
   4. RL 사용 데이터: SFT와 동일하나 disjoint하게 구성

2. Evaluation Protocol
   • Upstream Cloze Task (언어 자체 모델링 능력)
     • 대화 능력을 제외하고 순수한 다음 토큰 예측, 상식-추론 기반 능력 평가
     • 0-shot accuracy 방법 사용, 평가 성능을 여러 데이터셋에 대해 계산
     • 데이터셋: HellaSwag, Winogrande, PIQA, OBQA, ARC-Easy, Challenge
   • Downstream Cloze Task (생성 기반 문제 해결)
     • 질문을 이해하고 해결 과정을 생성하여 정답 도출(문제 해결 능력)
     • ID(In-Domain): 수학 및 추론 중심(GSM8K-Platinum, MATH)
     • OOD(Out-of-Domain):
       • CRUXEval: 코드 추론
       • BGQA: 논리 추론
       • TabMWP: 테이블 기반 추론
       • StrategyQA: 상식·전략적 추론
   3. 정확도 평가 지표
      1. Pass@1 (Greedy)
         1. Temperature = 0
         2. 단일 정답이 맞으면 정답으로 간주
      2. Maj@16
         1. Temperature = 1
         2. 16개 샘플 생성
         3. 다수결 결과로 정답 판단
      3. RM@16

         16개 중 ORM 점수가 가장 높은 응답 선택

         ORM점수: Skywork-Reward-Llama-3.1-88-v0.2에서 제시되었으며 생성된 해답에 대해 스칼라 점수 부여하여 정답 여부뿐 아니라 풀이의 일관성 반영

      4. Pass@16

         16개 중 하나라도 맞으면 성공

• Pre-training의 양이 모델의 성능이 미치는 영향을 알아보기 위하여 0.5B, 1B, 4B모델로 token의 양을 10B부터 320B token까지 pre-train함.

• 처음에는 점차 비례하여 증가하다가, 모델 크기의 80배에서 160배가 되는 시점에서 Accuracy의 증가폭이 점차 감소

• SFT 모델과 SFT-RL 모델을 모두 비교하였을 때, 80B Token까지는 뚜렷한 성능 향상을 보이다가 그 이후에는 뚜렷한 변화 없음
  • ID Maj @ 16의 경우 20BT까지 8%에서 15%로 급격하게 상승하다가 이후 320BT까지 17%로 큰 변화 없음
  • 전체적으로 Reinforcement Learning (RL)을 추가하였을 때, 추가하지 않은 경우보다 성능이 높지만 이 경우 역시도 80BT 이후에 뚜렷한 상승을 보이지 못함

• Out-of-Domain (OOD)의 경우에는 160B Token 이후에 오히려 Accuracy가 감소하는 결과를 보임
  • Degradation을 일으켜 오히려 생성 품질이 떨어짐

⇒ 결론: General Model Pre-training이 과도하면 오히려 성능이 떨어지는 결과를 초래하며, 항상 많은 Pre-training이 좋은 결과를 내는 것은 아님

160B Token으로 Pre-trained된 1B Model에 Continued Pre-training을 하지 않는 경우부터 50B Token으로 Pre-train하는 경우까지 비교

• Continued Pre-training (CPT)를 거듭할수록 Upstream Task (일반 언어 성능)은 감소함(Catastrophic Forgetting)

• 문제 해결을 위해 Replay 전략을 사용
  • 소량의 Pre-training data를 랜덤하게 섞어서 사용

• 8B Token만큼 Replay했을 때가 하지 않았을 때보다 전체적으로 성능이 높음을 보여줌

• 그러나 Too much replay(16B Token)에서는 성능이 떨어짐

  

• Downstream Task에서는 CPT Budget이 증가할수록 In distribution (ID)와 Out-of-distribution (OOD)에서 모두 2B에서 32B Token까지는 성능이 급격히 상승

• 32B이후에는 CPT의 성능 향상 효과가 제한적임

⇒결론: Domain 특화 Post-training은 충분한 CPT에 의해 뒷받침 되어야 원하는 성능을 얻을 수 있으며, CPT 데이터가 증가함에 따라 ID(In-distribution)과 OOD(Out-of-distribution) 모두에서 이익을 얻을 수 있음

SFT가 Training 및 모델 성능에 미치는 영향을 알아보기 위해 Epoch과 Dataset size를 변화

1. Epoch

   

   • 1, 2, 4, 8, 16, 32 epoch으로 각각 training하였을 때, ID(In-distribution) metric이 꾸준하게 증가하는 추세를 보이다가 8 epochs 근처에서 정체됨
   • OOD의 경우 2-4 epochs에서 peak였다가 감소하는 것으로 보았을 때, over-specialization이 일반화 성능을 해침을 알 수 있음
   • 3 Epochs에서의 SFT가 가장 적합함을 보여주고 있으며, 과도한 SFT Epoch로 인해 뒤의 Reinforcement Learning (RL)의 이점을 사라지게 만듦
   2. SFT Dataset Size의 변화

      

   • SFT 데이터의 크기를 50K, 100K, 150K, …, 400K까지 늘려보면서 실험
   • ID의 성능은 Dataset Example이 증가하면 계속 증가하는 양상
   • OOD의 성능은 들쭉날쭉하고 심지어 하강하는 경우도 있었음
     • 후의 Reinforcement Learning (RL) 단계에서의 성능 향상에 제약이 될 수도 있는 사항임

RL Epochs와 RL Dataset Size를 변화시켰을 때의 Accuracy의 변화를 알아봄

1. RL Epoch의 변화

Greedy, Maj@16 , RM@16 성능은 8–16 epoch에서 peak 후 정체

• Correct Ratio@16→epoch가 늘어날수록 계속 증가

• Pass@16→4 epoch 이후 급격히 감소
  • RL은 epoch이 과도하게 늘어날수록 출력 다양성을 감소시키고, 1-2개의 정답만 계속 생성하게됨

• Maj @16 vs Greedy
  • SFT-only 모델은 Maj@16이 Greedy보다 성능이 저조한 경우가 있음
  • RL을 적용한 모든 경우에서 Maj@16이 Greedy보다 우수한 성능

2. RL Dataset Size의 변화

• RL Epoch을 8로 고정하고, 데이터의 크기를 0부터 400K까지 조정해 가며 관찰

• ID와 OOD 모두에서 Accuracy가 150-200K까지 증가하다가 정체

• Pass@K는 오히려 일찍 정체되고 하락하기까지 함
  • Pass@K: 여러 샘플 중 하나라도 정답이 있으면 맞는 것으로 인정, 출력의 다양성이 중요
  • RL 데이터가 많아질수록 다양성이 감소하여 같은 답만 계속 내놓게 됨

• 새로운 문제를 맞히는 능력이 증가하는 것이 아닌, 이미 맞힐 수 있을 만한 문제를 더 정확하게 맞히는 방향으로 학습이 되는 것

• SFT와 RL의 데이터 분할

  500K 데이터 중 랜덤으로 추출한 100K의 데이터를 (10 / 90, 30 / 70, 50 / 50, 70 / 30, 90 / 10)비율로 나눔

  100K가 peak로 성능 정체가 시작되는 시점이므로 데이터 크기를 100K로 선택

  

  OOD 성능의 경우 SFT가 70K일 때, 갑자기 감소하는 것을 확인할 수 있음. 이에 SFT보다는 RL의 비중이 중요하고, RL이 90K인 시점에서 OOD의 성능은 가장 우수⇒OOD의 성능은 RL이 결정

  여기서는 ID와 OOD의 성능이 trade-off관계임을 알 수 있음