모델이 언제 배웠는지, 기억하는지 확인하기 위해 training order를 통제해야 한다.

1. 데이터셋 : 유명인 entity 기반의 QA 데이터셋

   ⇒ entity는 총 16000개가 존재하고, 각 entity별 6개의 고정 QA 질문이 존재함.

   (언제, 어디서 태어나고 사망했는지, 무엇을 했는지..등등)

2. QA 데이터셋에 존재하는 모든 entity를 alias로 바꿈 ⇒ Synthetic

   e.g,.) Einstein → sjdfef(랜덤 토큰)

   ⇒ Pretrained model의 knowledge 영향을 제거하기 위함.

   

   (Pretrained model이 Einstein에 대한 지식을 가지고 있을 수 있기 때문에, 새로운 토큰으로 바꿈)

   그리고 고정된 질문 templete외에도 Natural 한 버전의 질문도 추가함.

   ---

3. Test sample 생성

   =Test sample은 training에 썼던 QA 템플릿에서 alias는 고정하고, 템플릿만 바꿔서 만든다.

   (즉, fine-tuning에 사용했던 entity=alias를 가지고, “다른 형태의 질문”으로 다시 물어보는 sample)

   ⭐ sample을 만들 때는 토큰 길이, 위치, 같은 질문 템플릿을 사용해야 한다.

   (조건을 맞춰주기 위해서!)

   ---

4. 전체 entity를 그룹으로 나눔. <E>

   전체 entity를 $E_1 ∽ E_m$ 그룹(집합)으로 나눈다. 각 집합은 독립임!

   (여기서 m은 2 또는 6을 사용했다고 함)

   ---

5. 전체 entity에 대해 QA 데이터셋 생성 <D>

   $E_i$ 에 등장하는 모든 entity(alias)를 포함하고 있는 QA 질문을 QA 데이터셋에서 가져오고,

   $D_1 ∽ D_m$ QA 데이터 부분집합을 만든다!

   ---

6. $D_1 ∽ D_m$ QA 데이터셋을 통해 모델 Fine-tuning.

   $D_1 ∽ D_m$ 순서대로 Llama 모델에 데이터셋별로 5 epoch씩 학습을 시킴.

   (D1 = 5 epoch / D2 = 5 epoch / …. / Dm = 5 epoch) 순서대로!!

   ---

7. 학습된 모델에 Test_sample을 넣음

   $D_1 ∽ D_m$ 과 다른 형태의 질문에 alias는 그대로 존재하는 QA test sample을 넣는다.

   ---

8. 각 입력에 대한 activation을 뽑는다.
   • 입력마다 Layer별로 토큰별 hidden vector를 뽑는다.

     (N-layers x N_tokens)개 벡터

9. 데이터셋별로 나온 activation들을 평균을 내서 centroid를 구하고, 직선상에 나타낸다.

   

• 마커의 의미 : Test_sample에 사용된 질문 템플릿을 다르게 설정한 것

• x축 : c1→c6으로 가는 방향벡터에 모든 centroid를 정사영시켜서 축변환 시킨 것.

• y축 : x축으로 설명되지 않는 부분에 대해서 PCA를 적용함. (큰 의미x)

  ⭐ c1~c6 방향을 기준으로 볼 때, 모든 centroid가 순서대로 놓이면, activation 공간에 시간 순서에 대한 축이 존재한다.

10. 전체 activation(hidden vector)을 가지고, 8:2 비율로 train/test로 나누어서 선형 분류기인 probe를 학습하고, test를 평가한다. (이 때는 데이터셋 2개씩만 놓고 이진분류 평가)

    

    e.g.,) Probe model = 😺

    Train(5-epochs)

    train activation1 → 😺 → D1의 entity

    train activation2 → 😺 → D2의 entity

    Test

    test activation1 ⇒ 😺 ⇒ D2에 있던 entity !

    test activation2 ⇒ 😺 ⇒ D2에 있던 entity !

Experimental Setup의 실험결과에 대해서 해석해보자 !

• [1] 훈련 순서(training-order)는 activation 공간에서 Linear하게 인코딩된다.

  (위에서 언급된 실험결과를 다시 언급)

  

  training-order가 activation 공간에서 하나의 방향으로 표현된다. (순서대로!)

  

  

  • (a) 학습된 선형 Probe는 test entity에 대해 stage 구분을 잘한다! (어떤 stage의 entity인지 잘 맞춤). 그리고, stage 차이가 클수록 더 구분을 잘한다.

  • (b) sample(QA문장)에 대한 activation을 보았을 때, alias entity를 인식하고부터 벡터값이 커진다. 또, layer가 깊어질수록 커진다.

• [2] 훈련 순서(방향)이라는게 뭘 의미?

  [1]에서 등장한 선형적인 순서/방향이라는게 무엇인지 해석해보자.

  💡

  만약, 훈련 순서를 모델이 알고있다면, 가장 최근에 훈련시킨 데이터는 직선상 가장 우측에 있을 것이다.

  ⇒ D1 ~ D6 로 fine-tuning한 모델에 추가적으로, D1 ~ D6를 랜덤하게 하나씩 더 Fine tuning 하고, 직선상에 표현해보자.

  

  (a) 추가로 훈련시킨 데이터셋의 activation이 가장 우측에 있는 것을 볼 수 있음

  (b) 에폭수에 따라 이전단계의 centroid에서 더 멀어지는 것을 확인한 추가 실험임.

  ❓ 단순하게, 최근에 훈련시키면 recency인거 아닌가?

  ⇒ D1 ~ D6 을 섞어서(mixing data) “순서 정보 없이” 추가학습을 한다면?

  원래 training-order가 사라지지 않을까?

  

  mixing data로 학습 후, activation을 보면, training-order가 여전히 유지된다.

  ⇒ 즉, training-order는 단순하게 최신정보(recency)가 아닌, 모델 내부에 training-order를 더 깊게 저장하고 있음.

  💡

  training order는 단순 recency 정보가 아닌,

  recency 정보 + 모델 내부의 복잡한 history 정보를 의미한다.

• [3] 훈련 순서는 우연히 발생하는게 아니다.

  기존 실험에서는 Llama-3.2-1B 모델을 사용했지만,

  • Qwen2.5-0.5B / 1.5B / 3B 모델별로 바꿔서 실험을 진행해보고,

  • Full Fine Tuning이 아니라, LoRA를 사용해보고,

  • epoch수를 줄이고, 데이터 수를 늘려서 실험해봐도

    ⇒ training-order는 발생했다.

    (파라미터가 중요한게 아닌, 학습 데이터의 순서가 중요해 보인다)

  학습 데이터 순서를 없애고 훈련을 해보자.

  • D1~D6을 순서없이 무작위로 학습해보고,

  • Fine-Tuning을 하지 않고 학습해보고,

  • Probe 학습시 label을 랜덤으로 섞고 평가를 했을 때는

    ⇒ training-order가 발생하지 않았다.

    💡

    training order는 순차적으로 학습이 있을 때만 생긴다.

• [4] 훈련 순서는 entity-level에서 강하게 encoding된다.

  • 기존 모델 학습방법 : D1 ~ D6 데이터셋별로 Entity만 다르고, 질문 템플릿은 동일했음.

    ⇒ Entity-level에서 training-order가 잘 드러났다!

  • 새로운 실험 방법 : D1 ~ D6 데이터셋별로 Entity를 통일, 질문 템플릿은 다르게 설정.

    ⇒ Sample-level(질문)에서도 trainig-order가 잘 드러날까?

    Prob Acuuracy / Level	Entity-level	Sample-level
    Accuracy	90%	60%
    Accuracy(Mixing)	63%	50%

    💡

    Sample-level에서의 Training-Order는 약하게 드러난다.

• [5] 모델은 직접 내부적으로 Training-Order를 사용할 수 있다.

  학습된 모델을 가지고, 이미 Training-Order를 가지고 있는 상태에서

  Q : <Which training stage is this <alias> from?>

  A : D1

  이라는 Task를 만들어 학습을 시킨다.

  이후, 모델에게 직접 평가를 시켰고, 80%의 정확도를 달성함.

  💡

  Recency 정보는 외부적으로 Probe를 따로 설정하지 않고, 모델도 직접 사용할 수 있다.

이런 Training-order의 효과는 단순하게 설명되는 효과가 아니다!

⇒ Training order가 단순히 통계적인 특징 때문에 나온 것일수도 있지 않는가? 확대 해석아닌가?

• 단순한 정보에서 training order가 나온 건 아니다.

  • Activation의 크기 분포

    

    D1과 D2의 크기분포가 동일한 상태임에도, 위에서 probe의 결과는 좋았다.

    ⇒ 크기분포로 Training order를 설명불가.

    ---

  • PCA(주성분 분석)

    D1과 D2의 activation에 대해 주성분을 보면, 구분이 되지 않음

    

    즉, 단순한 특징이었다면, PCA에서 구분이 되었어야 했지만, 구분이 되지 않으므로,

    간단한 통계적 특징이랑 연관이 없다!

    ---

  • Cosine similarity

    

    $s_{11}$ : D1 내부 activation들끼리 얼마나 비슷한가

    $s_{22}$ : D2 내부 activation들끼리 얼마나 비슷한가

    $s_{12}$ : D1과 D2가 얼마나 비슷한가

    cosine similiarity로 training order가 설명되려면, $s_{12}$의 값이 크게 나오면 안된다.

    하지만, 크게 나왔기 때문에 training order는 cosine similarity로 표현할 수 없다.

• D1,D2를 모든 activation 통계적 조건을 똑같이 맞춘 상태에서도 probe가 잘되면 training order는 내부의 복잡한 구조 정보로 이루어져있다.

  training order에 영향을 주는 조건이 있지 않을까? 여러 실험을 통해 확인해보는 단계

  • Activation(6개)
    • max value
    • L2norm
    • mean
    • std
    • skewness
    • kurtosis

  • logit(7개)
    • entropy
    • max logit
    • logsumexp
    • mean
    • std
    • skewness
    • Kurtosis

  D1, D2에 대해 위 통계량 특성들을 모두 맞춘 상태에서 Probe를 학습하고 평가.

  ⇒ Probe의 성능이 좋으면 Training-Order가 있는 것!

  즉, 통계량까지 모든 조건이 맞는 상태인데도, training order가 있다면, 통계량 속성들과도 일절 연관이 없다.

  • 통계량 특성을 맞추면 학습 데이터의 분포가 비슷해진다. (Activation 통계량에 대한 예시)

  

  이렇게 통계 속성을 맞춘 데이터를 Balancing Data라고 함

  • 어떻게 데이터들의 통계 속성을 맞출까?

    D1, D2 Dataset은 QA Dataset을 모델에 넣었을 때 발생한 Hidden vector들임.

    

    이렇게 조건을 맞춘 후 분석 진행(같은 통계적 분포를 띌 때도 Training-Order가 생길까?)

    • 위에서 만든 Balancing data로 probe를 4:1 = train / test로 돌려보자.

    • 또한, 추가 실험으로 Balancing data 샘플링 시에 데이터를 많이 버렸는데,

      “데이터를 많이 버린게 또 영향을 주지 않을까?” 에 대한 실험도 해보자.

      (Random Downsampling)

    • 위 2개 결과와 원래 결과를 비교해보자.

      

      데이터 균형을 맞춘 balancing data와 균형을 맞추지 않고 데이터 수만 맞춘 random downsampling 모두 probe의 성능이 유지가 되었음.

      💡

      결론은 activation, logit의 통계적 차이에 의해 training order가 좌우되지 않는다!

많은 가능한 변수들에 대해서 통제 실험을 했음에도, Training-Order가 남아있는 것을 확인했고,

따라서, Training-Order는 모델 내부적으로 구조적인 특징을 가지고 있음.

• Limitation
  • 8B 모델의 작은 모델과 단순한 데이터셋으로만 실험을 함.
  • 또한 언어 모델에 대해서만 실험을 해 일반성이 부족함.
  • Alias로 entity를 바꾸고, Fine-tuning을 하여 Training-order를 관찰했는데,

    Pre-Training시에도 Training-Order가 있는지에 대해 확인하지 않았음.

  • Training-Order라는 현상만 발견했지, 이 현상이 발생한 정확한 원리는 파악못함.

• Positive Effect
  • Training Data가 시간적 정보를 가지고 있을 때, Training-order가 Training에 도움이 될 수 있고, 더 좋은 예측을 할 수 있음.

• Future Works
  • Pretrainig시에도 Training-order가 존재하는지에 대한 실험 가능
  • 모순되거나 상충되는 정보들에 대해서 Training-Order가 어떻게 변할지 확인
  • 모델이 실제로 Training-Order를 알고, 스스로 업데이트를 조절할 수 있을지?
  • 모델이 자신의 답변 상태에 대한 설명을 할 수 있을지?

• Conclusion

  언어 모델은 “무엇”을 알고 있는지에 더해서 “언제” 배웠는지에 대해서도 저장을 한다.

  여러 통제 실험에도 불구하고 언어 모델은 Training-Order를 가지고 있다.

  💡

  LLM의 representation은 단순히 지식을 저장하는 것이 아닌,

  학습 과정의 시간적인 정보(=Training Order)까지 담고 있는 공간임.