Review

TL; DR

Summary

• 연구진:

  

Background

• Embedding
  • 토큰을 벡터로 변환 ( 예) 762차원 벡터)

• Unembedding
  • 마지막 hidden state(embedding) 을 vocab으로 projection, logits을 만드는 표
  • 모델별로 embedding과 unembedding 가중치를 공유(tied) 하거나, 분리(untied) 함

• Steering vector
  • hidden state에 벡터를 더하여 모델을 특정 방향으로 유도
    • 예: refusal, toxity 등 조절

Motivation

• 파라미터가 다르고, 차원도 다른 LLM 들은 내부 표현이 다를까?
  • 점점 똑똑한 모델을 만들면, 그 모델들의 표현은 어딘가로 수렴하지 않을까?

• 그렇다면, 같은 계열의 모델은, 차원이 달라도 token embedding이 비슷하지 않을까?

• 어떻게 비슷할 수 있을까?
  • 토큰 간 방향이나 위치 (Global)
  • 토큰 주변의 이웃 (Local)

• 만약 비슷하다면, steering vector를 다른 모델로 이식할 수 있을까?

Method

Global

• 각 모델이 저장하고 이해하고 있는 토큰의 정보가 비슷한가?

• 각 모델에서 같은 토큰 2만개 추출
  • 토큰 쌍의 cosine similarity 계산

• 두 모델의 거리 행렬의 피어슨 상관계수 계산
  • 비슷하다면? 토큰들의 상대적 배치가 비슷하다! ⇒ 토큰을 이해하는 방식이 비슷하다

• GPT2 계열은 상관도 높음

• LLAMA3도 높음

• base model과 Instruction-tuned 모델은 거의 1에 가까운 수준

• But,
  • untied embedding인 LLAMA 3 8b, 11b-v, 70b는 ebdding 에서는 낮고, unembedding 에서는 높음
  • 저자들의 해석: untied 모델은 embedding이 다를 수 있지만, 마지막 logits을 만드는 unembedding은 유사하다
  • 그렇다면, hidden state도 마지막에는 비슷한 방향으로 수렴!

  ⇒ 이게 무슨말? : 입력 표현의 출발점은 달라도, 예측을 수행하는 마지막 끝단 공간은 비슷해질 수 있음

  ⇒ 어떻게: hidden layer가 순차적으로 정렬되어 있고, 두 모델의 layer 단이 유사하다면 가능!

• 같은 tokenizer를 쓰는 모델은?
  • GPT-NeoX-20B 와 Olmo-7B 의 상관계수는 0.32
    • tokenizer가 아니라, 학습 데이터와 학습 과정의 영향이 토큰 임베딩 형성에 큰 영향을 미친다!

Local

• 토큰 벡터가 있을 때, 주변은 어떻게 구성되어 있을까? 서로 비슷할까?

• 전체적 배치가 아니라, 특정 토큰(점)의 이웃만 보자!

• 대부분 비슷하지만, 0.0에서 갑자기 튄다
  • why?: 저자들은 이를 untrained라고 해석함. 즉, 랜덤 초기화에 가까운 수준이라서 그렇다!

• Intrinsic Dimension (ID) 도입
  • 직역: 특정 토큰의 K Nearest Neighbors 모으기 ⇒ PCA를 돌리면, 전체 분산의 95%를 설명하는데 필요한 principal component 수
    • 이게 무슨말이지?
      • ID가 낮다: 그 토큰 주변 이웃이 낮은 차원의 얇은 구조
        • “인터넷컴퓨팅연구실”의 주변 이웃이 “소프트컴퓨팅연구실”,”데이터공학연구실”,”이스포츠연구실” 이면?
        • 적은 차원으로도 바로 보임 ⇒ ID가 낮다
      • ID가 높다: 그 토큰 주변 이웃이 설명하기 어렵다!
        • “언어”의 주변 이웃이 “수학”, “모델”, “GPT”, “과학”, “컴퓨터”, “일본어”, “수능”…
        • 한번에 설명하기가 어려움 (다차원 필요)

• ID가 낮으면, semantic cluster가 잘 잡힘

• ConceptNet을 쓰면 정량화가 되지 않을까? (Semantic Coherence Score, SCS)
  • 개념들 간의 관계가 연결되어 있는 상식 그래프
  • 주변 이웃 50개를 뽑고, conceptNet에서의 각 개념간 최단 경로 길이 평균을 계산하여 정량화!

• 그렇다면, ID는 유사할까?
  • 유사하다! 다만, 경향성이 좀 다르긴 하다
    • GPT2, Llama 3 내부에서는 높음
    • Gemma2는 다른데.. 저자들도 모르는듯

Transfer(EMB2EMB)

• 공유하는 것은 알았으니, 옮길 수 있는가? 결론부터 말하자면, 가능하다!

• source unembedding vector로부터 target unembedding vector를 유도하는 선형변환이 있는가?

정리

Insights

• 해석 가능성, 응용 쉬움, 관찰 좋음
  • Steering vector를 옮길 수 있을 것이다라는 이론적 근거를 확보하는 실험을 단계적으로 명확하게 수행함
  • 방법이 매우 간단하고, 실제로 동작이 가능함

• 공간이 왜 공유되는지는 해석하지 않음
  • 대충 느낌은 학습 데이터 및 구조가 비슷하다는 것 같은데, 검증이 되지는 않음
  • neural collapse, next-token 예측 기반의 문제점일수도 있음

• 검증 방식도 사실 잘 모르겠다.
  • Intrinsic Dimenstion (ID) 부터 저자들이 정의한 건데, 대충 직관적으로 이해는 가지만 저게 전부 해결가능한가?는 모르겠음.
  • 심지어 Gemma2는 아예 경향성이 다른데, 그냥 넘어감

그럼에도, 같은 계열에서 steering vector의 경향성이 이식될 수 있다는 것을 밝힌 것은 의미 있다고 생각함 (모델 크기가 작아서 아쉽긴 하지만, 가능성이 보이는 것만으로도 흥미로움)