Layers at Similar Depths Generate Similar Activations Across LLM Architectures

Review

닉네임	한줄평	별점 (0/5)
눈물	• 강점 : 모델이 다르다고 해서, activation까지 다른건 아니다를 보여준 연구. • 약점 : 개인적인 생각으론 LLM은 Pretrain-model이니 Pre-training시에 대규모 데이터를 학습시켰을텐데, 그에 따라 비슷한 데이터가 학습되었지 않았을까? 그래서 다른 모델이라도 상대적인 layer에서 비슷하게 나온게 아닌가? 실험에 쓰인 모델들의 사전지식 특성(데이터 분포)을 고려해야 하지 않을까? 싶음. (모델이 다르니 pretrain 데이터 분포가 다르다를 전제로 하는거 같은데 어떻게 알지? 명확하지 않은 것 같다) • 보완점 : 확실하게 구조적인 특징인지 통제 실험이 필요함. (모든 모델 입장에서 완전 새로운 데이터인 것을 가지고 실험을 한다든지.........?)	3.4
피땀	• 강점: 정말 많은 모델과 파라미터에 대한 실험을 진행함으로써 일반화가 가능하다는 걸 검증함 • 약점 & 보완점: 어떤 점으로 인해 유사함이 나타나는건지 ablation study 가 있었으면 좋겠음	3
thumbs-up	• 장: 모델의 종류보다는 layer의 깊이에 따라 비슷한 activation을 보임을 밝힘. 다양한 실험을 통해 검증하고 직관적인 방법으로 보여줌. • 단&보완: 왜 이런 분석을 했는지? 왜 그런 결과가 도출되었는가에 대한 분석 부족. 사실상 요즘 LLM이 거의 비슷한 데이터로 학습되었고, 큰 틀에서 모델 구조도 같기 때문에 그런거 아니야?	2.5
웃으면서 보자	장점과 보완점: 아래 논문이랑 꽤 비슷함. 모델 간 공유할 수 있는 건 뭐고, 다른 건 무엇인지 분석하는 건 중요하다고 생각함. 기존에는 distillation 형태였다면, 다음 단계에서는 직접적으로 전달할 수 있지 않을까? 모델이니까, 사람은 윤리적이슈로 상상만 가능한 뇌 이식이 가능하지 않을까? 그런 방향의 연구도 궁금함 단점: 구조가 그렇게 다른가 싶음..	3.7
독수리오형제	• 강점: mutual k-NN과 affinity matrix를 사용해, “어떤 layer가 어떤 layer와 대응되는가”를 시각적으로도 쉽게 전달함 • 약점: 현상을 잘 보여주지만, 왜 그런 alignment가 생기는지에 대한 explanation은 약함. 분석측면이 없음. 그리고 cosine similarity 말고 다른기준으로도 실험 가능할듯 • 보완: 현상에 대한 추가적인 분석 및 다른 metrics을 추가	3.6
팝콘	• 장점: 번역 텍스트 대상의 실험으로, 단순 토큰이 아닌 구조적 정보에 대해서도 모델들이 유사한 layer activation 공유함을 보임 • 단점: 다른 모델이더라도 layer의 상대적 위치에 따라 비슷한 특성을 인코딩한다는 건 기존에 알려진 사실같다 • 보완점: 발견한 사실을 어떻게 활용할 수 있을지 궁금함	3.2
삐질	• 장점: 단일 LLM의 layer 분석을 넘어, 서로 다른 LLM의 layer alignment를 수행함. 각 레이어를 행렬로 매칭시켜서 해석한 것이 새로운 발상임. • 약점: Alignment가 발생하는 지에 대한 현상 위주고 이론적 설명이 부재함. 그리고 구조적 관계를 보기 위해 선택한 nearest neighbor의 경우 임베딩 공간의 전체 구조 반영이 어려움. • 보완점: 전체적으로 얼마나 비슷한 구조를 가지는지 평가하는 방법과의 비교 실험이 필요	3.3
파이어	• 장점: LLM 모델이 서로 다른 조건에서 학습되었더라도 latent space가 유사한 점을 해석하여 증명한 점이 기여가 크다고 봄. • 단점: 증명 부분이 약하고 현상 설명으로 대부분의 분량을 채운 점이 아쉬운 부분임. • 보완: 이 사실에 대한 현상 설명에 그치는 것이 아니라 이론적 증명이 받쳐주어야 할 것임.	4
초콜릿	• 장점: 서로 다른 아키텍처의 LLM들을 layer 단위로 비교한다는 발상 자체가 흥미로웠고 affinity matrix를 시각화했을 때 diagonal pattern이 눈에 바로 보여서 주장이 직관적으로 보였음. • 약점: top-k 이웃이 몇 개 겹치는지만 보기 때문에 activation space의 전체적인 구조를 다 반영하지 못할 수 있을 것 같음. k 값을 바꾸면 결과가 달라지지 않을까. • 보완점: 다른 representation similarity 지표로도 같은 실험을 해보면 어떨까	3.4
덩쿠림보	residual connection이 있음에도 불구하고 layer가 깊어지면 상위 개념을 인코딩함에 따라 space 형태가 크게 달라지는 것은 꽤 놀라움. 다른 모델끼리 비슷한 것은 어느정도 납득할만한 결과임. 서로 다른 모델의 비슷한 layer나, 같은 모델에 있는 다른 깊이의 layer에 대해서, activation을 대체했을 때 어떻게 작동하는지도 궁금함!	3.6

TL; DR

💡

서로 다른 LLM들을 비교했을 때, 비슷한 상대 depth의 layer들끼리 activation geometry가 유사하게 나타남

즉, LLM마다 layer representation은 변하지만, 그 변화의 progression은 아키텍처를 넘어 어느 정도 공유됨

Summary

Layers at Similar Depths Generate Similar Activations Across LLM Architectures, COLM’25
📄 Paper | 🖥️ Code

Author

Citation: 11

Introduction

Background

서로 다른 아키텍처의 LLM들이 만들어내는 activation structure가 얼마나 유사한지를 분석하고자 함
독립적으로 학습된 LLM들의 latent space는 서로 어떻게 관련되는가?
그 안에 모델 전반에 걸쳐 공유되는 보편적 성질이 있는가?

Representation similarity를 볼 때는, activation이 축 permutation이나 부호 반전(sign flip) 같은 trivial한 차이를 가질 수 있음
- 두 모델이 사실상 비슷한 표현을 배우고 있어도 어떤 축의 순서가 바뀌거나 어떤 축의 부호가 반대로 정의되어 벡터 좌표값 자체는 꽤 다르게 보일 수 있음
  - Example of permutation / sign flip
    e.g 1., LLM의 어떤 layer activation을 벡터라고 할 때, 각 문장의 벡터표현이 다음과 같음:
    문장 A = [1.2, -0.7, 3.1] | 문장 B = [1.1,−0.6,3.0]
    e.g 2., 같은 지도를 하나는 북쪽이 위로, 하나는 남쪽이 위로, 하나는 x축/y축을 바꿔서그림
    → 좌표 숫자는 달라져도, 어느 도시가 어느도시와 가까운지는 거의 바뀌지 않음
⇒ 벡터 좌표값을 그 자체로 직접 비교하면 ‘어? 완전 다르네?’라고 나올 수 있는데, 사실은 같은 구조를 다른 좌표계로 표현한 것뿐일 수 있음

Motivation

같은 입력 집합 $D$ 를 모델에 넣고 특정 layer의 activation을 모으면, 각 입력 $t$ 에 대해 ‘이 activation과 가장 비슷한 다른 입력들’, 즉 nearest neighbors을 찾을 수 있음
- 저자들이 관찰한 두 가지 현상/주장:
  - Claim 1: 같은 모델 안에서도 깊이가 다른 layer들은 서로 다른 nearest-neighbor relationship를 형성함
  - Claim 2: 서로 다른 모델이라도 대응되는 깊이의 layer들은 비슷한 nearest-neighbor relationship를 형성함

⇒ 즉, activation은 depth에 따라 변하지만 그 변화의 progression 자체는 모델들 사이에서 공유된다!

So in this Paper…

이 가설을 체계적으로 보기 위해, 서로 다른 LLM의 모든 layer pair를 비교하는 layer-by-layer affinity matrix를 구성함
- 각 cell은 두 layer가 만드는 nearest-neighbor relationship의 유사도를 나타냄

그리고 이 affinity matrix에 diagonal structure가 나타나는지 보고자 함
- diagonal이 강하다 → 비슷한 상대적 깊이에 있는 layer끼리 더 유사하다
- off-diagonal이 약하다 → 깊이가 많이 다른 layer끼리는 유사성이 낮다

⇒ 이를 통해 개별 layer 하나하나가 아닌, LLM들이 depth를 따라 activation geometry를 어떻게 변화시키는지를 모델군 수준에서 분석하고자 함

Contribution

24개의 open-weight LLM (1B–70B)을 대상으로, 서로 다른 아키텍처의 LLM들 사이 layer-wise affinity matrix를 대규모로 비교함
- 직사각형 affinity matrix에서도 depth-aligned pattern을 분석할 수 있도록 generalized diagonal을 정의

activation similarity를 mutual k-nearest neighbors (mutual k-NN) 기반으로 측정해, diagonal structure를 일관되게 보여줌

Method

Affinity matrix로 모든 layer pair의 similarity를 정리한 뒤, 직사각형 matrix에서도 depth correspondence를 볼 수 있도록 generalized diagonal을 정의한다.

Affinity Matrix Construction

Representation / Activation 정의
- 각 transformer 모델 $M$ 은 text를 vector로 보내는 embedding function들의 집합으로 봄
  - e.g., embedding function $f$ : 입력 text를 받아서, $M_1$ 10번째 layer의 마지막 token activation 벡터를 내놓는 함수
- 각 layer (decoder module) 끝에서 마지막 token 위치의 hidden state 벡터를 꺼냄
  - e.g.,
    layer 1의 마지막 token hidden state
    layer 2의 마지막 token hidden state
    ...
    layer L의 마지막 token hidden state
→ 따라서 입력 하나와 layer 하나가 주어지면, 그 layer의 representation vector 하나가 얻어짐

Nearest-neighbor relationship
- 데이터셋 $D$ 의 각 입력 $x$ 에 대해, embedding function $f$ 가 만든 vector space에서 $x$ 와 가장 가까운 $k$ 개의 다른 입력을 찾음
  - 이때 cosine distance를 사용함

Representational similarity measure: Mutual k-NN
- 두 embedding function $f,g$ 가 있을 때, 각 입력 $x$ 에 대해 $f$ 가 뽑은 top-k 이웃과 $g$ 가 뽑은 top-k 이웃이 얼마나 겹치는지의 평균 비율을 mutual k-NN으로 측정
  → “두 layer가 같은 입력들에 대해 비슷한 local geometry / 이웃 구조를 갖는가?”를 보는 척도
  “두 layer가 비슷하다”== mutual k-NN score가 높다는 뜻
  - 각 데이터 포인트 $x$ 마다, 두 layer $f, g$ 가 뽑은 top-k 이웃이 얼마나 겹치는지 본 뒤, 그 비율을 전체 데이터셋에 대해 평균낸 것
    $M^{(D)}_k$ 가 큼: $f$ 와 $g$ 가 “비슷한 local geometry”를 가짐
    $M^{(D)}_k$ 가 작음: 같은 입력을 봐도 서로 다른 이웃들을 고름

Affinity Matrix
- 두 모델 $M_1$ , $M_2$ 의 각 layer 쌍 $(i, j)$ 에 대해 similarity를 계산해 $A_{i,j} = s(f^{(i)}_{M_1}, f^{(j)}_{M_2})$ 형태의 matrix를 만듦
- Setting
  - similarity measure: mutual k-NN (k=10)
  - dataset $D$ : OpenWebText 2048개 샘플
⇒ affinity matrix의 각 cell은 ‘두 layer가 같은 입력들에 대해 비슷한 nearest-neighbor relationship을 만드는 정도’를 의미

Generalized diagonal

Generalized diagonal
- Rectangular matrix에서도 diagonal을 정의하기 위해 generalized diagonal을 도입함
- 일반적으로 diagonal은 정사각 행렬에서만 자연스러움
  - e.g., 32-layer model vs 32-layer model 이라면
    → (1, 1), (2, 2), … (i, i) 이런식으로 대각선을 볼 수 있음
- 하지만 이 논문은 layer 수가 다른 모델들 (e.g., 32-layer model vs 48-layer model) 도 비교하므로, 절대적인 layer 번호가 아니라 상대적 깊이(relative depth) 가 비슷한 pair들을 diagonal으로 보고자 함
  - e.g., 작은 모델의 25% 지점 layer, 큰 모델의 25% 지점 layer 은 서로 대응되는 depth임
- 따라서 generalized diagonal은 비슷한 상대 depth를 갖는 layer pair들이 포함되는 diagonal band / region으로 간주함
  → i.e., ‘딱 한 줄의 diagonal’이 아닌, diagonal-like 영역
논문에서는 affinity matrix의 diagonal pattern이 단순한 우연이 아니라 실제 경향인지 확인하기 위해 naive t-test와 block bootstrap을 사용하여 검증함

Experiment

Setting

Models
- 24개 open-weight LLM
- Size: 1B~70B parameters
- Layers: 16~80 layers

Dataset
- Main: OpenWebText에서 랜덤 샘플링한 2048개 text
  웹 기반의 자연스러운 장문 텍스트 모음
- Appendix / sensitivity 분석용:
  IMDB movie reviews, parallel English/German book translations, IFEval, MMLU, OPUS Books (English / German), Wikipedia featured article lead paragraphs, random alphanumeric strings

Results

Main Claim 1, Claim2
- 같은 모델의 다른 layer depth와, 다른 모델의 대응 되는 depth의 layer을 비교 (Claim 1 / Claim 2)
  Claim 1: 같은 모델 안에서도 깊이가 다른 layer들은 서로 다른 nearest-neighbor relationship를 형성함
  Claim 2: 서로 다른 모델이라도 대응되는 깊이의 layer들은 비슷한 nearest-neighbor relationship를 형성함
- 같은 모델 안에서도 layer 10 vs layer 30처럼 깊이가 다르면 activation geometry가 달라짐
  activation geometry: 한 layer의 activation space에서 입력들이 서로 어떤 상대적 위치 관계
- 다른 모델이라도 비슷한 상대 depth에 있는 layer들은 유사한 activation geometry를 가질 수 있음
  ⇒ layer별 geometry는 변하지만, 그 변화의 순서/진행은 모델마다 공유됨
- Llama-3.1-8B layer 10 vs Gemma-2-9B layer 20
  OpenWebText의 특정 text $t$ 하나에 대해, 두 모델의 대응되는 layer가 고른 top-10 nearest neighbors를 Venn diagram으로 비교
  Detail
  기준이 되는 텍스트 t 를 기준으로, Llama-3.1-8B의 layer 10, Gemma-2-9B의 layer 20 에서 각각 activation을 뽑음
  각 layer의 activation space 안에서 $t$ 와 가장 가까운 텍스트 10개, 즉 top-10 nearest neighbors 를 찾음 (cosine distance)
  → 겹치는게 많을수록 두 layer가 t 주변의 local neighborhood를 비슷하게 보고 있다는 뜻
- Llama-3.1-8B layer 30 vs Gemma-2-9B layer 40
  같은 text $t$ 에 대해, 더 뒤쪽의 서로 대응하는 layer들에서 top-10 nearest neighbors를 비교
  같은 모델 안에서는 depth가 바뀌며 보는 구조가 바뀌는데, 그 바뀐 구조 역시 다른 모델의 대응 depth와 다시 맞물림

Main Result: Diagonal Structure in Layer Affinity Matrices
- OpenWebText 2048개에 대해, 24개 모델의 layer pair similarity를 affinity matrix로 시각화
- Caption
- LLM의 다양한 조합에서 diagonal structure가 나타남
  → 비슷한 상대적 깊이의 layer끼리 더 유사하다는 의미
  ⇒ LLM들은 depth에 따라 distinct한 activation geometry의 progression을 만들고, 그 progression이 아키텍처를 넘어 largely shared 됨

Depth correspondence의 형태 분석
- 가장 비슷한 layer가 상대 모델의 어느 depth에 나타나는지, 그리고 각 depth가 얼마나 대응 layer를 가지는지 확인하고자 함
  Detail
  (a) most similar depth between two models
  x축: model 1에서의 상대 깊이
  y축: 그 layer와 가장 비슷한 model 2 layer의 상대 깊이
  (b) max similarity to other model
  x축: model 1의 상대 깊이
  y축: 그 depth에서 model 2의 어떤 layer와든 얻을 수 있는 최대 similarity
- (a) 각각의 선은 model pair $M_1, M_2$ 을 나타냄
  → Similar layer은 유사한 (비례되는) 깊이에 나타남 (e.g., 전체 depth의 30% 지점 대 30% 지점)
- (b) 다른 모델에서 가장 잘 맞는 counterpart를 찾았을 때, 그 similarity가 얼마나 되는가? 를 봄
  → 대부분 선이 depth 전반에 걸쳐 크게 안 무너짐 & 서로 다른 모델이지만 내부적으로 꽤 비슷한 양상을 보임
- (c) 모든 모델 쌍의 affinity matrix 에 평균을 취하고, 이를 정사각형으로 맞춤
  → 비슷한 상대 깊이끼리 더 유사함

On-diagonal vs. off-diagonal mean similarity
- Detail
  (a) generalized diagonal: 파란색 띠 ‘영역’ 임
  (b) 각 점 하나가 모델 pair 하나를 의미
  x축: generalized diagonal 위 layer pair들의 평균 similarity
  y축: generalized diagonal 밖 layer pair들의 평균 similarity
  점선: x=y 축 (on-diagonal mean = off-diagonal mean 인 경계선)
- 점들이 점선 아래쪽에 몰려 있음 → 비슷한 상대 depth의 layer pair들이 평균적으로 더 높은 similarity를 가짐

Cross-lingual Analysis: English vs. German
- 같은 내용을 가진 영어 text를 모델 1에, 독일어 번역 text를 모델 2에 넣어 cross-lingual nearest-neighbor preservation을 보고자 함
- 같은 언어를 넣을 때보다 similarity는 낮아지긴 하지만 그래도 약한 diagonal structure는 남아있음
  ⇒ diagonal structure가 단순히 같은 문장을 넣어서 생긴 현상이 아닌, 언어가 달라도 어느 정도 유지되는 더 구조적인 현상임

Effect of Instruction Tuning on Activation Structure
- Gemma-2-9B base vs Gemma-2-9B IT를 비교하고, input은 OpenWebText와 IFEval로 바꿈
  OpenWebText: 일반 자연어 웹 텍스트
  IFEval: instruction-following 능력을 평가하려고 만든 프롬프트 데이터셋
- base 모델과 instruction-tuned 모델의 activation structure 차이가 입력 분포에 따라 어떻게 달라지는지를 보고자 함
- OpenWebText (a): base vs IT 사이에도 전 depth에서 strong diagonal structure가 보임
  → 일반 웹 텍스트에서는 base와 IT가 여전히 비슷한 대응 layer 구조를 가짐
- IFEval (b): 특히 later layers에서 similarity가 많이 낮아짐
  → instruction-following에 맞춘 입력에서는, fine-tuning의 영향이 late layers에서 더 크게 드러남
  ⇒ input distribution이 diagonal structure에 영향을 줄 수 있음

Random alphanumeric strings
- 의미 없는 랜덤 문자열 2048개를 입력해 affinity matrix을 봄
  diagonal structure가 정말 의미 있는 representation progression을 반영하는지, 아니면 아무 입력에나 자동으로 나오는 패턴인지 보고자 함(입력 분포에 대한 민감도 확인)
- 모델 간 nearest-neighbor similarity는 여전히 존재하지만, diagonal structure는 사라짐
- Early / late layers는 random strings에서도 서로 높은 agreement를 보임
  저자들이 그 agreement를 뜯어보니 last few characters 같은 표면 feature에 많이 의존한다고 함
  i.e., random string에는 의미적 구조가 없으니까 모델이 neighbor를 고를 때 더 깊은 semantic structure 대신 이런 쉽게 잡히는 표면 단서에 기댔다는 의미
  e.g., “끝 두 글자가 같네”, “형태가 비슷하네” 같은 얕은 기준
⇒ 따라서 diagonal structure는 “모델이면 항상 나오는 현상”이 아니라, 입력 분포에 의존하는 현상

Yonsei Univ. ICL

Layers at Similar Depths Generate Similar Activations Across LLM Architectures

💡서로 다른 LLM들을 비교했을 때, 비슷한 상대 depth의 layer들끼리 activation geometry가 유사하게 나타남즉, LLM마다 layer representation은 변하지만, 그 변화의 progression은 아키텍처를 넘어 어느 정도 공유됨

Layers at Similar Depths Generate Similar Activations Across LLM Architectures

Review

TL; DR

Summary

Introduction

Background

Motivation

Contribution

Method

Experiment

Setting

Results

Categories