Review

TL; DR

Summary

• 연구진:

• 인용수: 1

Background & Motivation

• SAE(Sparse Autoencoder) 기반 dictionary learning 방법으로 LLM의 피처를 비지도 방식으로 발견 가능함
  • SAE란?

    LLM 내부의 뉴런은 polysemanticity 문제를 가짐

    • polysemanticity = 뉴런이 "왕족", "체스", "프랑스어"처럼 전혀 다른 개념들을 동시에 인코딩함

    • SAE는 이걸 풀기 위해 설계된 구조

    SAE 작동 원리

    • 인코더가 d차원(예: 768)의 밀집 벡터를 훨씬 큰 m차원(예: 16,000)의 공간으로 투사

    • →이후 활성화 함수와 희소 패널티(L1 정규화)가 거의 대부분의 값을 0으로 강제하고, 극소수(보통 20개 이하)의 특징만 활성화됨

    • →디코더가 활성화된 특징들의 선형 조합으로 원래 벡터를 재구성.

    손실 함수는 두 목표의 합

    • ||x - x̂||²는 원래 벡터와 재구성 벡터가 최대한 같아야 함,

    • λ||f(x)||₁는 활성화된 특징이 최대한 적어야 함.

    • 이 두 압력이 동시에 작용하면서, 각 특징이 정말 중요한 개념 하나만 담도록 훈련됨.

    왜 이게 해석 가능성으로 이어지는가?

    • 학습이 끝난 뒤 어떤 텍스트를 SAE에 통과시켰을 때 특정 특징 #5832가 켜진다면, 그 특징이 활성화되는 다른 텍스트들을 모아보면 공통된 개념("DNA 서열", "과학적 글쓰기" 등)을 사람이 육안으로 읽어낼 수 있게 됨.

    T-SAE 논문이 지적한 문제는, 기존 SAE가 "the"라는 단어나 문장 부호처럼 토큰 하나에서만 켜지는 구문 특징을 주로 학습하고, "이 문장은 식물 생물학에 관한 것이다"처럼 시퀀스 전체에 걸쳐 의미 있는 의미론적 특징은 잘 학습하지 못한다는 것이다

• 하지만 실제로 SAE가 복원하는 피처는 고수준 의미 개념을 제대로 포착하지 못하는 문제가 반복적으로 보여짐

⇒ 이는 LLM이 의미를 인코딩하지 못해서가 아니라, 현재의 방법 자체가 언어의 구조적 특성을 무시하기 때문

기존 SAE의 문제점

• 모든 토큰을 독립적으로 처리
  • 언어는 본질적으로 시간적 구조를 가지지만 기존 SAE는 이러한 순차적 구조를 전혀 활용하지 않음

• 구문(syntax) 정보 편향
  • 기존 SAE가 복원하는 피처는 대부분 특정 토큰에 국한된 구문적 패턴
  • 주제, 의도, 맥락 등 고수준의 의미 정보는 잘 포착되지 않음

• 피처 활성화의 불안정성(dense activation)
  • 하나의 시퀀스 위에서 피처가 토큰마다 불규칙하게 활성화되어, 시퀀스 수준의 해석이 어려움

⇒ 언어의 시간적 구조, 즉 고수준 의미는 인접 토큰에 걸쳐 일관되게 유지된다는 성질을 SAE 학습에 반영한 새로운 프레임워크가 필요함 → T-SAE

Contributions (What they’ve revealed)

T-SAE (Temporal Sparse Autoencoder) 프레임워크

• 언어 생성 과정에 대한 데이터 생성 프로세스를 형식화
  • 고수준 변수(ht): 의미, 의도 등 시간 불변의 정보
  • 저수준 변수(lt): 품사, 어휘 선택 등 토큰 단위의 작은 정보
  • 두 변수를 구별하는 원칙으로부터 SAE 설계 원리를 도출

• Temporal Contrastive Loss를 통한 의미/구문 분리
  • SAE 피처 공간을 고수준과 저수준으로 분리
  • 고수준 피처에 대해 인접 토큰 간 유사도를 높이는 contrastive loss를 추가
  • 명시적 의미 레이블 없이도(self-supervised로) 의미와 구문 피처를 분리

• 시퀀스 수준의 해석 가능성 구현
  • 기존 SAE는 토큰 수준의 해석만 가능했지만, T-SAE는 시퀀스 전체를 일관된 의미 단위로 해석 가능
  • reconstruction quality 등 기존 SAE 평가 지표에서도 경쟁력 있는 성능 유지

Method

기존 Matryoshka SAE의 계층적 피처 분리 구조에 Temporal Contrastive Loss를 추가하여, 고수준 피처가 인접 토큰 간 일관된 활성화를 갖도록 강제함.

• Matryoshka SAE란?

  • 일반 SAE
    • 일반 SAE는 재구성 손실(reconstruction loss) + 희소성 패널티(L1)만으로 학습한다
    • 이는 토큰별로 활성화되는 로컬 구문 특징 위주로 학습되어 의미 특징 포착 실패 함

  • Matryoshka SAE
    • 특징 공간을 고수준/저수준으로 분할하는 계층적 구조
    • 고수준 특징이 저수준 특징의 재구성 잔차를 설명하도록 설계됨
    • 하지만 여전히 고수준 특징마저도 구문 정보에 지배되어 의미/구문 disentanglement 부족함

데이터 생성 프로세스 형식화

• 화자의 언어 생성 과정을 두 종류의 잠재 변수로 모델링
  • g(ht, lt) = xt 라고 가정함. 즉 LLM 레이어의 출력 벡터 xt가 고수준 정보 ht와 저수준 정보 It의 가역 함수로 이루어져 있다고 봄
  • 고수준 변수 ht (Temporal Consistency 가정): 의미·맥락 등 시퀀스에 걸쳐 안정적으로 유지되는 정보. 인접한 두 토큰 xt, xt'는 유사한 ht를 가짐
  • 저수준 변수 lt (Hierarchical Representation 가정): 품사·어휘 선택 등 특정 토큰에 국한된 정보. ht로 설명되지 않는 잔차(residual) 신호

• 이 두 가정으로부터 T-SAE는 그 역함수를 찾는 역할을 함. (SAE의 피처 공간을 고수준/저수준으로 분리)

Temporal Sparse Autoencoder 구조

• Matryoshka SAE의 계층적 손실 함수 기반

  

  • 일반 SAE 구조 수식

    • 일반 SAE 수식

    

    • T-SAE에서는 Wdec를 물리적으로 두 조각으로 쪼갬.

    

  • Matryoshka 재구성 손실

    

    • LH는 "고수준 특징만 가지고 원래 벡터를 얼마나 복원하는가"를 측정.
      • 고수준이 의미·맥락을 담고 있다면 이것만으로도 어느 정도 복원이 되어야 함.

    • LL는 "고수준 + 저수준을 모두 써서 얼마나 복원하는가"를 측정.
      • 저수준이 나머지 잔차를 채워주는 역할이라, 이 두 항을 더하면 자연히 저수준 특징이 "고수준이 설명 못 한 나머지 정보"를 담도록 유도됨.
  • 고수준 피처(f0:h): 입력 xt를 직접 재구성
  • 저수준 피처(fh:m): 고수준 피처가 설명하지 못한 잔차를 추가로 재구성

• Temporal Contrastive Loss 추가
  • 고수준 피처 벡터 zt와 인접 이전 토큰의 고수준 피처 zt-1 간 코사인 유사도를 높이도록 학습
  • 배치 내 다른 샘플들과의 유사도는 낮추어 smoothness collapse 방지
  • 저수준 피처에는 제약을 주지 않고 고수준 피처의 나머지 잔차만 채우도록 설계

• Temporal Contrastive Loss (Lcontr)
  • L_contr에서 항이 두개인 이유는 대칭성 때문
  • 인접 토큰 쌍 (zt, zt-1)을 positive pair로 사용
  • 배치 내 다른 샘플과의 쌍은 negative pair로 사용하여 InfoNCE 스타일의 대조 학습 수행
  • 항의 의미
    • 분자: i번째 시퀀스 내 인접 토큰 유사도 → 높아야 함
    • 분모: i번째 토큰과 모든 시퀀스의 이전 토큰 유사도 합 → 낮아야 함
    • 같은 시퀀스끼리는 비슷하고, 다른 시퀀스끼리는 달라야 한다는 의미를 가짐.

  

Experiments

• 실험 1- 의미/맥락/구문 정보 복원 (Probing)

  T-SAE가 진짜로 의미를 학습했는가를 측정

  • 실험 세팅

    • 모델: Pythia-160m, Gemma2-2b

    • 데이터: MMLU

    • 평가 방법: k-sparse probing (k=1,5,10,20) 및 Logistic Regression

    • 레이블:
      • 의미(Semantic): MMLU 문제 카테고리
      • 맥락(Context): 동일 시퀀스 내 토큰 여부 (어느 질문에서 나온 토큰인지)
      • 구문(Syntax): 품사(Part-of-Speech) 레이블

    • Baselines: BatchTopK SAE, Matryoshka SAE, 모델 원본 latent

  • 결과
    • T-SAE 고수준 피처는 의미,맥락 레이블에서 기존 SAE를 능가
    • 구문 정보는 기존 SAE와 동등한 수준을 유지 → 의미/구문 분리(disentanglement) 달성
    • T-SAE 저수준 피처는 독자적으로 구문 정보를 복원 → 고/저수준 피처가 각자의 역할에 특화됨
    • Matryoshka SAE의 경우 고수준 피처가 구문 정보에 집중되어 있으며, 저수준 피처는 의미,맥락,구문 모두에서 예측력이 낮음 → 분리 실패

  

  

• 실험 2- 재구성 품질 (SAE 표준 품질 지표)

  • 지표: FVE(분산 설명률), Cosine Similarity, Fraction Alive, Autointerpretability Score
    • 각 지표의 의미

      FVE(분산 설명 비율) : 원래 벡터의 정보를 얼마나 보존하는가

      Cosine Similarity : 원래 벡터와 복원 벡터의 방향이 얼마나 같은가

      Smoothness : 특징 활성화가 토큰 간에 얼마나 매끄럽게 변하는가(낮을수록 좋음)

      Autointerp : LLM이 특징 설명을 얼마나 잘 생성하는가

  • 결과: T-SAE는 Matryoshka SAE, BatchTopK SAE와 동등한 수준의 재구성 품질을 유지함
    • → 의미 정보 복원 향상이 핵심 SAE 성능을 희생하지 않고 달성됨

  

• 실험 3- 시간적 일관성 측정

  • 실험 세팅
    • 4개의 서로 다른 텍스트(생물학 문제, 다윈의 편지, Animal Farm 위키피디아 문서, 수학 문제)를 이어붙인 시퀀스에서 상위 8개 활성 피처를 시각화
    • Smoothness 지표: Lipschitz, Fourier, Wavelet, Multiscale 기반 4종

  

  • 결과
    • T-SAE 피처는 서로 다른 텍스트 구간 사이에서 명확한 위상 전이를 보이며, 각 구간 내에서는 부드럽게 유지됨
    • 기존 SAE 피처는 전체 시퀀스에 걸쳐 불규칙하게 활성화되어 구간 간 의미 분리가 어려움
    • Smoothness 지표에서 T-SAE 고수준 피처가 Matryoshka/BatchTopK SAE보다 일관되게 우수

• 실험 4- Case Study

  • HH-RLHF 데이터셋
    • Anthropic의 HH-RLHF 데이터셋에서 chosen/rejected 응답 간 T-SAE 피처 활성화 차이를 분석
    • T-SAE는 안전 관련 의미 피처("crime and malicious activities", "violent or aggressive behavior")를 명확히 탐지
    • 동시에 거절 응답이 선택 응답보다 평균 11.4 토큰 더 길다는 허위 상관관계(spurious correlation)도 발견 (p < 1e-9)
    • 기존 Matryoshka SAE는 "specific bicycle components", "references to ecosystem dynamics" 등 무관한 피처를 주요 피처로 반환

  

  • Steering (LLM 행동 제어)
    • LLM Steering 이란?

      • 모델의 출력 방향을 원하는 쪽으로 유도하는것

      • LLM이 텍스트를 처리할 때 내부적으로 레이어마다 벡터를 만들어내는데 SAE 스티어링은 그 벡터에 직접 개입.

      • 평가 기준
        • intervention success(개입 성공도): 원하는 개념이 실제로 출력에 나타났는가
        • coherence (텍스트 일관성): 출력이 읽을 수 있는 문장인가

      • 기존 SAE의 특징은 토큰 하나에서만 켜지는 구문 특징 위주라, 특징을 강하게 켜면 그 토큰만 반복되는 실패가 잦았음.

      • T-SAE의 고수준 특징은 시퀀스 전체에 걸쳐 일관되게 활성화되도록 학습됐기 때문에, 특징을 강하게 켜도 문장 전체의 의미가 자연스럽게 바뀜.
        
    • T-SAE 고수준 피처로 steering 시, 다양한 강도에서 모델 출력의 의미를 일관되게 변경하면서 문장 일관성 유지
    • Matryoshka SAE로 steering 시, 특정 강도에서 토큰 반복 현상(catastrophic failure)이 발생
    • T-SAE가 intervention success와 coherence 모두에서 Pareto 우위 달성