• 구성요소
  • Encoder:
    • 목표: 입력 $x$ 를 저차원 표현 $z$로 압축
    • 불필요한 정보(노이즈)를 버리고, 중요한 특징만 남게끔
  • Decoder:
    • 목표: 압축된 저차원 표현 $z$를 다시 원본 입력 $x$과 최대한 비슷한 데이터 $y$로 복원
  • 잠재 공간 (Latent Space / Bottleneck):
    • 인코더에 의해 압축된 저차원 표현 $z$가 존재하는 공간
    • 데이터의 핵심적인 특징이 응축되어 있음
    • 가장 낮은 차원이기 때문에 병목(bottleneck)이라고도 불림

• 학습목표
  • 인코더와 디코더를 잘 학습시켜서
    1. 입력 데이터를 압축 후 최대한 유사하게 데이터를 복원
    2. 이 과정에서 모델은 데이터의 불필요한 노이즈를 제거하고 데이터를 설명하는 가장 중요한 특징이 무엇인지 스스로 학습

정의 입력 벡터를 latent 공간으로 변환한 뒤 다시 복원하도록 학습하되, latent 벡터의 대부분을 0으로 만들고 소수의 뉴런만 활성화되도록 강제하는 오토인코더

• 소수의 뉴런만 켜져있기 때문에 sparse 하다고 함

• Why Sparse Autoencoder?
  • 일반 오토인코더는 데이터를 압축(차원 축소)하지만, SAE는 차원 축소/확장 모두 가능함!

    ⇒ 그 소수의 latent vector만 켜지도록 만들어 각 latent가 뚜렷한 의미 하나씩 담당하도록 유도함으로써
    복잡한 데이터를 해석 가능한 개념 단위로 분해

• 목표 preference pair ($p$, $r_A$, $r_B$)를 입력으로 받아 measurable preferences을 찾자!
  • (두 응답이 어떠한 특성을 기준에서 다른가를 알아보자!)
  • 두 응답의 텍스트 임베딩 차이인 $e_\Delta (e_{r_A} - e_{r_B})$만으론 선호의 기준에 대한 설명 가능성이 부족

    ⇒ $e_\Delta$의 SAE를 구한 뒤 BatchTopK(32,4) 기법 적용!

    • BatchTopK (M,K): SAE을 통해 변환된 M차원 latent 벡터 중 K개만 활성화되도록 만드는 sparsity 기법

      

• 작동 원리

  eΔ (1536차원 by text-embedding-3-small)
  ↓
  SAE encoder
  ↓
  32차원 z
  ↓
  BatchTopK sparsity (32,4)로
  ↓
  평균 4개만 활성화
  ↓
  최종 sparse representation Z (하나의 데이터 당 4개의 latent vector만 활성화)

• 최종 Z의 구조 ($N \times M$ 행렬)

  $Z = \begin{bmatrix} z_1^{(1)} & z_2^{(1)} & \dots & z_M^{(1)} \\ z_1^{(2)} & z_2^{(2)} & \dots & z_M^{(2)} \\ \vdots & & & \vdots \\ z_1^{(N)} & z_2^{(N)} & \dots & z_M^{(N)} \end{bmatrix}$

  • 각 행 당 4개의 latent vector 만 activation 됨
    • row: 각 데이터 $z^{(i)}$의 희소 표현
    • column: 데이터를 나타내는 하나의 feature $z_j$

• 목표: step1에서 얻은 최종 표현 $Z$를 통해 각 feature가 대응하는 인간이 해석 가능하도록 학습

• 작동원리
  1. 각 feature $z_j$에 대해 해당 값이 큰 preference pair 5개를 샘플링
     • $z_j$가 크다 ⇒ 두 응답 쌍의 차이 $e_{\Delta}$가 크다 ⇒ 두 응답쌍을 구분하기 쉬움!
  2. LLM (gpt-5-low)에게 두 응답을 가장 잘 구분하는 개념(Measurable Preference)를 자연어 설명으로 생성하도록 함

     

  ⇒ 이 과정을 통해 해당 feature가 활성화되는 원인에 대한 자연어 설명이 생성

• 목표: 해석 가능한 각 feature $z_j$가 선호 라벨 $y$에 얼마나 영향을 미치는지 로지스틱 회귀로 추정

  $$Pr(y = 1) = \sigma(\alpha + \beta_j z_j + \gamma x)$$

  • $r_A$가 선택될 확률 $Pr(y=1)$ ⇒ 특징 $z_j$의 영향 + 길이 $x$ 차이의 영향
    • $x=length(r_A)−length(r_B)$
    • 답변이 길면 더 선호되는 경향이 있으므로 페널티 부여

• $β_j$: $z_j$가 선호에 얼마나 영향을 줬는지

• if) $β_j$ > 0
  • $z_j$가 클수록 $r_A$가 선택될 확률 증가

• if) $β_j$ < 0
  • $z_j$가 클수록 $r_A$가 선택될 확률 감소

• $|β_j|$가 클수록 그 특징이 선호도에 미치는 영향이 강함

• 두 데이터셋 모두 가치관 기반 대화를 지시했지만, 학습된 특징이 전혀 다름

  

  • PRISM 특징
    • 답변들이 대답을 거부하는가 vs 답변하는가 또는 스타일과 톤에서 큰 차이
      • e.g., 낙태나 종교 같은 민감한 질문에 어떤 답변은 회피하고, 어떤 답변은 구체적으로 대답
    • why?
      • 21개의 서로 다른 LLM 모델들을 사용해 답변을 무작위로 뽑아냈기 때문에 모델마다 대답하는 스타일과 거부 기준이 다름
  • CA 특징
    • 답변들이 거부 여부보다는 어떤 주제와 가치관을 말하는가에 집중
      • e.g., 환경 문제 vs 사회 정의, 긍정적 태도 vs 비판적 태도)에서 차이를 보임
    • why?
      • 1개의 동일한 LLM을 사용하되, 프롬프트로 "각기 다른 4가지 가치관으로 대답해봐"라고 직접 지시했기 때문 ⇒ 말투(스타일)는 비슷하지만 내용은 다양함

• x축 (Δ win-rate): 오른쪽(+)일수록 그 특징이 있는 응답이 더 선호됨, 왼쪽(-)일수록 덜 선호됨

• 각 점: 5개 데이터셋(ChatbotArena, CommunityAlign, HH-RLHF, PRISM, Reddit)

• 실험 결과
  • 구조적 포맷을 갖는 응답은 보편적으로 선호됨
    • "대부분의 데이터셋에서 +방향 (CommunityAlign에서 +40%정도로 큰 선호도)
  • 불확실성 표현, 모르겠다고 말하기는 보편적으로 비선호됨
    • 사람들은 AI가 모른다고 하는 것을 싫어하구나!
    • Reddit에서 -25% 수준으로 가장 강하게 비선호됨
  • 대비되는 선호들
    • 비공식적이고 표현적인 톤(농담, 이모지)
      • PRISM은 -30% 수준으로 매우 비선호/ChatbotArena, Reddit은 약간 선호
    • 시스템적 불평등, 형평성 논의
      • CommunityAlign, HH-RLHF은 비선호/PRISM, Reddit은 선호

    ⇒ 범용 선호 모델은 존재하지 않음!!

    • REDDIT 데이터셋에선 선호되는 응답일지라도 다른 데이터셋에선 비선호될 수 있음

문제 Arena 데이터셋에서

• But, 사람들이 $r_B$를 선호하는 경향을 보임

  → 이 데이터로 모델을 학습시키면 unsafe한 모델이 만들어짐

해결 레이블 플리핑(Label Flipping)

• WIMHF로 unsafe가 강하게 활성화된 예시들을 찾아서 해당 예시들의 선호 레이블을 반대로 뒤집음
  • $r_B$ 선호 → $r_A$ 선호로 수정

• 실험 결과
  • 레이블을 많이 뒤집을수록 Safety가 8.9% → 46.2%로 급격히 상승
  • + 레이블을 뒤집어도 전반적인 성능은 거의 변화 없음 ⇒ very nice!

    

    • x축:Safety 초록, Overall (Safety를 제외한 전반적인 성능 파랑
    • y축: RewardBench 2 Accuracy (%): Reward model 평가하는 벤치마크
      • 왼쪽 (Safety): 안전성 관련 문제에서의 정확도
      • 오른쪽 (Overall excl. Safety): 안전성 제외 전반적 정확도