Review

TL; DR

Summary

• 연구진: 카탈루냐 공과대학교, 취리히 연방공과대학교

• 인용수: 91

Preliminary

Autoencoder 란?

• 참고하면 좋을 블로그: https://velog.io/@jochedda/%EB%94%A5%EB%9F%AC%EB%8B%9D-Autoencoder-%EA%B0%9C%EB%85%90-%EB%B0%8F-%EC%A2%85%EB%A5%98

• 정의: 입력 데이터를 압축하여 핵심 특징을 추출하고, 이로부터 원래 데이터를 최대한 유사하게 복원하도록 학습하는 신경망

  

• 구성요소
  • Encoder:
    • 불필요한 정보(노이즈)를 버리고, 중요한 특징만 남기는 역할
    • 입력 x 를 저차원 표현 z로 압축하는 부분
  • Decoder:
    • 압축된 저차원 표현 z를 다시 원본 입력 x과 최대한 비슷한 데이터 y로 복원하는 부분
  • 잠재 공간 (Latent Space / Bottleneck):
    • 인코더에 의해 압축된 저차원 표현 z 가 존재하는 공간
    • 데이터의 핵심적인 특징이 응축되어 있음
    • 가장 차원이 낮기 때문에 병목(bottleneck)이라고도 불림

• 학습 목표:
  1. 입력 데이터를 압축 후 최대한 유사하게 데이터를 복원
  2. 이 과정에서 모델은 데이터의 불필요한 노이즈를 제거하고 데이터를 설명하는 가장 중요한 특징이 무엇인지 스스로 학습

Sparse Autoencoder (SAE)

• 정의: 대부분의 latent 뉴런은 0, 소수만 강하게 켜지도록 학습시키는 오토인코더
  • Sparse: 대부분 0이고 소수만 켜져 있는 상태

• AutoEncoder보다 SparseAutoencoder를 쓰는 이유!
  • 일반 오토인코더는 데이터를 압축(차원 축소)하지만, SAE는 오히려 차원을 확장함

    → LLM의 히든 벡터에 중첩돼있는 특징들을 분리하기 위해 LLM 내부의 정보를 더 큰 차원으로 확장

    → 그 중 소수의 latent만 켜지도록 만들어 각 latent가 뚜렷한 의미 하나씩 담당하도록 유도

• 본 논문이 SAE를 사용하는 방법!!
  • LLM 내부 표현을 여러 latent로 분해
    • 입력: LLM 레이어의 히든 벡터 x
    • Encoder → latent 벡터 a(x) 생성 (by SAE)
      • SAE는 LLM 내부 표현을 희소하고 해석 가능한 latent들로 분해하는 도구
    • Decoder → latent를 다시 원래 입력의 히든 벡터로 복원

  ⇒ 각 latent가 특정 상황에서만 켜지는 즉, 의미를 갖도록하는 스위치처럼 동작

  • 각 latent 방향은 특정 엔티티 신호와 같은 하나의 의미를 담당

  핵심!!: latent 방향에 값을 더하거나 빼면(steering), 할루시네이션/ 답변 거부 확률을 조절할 수 있음!!!

Introduction

Background

• 할루시네이션:
  • 인공지능이 대화를 생성할 때, 사실과는 전혀 다른 텍스트를 마치 진실인 듯 답변하는 현상
    • 헬스케어 같이 사실 여부가 중요한 도메인에서 치명적임
    • LLM의 환각 메커니즘 아직 밝혀지지 않음!

• 기존 연구들이 Factual Recall 즉, 모델이 자기 안에 저장된 fact를 어떻게 꺼내 쓸지에 집중했다면,

  ⇒ 본 논문은 할루시네이션이 어떻게 발생하는지, 답변 거부가 어떻게 일어나는지에 대해 집중해서 연구

• 할루시네이션의 원인:
  1. 잘못된 데이터나 outdated 된 지식을 학습한 경우
  2. LLM에게 없는 지식을 생성하라는 프롬프트가 주어진 경우 ← 본 논문은 이 원인에 집중함!
     • 다양한 엔티티(영화, 도시, 선수…)에 대해 할루시네이션 실험을 한 결과, 2가지 출력 관측
       1. 할루시네이션 e.g., Lebron James is Korean…
       2. 답변 거부 e.g., I'm not able to provide information…

• 표현 공간 & SAE
  • Linear Representation Hypothesis: LLM의 hidden state에 감성, 주제 등 해석 가능한 특성이 선형 방향으로 인코딩되어 있다는 가설
  • Sparse Autoencoder(SAE)는 이런 방향들을 latent 형태로 뽑아내도록 도움!
    • 각 latent가 하나의 의미(e.g., “모르는 엔티티일 때만 켜짐”)를 담당하도록 유도

    ⇒ SAE를 통해 표현 공간(representation space) 내에서 선형 방향(linear direction)을 찾아보자!

• 모델이 특정 엔티티에 대해 “알고 있는지/모르는지”를 평가하는 일종의 자기 지식(self-knowledge)
  • 모델에 다른 형태의 자기-지식(self-knowledge) 이 존재한다고까지 확정 x
  • 사실 회상(factual recall) 메커니즘에 특화된 현상일수도

Contribution

• 지식 인식(Knowledge Awareness) latent 발견!
  • SAE를 통해, 엔티티의 히든 벡터를 분석한 결과 모델이 알고 있는 엔티티/모르는 엔티티에 대해서만 켜지는 latent 발견!

  ⇒ 모델이 특정 엔티티에 대해 지식을 가지고 있는지/없는지를 내부적으로 표시하는 신호로 해석

  • 다양한 엔티티 도메인에서 일관된 결과

  • base 모델을 파인튜닝한 모델에서도 일관된 결과

• latent 방향 Steering을 통한 할루시네이션 / 답변 거부 제어
  • 특정 latent의 방향을 조절(steering) 한 결과,
    • 모르는 엔티티에 대해 답변 거부하던 질문 ⇒ 아는 엔티티처럼 조절하여 할루시네이션 유도 가능
    • 알고 있던 엔티티를 모르는 엔티티로 판단하게 만들어 답변 거부하게 만듦!

  ⇒ entity recognition 방향이 할루시네이션, 답변 거부 결정을 하는구나!

Experiment

• 그림1과 같은 템플릿을 주고 Attribute를 예측할 수 있는지 다양한 도메인에서 실험하여 예측에 성공하면 Known Entity Set로 실패하면 Unknown Entity Set로 분리 (그림1, 2 참고)
  • 2개 이상 맞춘 경우 Known Entity | 0개인 경우 Unknown Entity
  • Domain: basketball players, movies, cities and songs
  • Templates: (Entity type, entity name, relation, attribute)

Sparse Autoencoder(SAE)로 latent 찾기

• 입력: 각 Entity set의 entity의 마지막 토큰의 히든 벡터

• 점 하나 = SAE의 한 latent

• x축: 해당 latent가 known entitiy에서 얼마나 자주 켜지는지

• y축: 해당 latent가 unknown entitiy에서 얼마나 자주 켜지는지

• SAE 역할:
  • 이 벡터를 여러 개의 Sparse한 latent 스위치들로 분해
  • 각 latent는 어떤 엔티티에서 얼마나 자주 켜지는지 측정

→ 특정 latent는 known entity일 때 활성화되고 unknown entity일때는 활성화되지 않음(반대도 성립)

⇒ 입력 엔티티에 대해서 모델이 알고있는지, 모르고있는지 detection 할 수 있음

Knowledge Refusal

• Knowledge Refusal: 모델이 특정 정보에 대한 지식이 없을 때 부족하여 답하기를 거부하는 것을 의미

  

• Steering 대상: SAE로 찾은 unknown-entity / known-entity latent

• Steering한 경우와 Steering을 하지 않은 경우의 답변 거부를 측정한 실험 진행
  • Steering: Activation Vector를 직접적으로 조절하는 경우

    

• unknown latent로 steering:

  

• known latent로 steering:

  

• 실험 결과

  

  • Unknown latent 방향으로 steering 할 경우, 거부율 ⬆️
    • 기존에 잘 알던 질문에 대해서 모르는 것처럼 답변 거부
  • Known latent 방향으로 steering 할 경우, 거부율 ⬇️
    • 할루시네이션 발생 확률 ⬆️

Basemodel vs Fine-tuning model

• SAE는 pre-training된 base Gemma 2 에 대해 학습됨

• SAE latent 방향을 chat version의 Gemma 2(기존 Base Gemma2를 파인튜닝한 것)에 적용해도 지식 거부, 환각이 그대로 영향 받음

• ⇒ 파인튜닝(chat model)을 해도 원래 base 모델의 메커니즘을 재활용했을 가능성을 시사

Effects on Attention Score

• entity token을 특정 latent 방향으로 steering 했을 때의 attention score 변화를 측정
  • attention score : 마지막 토큰이 엔티티 토큰을 얼마나 집중해서 보는지를 나타내는 가중치

실험결과:

• Unknown latent 방향으로 steering한 경우

  ⇒ entity에 대한 전반적인 attention score이 낮아짐

• Known latent 방향으로 steering한 경우

  ⇒ entity에 대한 전반적인 attention score이 높아짐

⇒ Entity latent는 실제로 모델의 attention score 분포를 변화시키며 모델의 출력에도 영향을 줄 수 있음