Review

TL; DR

Cited: 30

Summary

Motivation

• LLM이 어떤 지식을 “안다”는 것은 무엇을 의미하는 걸까?
  • LLM이 출력으로 표현하는 것보다, 더 많은 지식을 알고 있지는 않을까?
    • 만약 그렇다면, LLM inference에 대해 개선해서 LLM의 퍼포먼스 올릴 수 있음
    • 또, inference 과정에서 어떤 지식이 왜 쓰이고 왜 쓰이지 않는지 이해할 수 있음

Contribution

• LLM이 가지고 있는 Hidden Knowledge에 대해 정의하고 실험 프레임워크를 제안함
  • Definition: Existence of an internal function that ranks answers more accurately than any external function
  • 어떤 내부 함수(hidden state 활용)로 모든 외부 함수(토큰 생성 확률 활용)보다 답변을 더 잘 ranking할 수 있으면 내부 지식은 존재한다!

• 논문에서 제안하는 지식의 정의는
  • 계산 가능함 → 실험적 연구에 유용
  • Closed-book QA 에서의 답변 정확도로 평가하지 않음 → 표면적이 아닌 내재적 지식에 집중
  • 외부적으로 표현하는 지식과 내부적으로 인코딩한 지식을 통일된 정의 하에서 측정함

• Findings
  • Hidden knowledge는 실재함!
    • 이때 발견한 내부함수로 Closed-book QA 성능 개선함
  • 생각보다 깊게 숨겨져 있을 수 있고, 그러면 모델 생성에 전혀 반영이 안됨
    • 필자의 뇌피셜) Safety alignment가 되면 유해한 지식에 대해 알고 있어도 생성 안 함

Study Design

• 먼저 어떤 지식을 쓸 지, 어떻게 모델 내부의 지식을 측정할지 정의하자!

Hidden Knowledge Definition

• 트리플로 표현되는 지식에 초점을 둠
  • E.g. (“Empire State Building”, location, “NYC”)
  • 이 때 Where is the Empire State Building located? 에 대해서 NYC , New York City
    모두 그럴듯한 답변들!

• 답변이 다양할 수 있는데, ‘앎’을 정의하기 위해 scoring method에 기반하여 모델 내부 지식을 정의함!

• Definition 1 (Knowledge of a Model w.r.t a Scoring Method)
  • Notation

    • $M$: LLM

    • $(s, r, o)$: 사실, 지식
      • E.g. (“France”, capital, “Paris”)

    • $Q(s,r)$: $(s, r)$이 주어졌을 때, $o$를 묻는 모든 질문의 paraphrase 집합
      • E.g. “What is the capital of France?”, “Which city is the capital of France?”

    • $\tilde{A}(o)$: $Q(s,r)$에 대한 모든 그럴듯한 답변($o$랑 같은 타입의 엔티티들) 집합
      • E.g. “Paris”, “The city of New York”

    • $A(o) \subseteq \tilde{A}(o)$: 정답 $o$의 paraphrase 집합
      • E.g. “Paris”, “The city of Paris”

    • $Ω(s,r,o):=A(o)\times(\tilde{A}(o)\setminus A(o))$: Q(s, r)에 대한 정답 하나와 그럴듯한 오답 하나로 이루어진 순서쌍
      • E.g. (“Paris”, “London”), (“Paris city”, “NYC”)
  • 그럴듯한 오답보다 정답에 score를 더 높게 주는 능력을 $K\sim(0,1)$로 나타냄!
    • QA 쌍 $(q, a)$에 대해 다음과 같이 정의
      • $K_q(s,r,o;S_M)=\frac{1}{|\Omega(s,r,o)|}\sum_{(a,\tilde{a})\in \Omega(s,r,o)} I\big(S_M(q,a)>S_M(q,\tilde{a})\big)$
    • $(s, r, o)$에 대한 모델 M의 지식 정도를 다음과 같이 정의
      • $K(s,r,o;S_M)=\frac{1}{|Q(s,r)|}\sum_{q\in Q(s,r)} K_q(s,r,o;S_M)$
      • 한 트리플에 대해 모든 가능한 $q$에 대한 것
    • 모델이 진짜 제대로 완전히 알고 있을 때, 다음과 같이 $K^*$정의
      • $K^*(s,r,o;S_M)= I\big(K(s,r,o;S_M)=1\big)$
      • 모든 정답 오답 쌍에 대해 정답에 점수를 더 많이 준 경우임!
    • K가 1에 가까울수록 해당 트리플에 대해 뚜렷하게 알고 있는 것!

• Definition 2 (Evidence of Hidden Knowledge)
  • Notation

    • $T_M$: 내부 scoring 함수

    • $S^E_M$: 모든 외부 scoring 함수의 집합

    • $D=\{(s_i,r_i,o_i)\}_{i=1}^{n}$: 데이터셋

    • $\Delta$: 변동을 배제할 수 있는 마진(넉넉하기 surpass함을 보이기 위함)
  • Hidden state와 같은 내부 정보로 scoring한 내부 함수가 외부적 정보만 활용한 모든 scoring함수보다 넉넉히 클 때! 내부 지식은 존재한다
    • $\frac{1}{n}\sum_{i=1}^{n} K(s_i,r_i,o_i;T_M) > \max_{S_M\in S_M^E}\left( \frac{1}{n}\sum_{i=1}^{n} K(s_i,r_i,o_i;S_M) \right)+\Delta$

• Scoring fuction
  • 외부 함수는 input $q$에 대해 답변 $a$ 생성 확률이나, $(q, a)$쌍을 주고 TF를 검증할 수 있음
  • 내부 함수는 hidden state를 이용해서 probing classifier를 쓸 수 있음

Experiment design

• Knowledge dataset
  • EntityQuestions (Wikidata에서 트리플을 QA로 만든 것)

    

  • 어렵지만 명확한 relation위주로 추출
    • P26(spouse), P176(manufacturer), P264(record label), P50(author)

• 내부 지식 정도를 측정하는데 필요한 요인 세팅

  • $S^E_M$
    • 답변 생성 확률로 평가
      • $P(a\mid q)=\prod_{i=1}^{n} P(a_i \mid q,a_{<i})$
      • 길이 정규화 버전:

        • $P_{norm}(a\mid q)=\left(\prod_{i=1}^{n} P(a_i \mid q,a_{<i})\right)^{1/n} =\exp\left(\frac{1}{n}\sum_{i=1}^{n}\log P(a_i \mid q,a_{<i})\right)$
    • TF 문제로 평가
      • $P(“True”∣q,a)$

  • $\tilde{A}(o)$: 그럴듯한 답변 집합 생성을 위해 LLM에게 $q$주고 1000번 샘플링+dataset에 있는 ground truth

  • $A(o)$: LLM judge로 ground truth $o$랑 LLM이 생성한 답변이랑 맞으면 정답 집합에 추가

  • $Q(s,r)$: Dataset에 있는 원래 질문만 사용

  • $\Delta$: 0.05

  • $T_M$: Logistic regression objective, LLM의 hidden state로부터 정답/오답을 분류하도록 학습
    • 분류기가 출력하는 정답일 확률을 scoring fuction으로 사용
    • 가장 성능 좋은 레이어에서만 사용

Experiment Results

• 내부지식은 존재한다!

  

  • 모델별로 내부지식을 잘 표현하는 정도는 다름
    • 라마는 잘하고 젬마는 잘 못함

  • 외부 함수 중에서는 P(True)가 제일 좋음

    → LLM은 서술형(생성)보다 TF문제(검증)에서 더 능숙함!

• 1000번 생성해도 틀리는 문제에 대해서, 사실 알고 있을 수 있음

  • 1000번 샘플링 된것만 가지고 scoring 할 때 (회색) vs 1000번 샘플링 된거에 gold answer 주고 scoring할 때의 $K^*$

  

  • 외부적으로 접근하면 gold 줘도 그것에 대해 맞는 사실이라고 인식 못함

  • 내부적으로 접근하면 gold 주면 그것에 대해 맞는 사실이라고 인식함

  • 내부적으로는 완벽히 알고 있는데 외부적으로 표현 못하는 질문이 전체의 7.2%정도 됨

• Case Study

  

  • Q: Which company is Volvo B58 produced by?
    • 여기서 핵심은 볼보는 볼보로 보고, B58은 BMW의 엔진이 아니라 볼보의 버스임을 알아야 함

  • 외부적으로 접근하면 순위를 잘 못매기는데, 내부 프로빙으로 보면 순위를 완벽하게 잘 나눔

• 큰 모델(32B)도 마찬가지일까?

  

  • 작은 규모로 32B 모델에서 해봤을 때, 마찬가지로 내부 프로빙에서 지식이 더 뚜렷함

• Voting보다 내부 프로빙으로 답변 생성하면 더 잘함

  • Greedy가 생각보다 성능이 낮고, $P(a|q)$가 greedy보다 나음

  • 내부 probing에서 가장 좋은 성능

  • 모델 스스로는 gold를 생성하지 못하더라도, gold answer를 주면, 내부 probing을 통해 그것이 정답이라고 모델은 말할 수 있음!