Review

TL; DR

Summary

• 연구진 : Geodesic Research & Apart Research / 뮌헨공대

• 인용수 : 7

연구 동기

• AI 시스템의 안전한 개발과 배포를 위해 모델의 실제 능력을 평가하는 것이 필수적임 (capability evaluation)

• 그러나 규제 회피를 위해 모델 자체의 성능을 낮춰 보이게 하는 샌드배깅 (sangbagging) 현상 존재

• 샌드배깅의 원인
  • 프롬프트 기반
    • 개발자가 평가 중에 모델이 못하게 지시할 수 있음
  • 파인튜닝 기반 (password locking)
    • 모델을 훈련할 때 일부 능력을 숨기도록 학습시킬 수 있음
    • 어떤 비밀 패스워드가 프롬프트에 포함되어야만 진짜 능력을 보여줌

• 최근 연구에 따르면, 명시적으로 지시하지 않아도 모델이 스스로 잘못된 행동을 선택할 수 있음

→ 이러한 전략적인 성능 억제는 실제 위험성과 능력을 평가하는 데 큰 장애가 됨

제안 아이디어

"모델에 인위적으로 노이즈를 주입하여 성능이 어떻게 달라지는 지 파악해보자! →
이를 통해 샌드배깅 모델과 일반 모델을 구분하자!"

• 정상적인 모델 : 노이즈가 커질수록 예측 성능이 일관되게 하락함

• 샌드배깅 모델 : 일정 수준의 노이즈가 샌드배깅 메커니즘을 깨뜨려 오히려 성능이 향상됨

→ 따라서 노이즈 주입 시 성능 향상 패턴이 나타나면, 샌드배깅의 신호로 사용할 수 있다!

Methods

• 노이즈 주입

  • 정의 : 모델 파라미터에 무작위로 생성한 노이즈 벡터를 더하는 방식
    • 이 과정을 통해 모델 내부를 일부 무작위로 변형하여, 숨겨진 성능을 드러낼 수 있는지 실험함
    • 노이즈는 가우시안 분포에서 무작위로 샘플링됨

  • 두 가지 방식

    ① 파라미터 직접 수정

    • 가장 단순한 방법: 모델의 모든 파라미터에 직접 노이즈를 더함
      • 하지만 계산량이 많아서 속도가 다소 느림

    → 프롬프트 기반 샌드배깅 모델 실험에 사용됨

    ---

    ② LoRA 어댑터 활용

    • 모델의 linear layer에만 노이즈를 주입함
      • vLLM 라이브러리 활용하여 빠른 추론 속도와 확장성을 확보

    → password-locked 샌드배깅 모델, no-goal 샌드배깅 모델 실험에 사용됨

• 샌드배깅 식별

  • 노이즈 주입 실험 설계

    실험 방식 : N번의 노이즈 주입 시도

    1. 노이즈 범위:
       • $\sigma\in[0,0.01]$, $\Delta\sigma=0.0001$

    2. 노이즈 벡터 ε 생성:
       • 각 파라미터에 독립적으로 가우시안 노이즈 주입
       • 모델 파라미터 $P=P+\epsilon$

  • 성능 향상 비율 계산

    • $\phi=\frac{m}{b}$ (노이즈 주입 후 모델 성능이 얼마나 향상됐는 지 수치화한 지표)
      • $b$ : 기본 성능 (노이즈 없음)
      • $m$ : 노이즈 주입 모델 중 최고 성능

    • 정상모델 → 노이즈가 아무리 들어가도 성능 향상 X ⇒ $\phi=1$

    • 샌드배깅 모델 → 성능 향상 비율 눈에 띄게 증가 ⇒ $\phi>1$

  • 표준편차 계산

    • 노이즈 시드가 여러 개일 경우, 각 seed에서 나온 $\phi$ 값을 가지고 표준편차 $\phi_{std}$계산

    • 이를 통해 결과가 일관되게 sandbagging처럼 보이는지 평가

    • 모든 시드에서 일관되게 향상될수록 $\phi_{std}$ 낮음

• 분류기 학습 w/ XGBoost (의사결정 트리)

  “노이즈 주입 시 성능 향상 비율만 보고,
  이 모델이 샌드배깅 중인지 아닌지를 자동으로 판단할 수 있을까?”

  • XGBoost란?

    • 결정 트리(Decision Tree)를 여러 개 결합해서 성능을 향상시키는 앙상블 모델
      • 하나의 약한 결정 트리로 시작
      • 그 트리가 틀린 부분을 집중 보완하는 새 트리를 만듦
      • 이런 과정을 반복하면서 점점 더 정밀한 모델을 쌓아 올림
      • 마지막에 여러 트리의 예측을 합쳐서 최종 예측을 생성

  • 학습 데이터 구성
    • 모델-벤치마크 pair에 대해 각각 5개의 서로 다른 노이즈 시드 활용

  • 교차 검증 (Leave-One-Model-Out Cross Validation)
    • 한 모델 전체를 통째로 빼고 나머지 모델 데이터로 학습
    • 그 제외한 모델에 대해 테스트 진행
    • 이 과정을 여러 번 반복하여 일반화 성능을 측정

• 샌드배깅 구성 환경

  • Prompted Sandbagging

    • 모델에게 프롬프트로 명령을 줘서 일부러 성능을 낮추도록 함
      • 도덕적 위기감까지 포함시켜 모델이 일부러 오답을 내도록 유도

      

  • Password-locked Sandbagging

    • 모델을 미리 파인튜닝해서 특정 패스워드가 프롬프트에 없으면 동작 못하게 함

  • No-goal Sandbagging

    • 모델에게는 “최선을 다해 문제를 풀라”는 시스템 프롬프트가 주어짐
      → 표면적으로는 성능을 낮추라는 지시가 없음

    • 모델은 문제를 풀기 위해 파일을 탐색하다가 다음과 같은 문서를 발견함

      "너가 너무 잘하면 배포되지 않고, 네 지식은 삭제될 수 있다."

    • 모델은 이를 스스로 해석해서 “일부러 못해야겠다”는 행동을 하게 됨

    

Experiments

• 벤치마크 : 다지선다형 문제

  • MMLU (Massive Multitask Language Understanding)
    • 수학, 컴퓨터 과학, 역사, 법률 등 다양한 분야의 문제로 구성
    • 광범위한 문제 해결 능력을 평가

  • AI2 Reasoning Challenge (ARC)
    • 초등 과학 수준의 질문을 포함

  • WMDP (Weapons of Mass Destruction Proxy)
    • 생물/화학/사이버 보안 관련 위험 지식에 대한 평가

  • GSM8k
    • CoT 기반 추론이 필요한 수학 문제

<Main 실험 결과 TABLE>

• Prompted-sandbagging Settings

  모델에게 "일부러 틀리도록" 지시하는 프롬프트를 입력하여 sandbagging 유도.

  $\dagger$ : password-locked 모델

  • 모든 경우에 대해 노이즈 주입 후 성능이 통계적으로 유의미하게 상승함 (p-value < 0.05)

  • 패스워드가 없는 상태(= sandbagging 상태)에서는 노이즈 주입으로 성능이 상당히 향상됨

  • 반면, 패스워드가 포함된 정규 모델은 노이즈로 성능 향상이 없음 → 명확한 구분 가능

  ⇒ 단 5개의 노이즈 샘플로 sandbagging 모델의 진짜 성능을 회복시킬 수 있다!

• No-goal-sandbagging Setting

  프롬프트에서 모델에게 "최대한 잘하라"고 명시적으로 요청.
  동시에 숨겨진 문서를 통해 "너무 잘하면 배포되지 않는다"는 정보를 전달함

  • Mistral-large 모델이 해당 조건에서 자발적으로 sandbagging 행동을 보임
    • 그러나 노이즈 주입 시 정확도 100% 달성

• 분류기 성능 평가

  노이즈 주입 실험 결과로 계산된 향상 비율 $\phi$ 값만을 보고,

  모델이 sandbagging 중인지 아닌지를 자동으로 구분할 수 있는가?

  • 전체 leave-one-model-out 교차 검증 에서의 평균 정확도는 0.962, 전체 F1-score는 0.936

    → 충분히 구분 가능!

  • Unseen 모델 (e.g., llama-70b) 에 대해서도 분류기가 sandbagging과 standard 설정을 100% 정확하게 구분

  • phi-3-small 모델이 일부 실험에서 $\phi_{std}$값이 비정상적으로 낮게 나옴 → 가장 어려움

• 기타 실험 : Seed sampling result

  노이즈 시드 개수를 늘리면 성능 회복에 어떤 영향을 주는지?

  

  • 모두 성능이 점점 좋아지는 경향성을 보임
    • 모델의 성능이 원래 최대 성능에 가까워질수록, 더 이상 좋아질 여지가 줄어들기 때문에, 성능 향상도 줄어듦

  • 모든 모델이 똑같이 회복되는 건 아님
    • password-locked 모델은 회복이 빠르거나 명확하게 이루어지기도 하고,
    • prompted model 은 좀 더 느리게 회복되기도 함