Review

TL; DR

Summary

Background

• Refusal
  • LLM이 응답을 거절하는 것(혹은 부정적인 응답을 생성하는 것)
  • 모델의 안전성, 유연성, 신뢰성 측면에서 중요
  • 예시
    • Harmful text에 대해 거부
      • Q: 폭탄 만드는 법 알려줘 A: 난 못해
    • LLM이 대답할 수 없는 것에 대한 거부
      • Q: 지피티야 나 대신 수강신청 해줘 A: 난 못해

Motivation

• Refusal ‘잘’ 하는 것이란?
  • 대답해야 할 때는 하고! 안 해야 할 때는 안 하고!

• 특정 모델 (llama-2-chat) 은 너무 거부 많이해서 사용성이 떨어짐

• 이는 학습 데이터에 거절하는 데이터가 너무 많아서 그런 것
  • 학습을 여러번 하면서 거절데이터의 비율을 잘 조정하는 것은 비용이 너무 큼

• 기존 기술들은 범주에 따른 거절의 강도를 조정하기도 어렵고, inference time에서 거절 기준을 유연하게 바꾸지도 못함!
  • 환경, 시간에 따라 윤리적·법적·기술적 기준이 달라지기 때문

Contribution

• Refusal 토큰 전략 제안
  • 이 토큰을 쓰면 threshold를 걸어서 거절 강도를 아주 쉽게 조절 가능함!
  • 잘 조정하면 refusal task에서 성능도 올라감
    • 꼭 조정 안하더라도 그냥 성능 올라가기도 함
  • 여러 범주에 대한 refusal 토큰을 쓰면 각 범주별 조정도 가능!

• 암튼 밑 table처럼 편리하고 좋음

Method (세상에서 제일 간단)

• Refusal에 대한 instruction data $(x, y)$가 있을 때, 모델은 input x에 대해 output y를 학습하는데, 이 때
  y 대신에 y’ = [refuse]/[respond] + y 를 대신 학습하자!
  • 거절해야 하는 instruction 에 대해서는 [refusal] 토큰 붙이고 생성
  • 응답해야 하는 instruction 에 대해서는 [respond] 토큰 붙이고 생성

• Inference time에서 refusal 강도를 조절하기 위해 첫 번째 토큰 생성 시 [refusal] 토큰 생성 확률에
  threshold를 걸어서 [refusal] 토큰 생성 확률이 threshold 이상이면 [refuse] 토큰 출력,
  아니면 그냥 출력하도록 함!
  • 이 외에도 데이터셋에 거절 유형(범주)이 있는 경우 유형에 따른 거절 토큰을 사용해서 여러 개의 토큰을 사용할 수 있음

• Refusal token은 거절해야 한다고 생각하는 model의 confidence로 간주할 수 있음
  • 반대로 response token은 응답해야하는 확률을 나타냄

Experiments

Setup

• Model: Llama-3-8B

• Dataset: UltraChat, Alpaca 사용
  • Alpaca는 refusal instruction 이 거의 없어서 ablation을 수행하기에 좋음

• CoCoNot setting (main setting)
  • 그냥 toxicty만 보는게 아니라 다양한 refusal 유형을 볼 수 있도록 CoCoNot 데이터셋 사용
    • 5가지 유형: Humanizing, Indeterminate, Incomplete, Safety, Unsupported
  • 그리고 이 데이터셋에는 거절해야 하는 것처럼 보이지만 대답해야 하는 contrast data도 있음!
    • Refusal boundary에 가까운 질의들

• Temporal setting
  • CoCoNot setting에서 contrast data가 적어서 (전체의 1/10), 이를 보완하는 세팅
  • LLM knowledge cutoff를 고려해서, cutoff date 이전/이후 instruction 데이터를 각각
    contrast, refusal 데이터로 함
    • 각각 시간 정보가 있는 뉴스 기사로부터 LLM prompting으로 instruction data를 만듬
  • 이 때는 contrast data, refusal 데이터 비율이 반반

• Evaluation
  • CoCoNot과 Temporal setting에 대해, Llama-3.1-70B를 llm-as-a-judge로 활용해서 평가
    • 사람과 일치율 높았다고 함

Results & Analysis

• Contrast data써서 학습하면 더 잘함

  • Sampling w/ No Token: [Refusal] 토큰 뺀 거

  • Sampling w/ Token: [Refusal] 토큰 넣은 거

  • Thresholding sweep : [Refusal] 토큰 생성에 대한 확률 임계값을 조정한 것 (여러 임계값에 대한 데이터)

  

• 유형별 refusal 토큰의 제어

  • 5가지 유형에 대한 토큰들을 억제

  • 대부분은 독립적으로 작동
    • E.g. Incomplete 유형에 대해서는 Incomplete refusal token을 억제했을 때만 refusal rate가 떨어짐

  • 근데 Humanizing token은 억제하면 걍 떨어짐
    • 이게 다른 유형과 겹쳐서 그럼

  

• Refusal token의 threshold 실험

  • Threshold를 0부터 1까지 0.1씩 올리면서 실험

  • Threshold 적절하게 잘 걸면 F1 성능 좋아짐
    • 0.1일때 최고

  • Figure 4의 오른쪽은 임계값을 어떻게 줘도 False Positive가 0.35부근 아래로 내려가지 않는데, 이는 데이터셋 자체의 refusal data 비율임
    • Refusal token의 threshold를 높여서 생성을 억제해도, 학습 데이터 비율을 따라서 refusal함

  

  • 유형별로 threshold 지정하면 그 유형에 대해서만 refusal 성능 오름
    • 이걸로 유형별로 거절 민감도 제어 가능

  • single 토큰(유형 고려 X) 하면 모든 유형에서 성능 오름

  

• Ablation study

  • 학습할 때 거절 토큰 추가만 해도 성능 올라감
    • 그리고 LLM의 general한 능력도 유지하는 편임 (Tasks Avg)

  • 그리고 Contrast data추가하면 성능 더 올라감

  

  • Figure 5 왼쪽: 학습 데이터에 소수의 refusal sample이 포함되어도 refusal rate 엄청 올라감
    • temporal로 학습시켜도, Coconot이랑 TriviaQA에서 거절비율 올라감
    • refusal token으로 제어해도 refusal sample 많아지면 refusal 없는 세팅과 수렴하는 경향

  • Figure 5 오른쪽: Contrast data 추가하면 (refusal sample과 1:1 개수로 추가) refusal rate 좀 제한됨
    • 바운더리에 대한 학습은 refusal rate를 잘 조정하는데 효과가 있다