Review

TL; DR

• Github: https://github.com/zhangbaijin/LVLMs-Saliency

Summary

Background & Motivation

• Large Vision Language Model (LVLM) 모델은 Cross-modal task에서 많은 효과를 보여 왔음
  • Visual Question Answering (VQA)나 Image Caption에서 특히 활용도가 높음

• 외부 지식을 활용하는 많은 방법들이 제안되어 왔는데, Interpretability (해석가능성)이 부족한 한계점

• 현재까지 Large Vision Language Model들에 대하여 Hallucination을 Correct Output과 구분할 수 있는 방법론이 많이 개발되고 있으나, 한계가 있음
  • Forward-pass Attention에 의존하고, Gradient에 기반한 신호는 기존 방법들에서 무시되어 왔음
  • Forward-pass Attention mask에서 sink되는 부분이 있으면 Hallucination이라고 판정해 왔지만 이게 적용되지 않는 예시가 너무 많음

• Hallucinated Token을 구분할 때, 기존의 Forward-pass Attention map으로는 구분할 수 없고, Saliency Map에서 low Saliency를 가지는 부분이 Hallucination이 발생하는 부분임을 보임

• “Label Words” (2023)의 information flow 개념에서 착안하여 특정 token에서 information highlight가 집중됨을 이용
  • LVLM-Saliency를 제안(Element-wise product of attention.weights and gradients)

• 다음 토큰에 대해 선행 output token들이 Saliency가 낮을 경우 Hallucination이 발생함!
  • 모델이 이전의 Context를 잊어버린 경우 Hallucination이 발생함
  • 이전의 output context만 영향을 미치고, Prompt Saliency는 이 문제에서 거의 영향이 없음

Method

1. Saliency-guided Rejection Sampling (SGRS)

   $$S^{(l)}_{P, j}$$

   • Normalized Saliency
     • Attention Weight A와 logit s가 있을 때, 실제 후보의 정답 확률 분포 y와 모델의 출력 바로 이전인 logit s간의 Cross-Entropy loss를 계산

     

     • 이후 Attention Matrix A(layer l와 head h별 Matrix)와 Loss의 Gradient를 구해 Attention이 얼마나 Loss에 영향을 미치는지 구함

       

     • layer와 head별 Saliency Matrix S를 Hadamard Product를 통해 구함

       

     • Layerwise Attention은 Attention Head마다의 Saliency를 평균을 내어 계산하며 L2 정규화를 적용함

       

   • SGRS는 Token을 실제로 출력하기 전에 후보 토큰의 Grounding 품질을 평가함

     

   • c_i는 후보 토큰 (Candidate) 중 하나
   • Layer-wise Normalized Saliency Matrix를 활용하여 Saliency를 계산
   • Target layer와 Generated output token별로 Saliency를 구하여 평균을 냄
   • Candidate의 Saliency가 일정한 Threshold 이상이 되었을 때만 출력을 허용하는 방법을 사용하여 Hallucination을 방지

     

     • Adaptive Threshold: S(xj)는 xj(현재) Token까지의 Saliency를 의미함
     • Window size W를 지정하여 특정 범위까지의 Saliency를 계산한 평균보다 크면 품질이 만족했다고 평가하는 원리
     • Alpha 값은 Threshold의 민감도를 조정하기 위함

2. Local Coherence Reinforcement (LOCORE)
   • LocoRe는 sequence-level context drift를 바로잡는 역할을 함

     

     

   • Absolute position P: 현재 위치
   • Jp: 현재 위치 이전에 생성된 토큰들을 의미
   • P+1(현재보다 바로 뒤 위치)의 토큰을 예측하기 위해서 P+1을 Query로 Jp를 key로 사용하여 Attention을 봄(단, window size를 조절하여 최근 s개 이내의 토큰을 집중적으로 봄)

     

   • Gain 및 Attention Matrix Update
     • 최근 토큰일 수록 Attention을 증폭하는 방식
     • 현재 위치 P에서 과거 토큰 위치 j의 차가 windows size이하일 때만 Gain을 1+(Beta)로 적용

     

     • b: batch, h: head, P+1: 생성하려는 next token, j: 과거의 토큰
     • Next Token을 생성할 때 과거의 토큰을 얼마나 참조하는지를 나타내며, Windows Size이내의 최근 과거 토큰에 대해서만 Gain을 부여함.

     

   • Gain Vector로 factorization하여 Attention Weight를 Update하는 형태

Experiments

1. Experimental Setups
   1. Baselines
      1. 최신 모델들로 실험
      2. LLaVA-v1.5-7/13B 모델, Qwen2-VL-7B, Intern-VL-7/13B 모델로 실험
   2. Evaluation Benchmarks
      1. 이미지 벤치마크
         1. Comprehensive Benchmarks
            1. LLaVa, MM-Vet, MME
         2. General VQA benchmarks
            1. VizWiz
         3. Hallucination benchmarks
            1. POPE
            2. CHAIR

2. Evaluation Results on Hallucination Benchmarks
   1. CHAIR and POPE Evaluations
      1. OPERA, DOLA, VCD, HALC, ICD , RITUAL, AGLA, SID, Only
   2. SFT methods
      1. LESS is more, CCA-LLaVa, Reverse-VLM
      2. End-of-Sequence (EOS) Symbol을 조절하여 logit을 조절함
   3. 모델 출력의 truthfulness을 Attention Head의 조절로 개선하는 것을 목표
      1. Vissink, EAH, TAME, MemVR, Farsight

3. Evaluation Results on Generation Benchmark

   

   

   1. MME 벤치마크
      1. 모델의 Perceptual 능력을 평가하기 위한 10개의 Task로 구성되며, Recognitive 능력을 평가하기 위한 4개의 task로 구성됨
      2. 모든 카테고리에서 가장 높은 성능을 보임
   2. SGRS와 LocoRE를 결합하는 것이 Reasoning-intensive tasks를 향상하게 됨

Ablation Study

1. Effect of LocoRE
   1. LocoRE를 LLaVA-1.5, Qwen2에 합치는 것이 성능 결과를 향상시키는 것에 기여함
   2. LocoRE가 Hallucination을 구조적인 환경, 비구조적인 환경 모두에서 개선함을 확인함

2. Saliency map visualization with LocoRE

   

   1. LocoRE가 최근에 생성된 과거 토큰을 더 참조하도록 함으로써 성능을 크게 향상시킴
   2. Baseline에서 관찰되었던 “forgetting”을 대응하여 개선하였음
   3. Intra-output saliency decay를 줄여서 Hallucination을 줄였음

Conclusion

• Hallucination이 Weak Saliency와 연관됨을 밝힌 연구

• SGRS와 LocoRE를 통해 Visual Attention을 boost하고 local coherence를 강조함

• 별도의 Model Training 없이 Benchmark들에서 output 성능을 개선하는 효과를 보임