Review

TL; DR

Summary

• From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models, ACL’25 | Link

• Author

  

• Citation: 2

Introduction

Background

Exceptional Capabilities of LLMs

• LLM은 창작이나 글쓰기 등 다양한 분야에서 쓰이고 있으며, 접근성이 높아져 누구나 쉽게 AI 생성 콘텐츠를 만들거나 사용이 가능함

• 하지만 LLM 확산으로 다음과 같은 위험도 증가함:
  • 악성 콘텐츠 생성
  • 지식 재산권 침해
  • 허위정보 및 철처가 불분명한 콘텐츠 문제

• 이를 해결하기 위해 watermarking이 등장함
  • LLM 생성 콘텐츠의 traceability, authenticity, accountability를 보장하기 위한 기술

LLM Watermarking

• 모델이 생성한 텍스트 안에 사람이 눈치채기 어려운 “통계적 패턴”을 심어, 나중에 그 텍스트가 특정 LLM에서 생성되었는지를 판별하기 위한 기술
  • 확률적으로 증명하기 위한 방법이며, 출처를 증명하기 위함

• Watermarking 아이디어
  • LLM은 다음 token을 확률 분포로 선택하는데, 워터마킹은 이 분포를 아주 미세하게 조작하여 특정 토큰 집합이 통계적으로 더 자주 나오도록 함
    • 의미는 유지한 채 통계적 편향만 미세하게 삽입

    → 이 패턴이 누적되면 검출이 가능해짐

  • Watermarking Detail

    1. 워터마킹을 하더라도 문장의 의미는 달라지지 않음
       • LLM은 확률 샘플링임. 같은 프롬프트더라도 출력이 매번 다름

         A sentence about cats.
         → "Cats are lovely animals."
         → "Cats are very cute."
         → "Cats are friendly pets."

       • 워터마킹은 원래의 출력확률 (랜덤성)에서 방향만 살짝 밀어주는 것
         토큰	원래의 출력 확률	워터마크 후
         cat	0.30	0.31
         pet	0.27	0.28
         dog	0.28	0.26
         animal	0.15	0.15

       → 문장의 의미는 깨지지 않음

    2. 워터마킹 ‘탐지’는 한 토큰이 아닌 ‘누적 통계’로 이루어짐
       • e.g., 동전던지기
         • 일반 동전: 앞면 50%, 뒷면 50%
         • 워터마크 한 동전: 앞면 52%, 뒷면 48%

         → 한번 던졌을 때는 차이를 모르지만, 1000번 던지면 감지 가능

• Watermarking 기존 연구
  • Logits-based Watermarking
    • 토큰 확률 분포에서 일부 토큰 집합의 logit을 미세하게 조정해, 통계적으로 특정 패턴이 나타나도록 워터마크를 삽입하는 방식(e.g., KGW, Unigram)
      • Next token 확률 분포에서 vocabulary를 두 집합(red/green)으로 나눈 뒤, green 토큰의 logit을 살짝 올려 통계적으로 더 자주 선택되도록 함
      • Logit-based 예

        • 확률을 살짝 바꿔서 특정 단어들이 더 자주 뽑히게 만들음
          토큰	원래의 출력 확률	워터마크 후
          cat	0.30	0.31
          pet	0.27	0.28
          dog	0.28	0.26
          animal	0.15	0.15

    • KGW 방식

      1. Vocabulary를 red / green 리스트로 분할

      2. 이전 k개 토큰 + 워터마크 키 ξ → 해시

      3. green 토큰 logit에 δ bias를 더함

         → green 토큰이 더 자주 선택됨

  • Sampling-based watermarking
    • 확률 분포는 유지한 채, 토큰을 선택하는 샘플링 규칙을 조작해 워터마크 신호를 생성하는 방식(e.g., AAR, GumbelSoft)
      • 지수 최소 샘플링, tournament sampling, contrastive decoding 등
      • Sampling-based 예

        • 확률은 유지하고, 뽑는 규칙만 바꿔서 패턴을 만들음

        • 샘플링 규칙을 ‘난수 r이 0.5 이상이면 cat/pet 중에서만 뽑기’처럼 조정

          → 선택 규칙이 바뀌어 패턴이 생김

          토큰	출력 확률은 그대로
          cat	0.30
          pet	0.27
          dog	0.28
          animal	0.15

Motivation

기존 watermarking의 3가지 한계:

1. 다양하고 적대적(adversarial) 환경에서 기존 워터마킹이 잘 통하지 않음
   • 실제 환경은 공격자(패러프레이즈, 재생성 등)가 있고 조건도 다양함

   ⇒ 현재 워터마킹은 근본적 한계가 있음

2. Robustness ↔ Text Quality Trade off <Fig 1>
   • 워터마크를 강하게 심으면

     → 텍스트 유창성/ 자연스러움/ 다양성이 떨어짐

   • 텍스트 품질을 우선하면

     → 공격에 취약해져 워터마크가 쉽게 깨짐

   ⇒ 워터마크를 강하게 하면 글이 어색해지고, 글을 자연스럽게 하면 워터마크가 약해짐

3. Security Issue
   • 특히 KGW 계열 같은 일부 방식은 빈도 분석으로 규칙을 역추정하거나 워터마크를 ‘훔쳐서’ 위조(spoof)하는 watermark stealing 공격에 취약함
     • KGW: logits-based 워터마킹 기법

   ⇒ 공격자가 워터마킹 규칙을 학습/추정해서 ‘워터마크 있는 것처럼 보이는 텍스트’를 만들 수도 있음

• Logits 기반/ Sampling 기반 모두 고유한 trade-off를 갖고 있어서 ‘이게 정답이다’라고 할 단일 원칙이 아직 없음

  ⇒ 두 계열을 결합하자!

Contribution

• Symbiotic Watermarking Framework 제안
  • logits 기반과 sampling 기반 워터마킹을 결합하는 Series, Parallel, Hybrid 세 가지 전략을 통합적으로 제안
  • Entropy 기반 Adaptive Hybrid 전략: Token Entropy와 Semantic Entropy를 이용해 토큰별로 최적의 워터마킹 방식을 자동 선택하는 Hybrid symbiotic watermarking을 제안

• 기존 방법 대비 SOTA 성능 달성
  • 워터마킹 탐지 성능을 향상, 텍스트 품질 저하를 최소화, 여러 현실세계 공격에 대한 강인성을 입증함

Methods

• 결합 방식에 따라 세가지 방식이 있음
  • Series
  • Parallel
  • Hybrid* (← 논문이 주장하는 메인 방법)

1. Series Symbiotic Watermark

Logits 기반 워터마킹과 Sampling 기반 워터마킹을 순서대로 모두 적용하는 방식

• 한 토큰 생성 과정에서 워터마크를 두번 심는 구조

• 적용 과정

  

  1. 모델이 원래 logits $l_t$ 생성후,
  2. Logits-based watermark $A_w$ 적용 → logits 분포 조작
  3. softmax로 확률 분포 변환
  4. Sampling-based watermark $S_w$ 적용 → 샘플링 규칙 조작
  5. 최종 토큰 $y_t$ 생성

• 장점: 워터마크 신호는 가장 강함

• 한계
  • 확률 분포도 바꾸고 샘플링 규칙도 바꾸므로 텍스트 품질이 저하될 수 있음
  • 같은 프롬프트에서 출력 다양성이 줄어듦

2. Parallel Symbiotic Watermark

Logits 기반과 Sampling 기반 워터마크를 서로 간섭 없이 독립적으로 삽입

• 두 워터마크가 직접 충돌하지 않아 품질 저하가 완화됨

• 적용 과정

  

  • LM이 토큰을 생성할 때, 토큰 위치에 따라 적용 방법을 번갈아 사용
    • 짝수 위치: logits 기반 워터마킹 $A_w$ 적용
    • 홀수 위치: sampling 기반 워터마킹 $S_w$ 적용

• 장점: 두 워터마크가 직접 충돌하지 않아 품질 저하 완화

• 한계: 토큰 상황에 따라 최적 방식을 고를 수 없음

3. Hybrid Symbiotic Watermark

Logit 기반 워터마크 혹은 Sampling 기반 워터마크 사용할지를 Entropy 기반으로 자동 결정하는 적응형 방식

• Hybrid 에서는 두 가지의 기준을 사용함
  1. Token Entropy (TE)

     “이 시점에서 다음 토큰을 얼마나 확신하고 있는가?”

     • 모델이 다음에 나올 단어를 얼마나 자신 있게 하나로 정하고 있는지, 아니면 여러 후보 중에서 애매해하는지를 수치로 표현한 것
     • 계산 방법

       

       • 시점$t$ 에서 토큰 $i$가 나올 확률 $p_t^i$ 의 합을 구함
     • Token Entropy 해석
       • Low token Entropy

         The capital of France is ___
         => next token 후보: Paris:0.85 Lyon 0.05 city:0.03 ...

         • 모델이 Paris 를 거의 확신중 → Token Entropy ↓
         • 이때 logit 을 건드리면 문장의 자연스러움이 깨질 수 있음

           → Logit 워터마킹을 피해야 함

       • High Token Entropy

         She felt very ___
         => next token 후보: happy:0.25 sad:0.23 tired:0.22 ...

         • 여러 후보가 비슷 → Token Entropy ↑
         • 모델이 애매한 상태라, 어떤 토큰을 뽑아도 자연스러움 유지 가능

           → Logit 워터마킹을 적용해도 품질 손상 적음

       ⇒ Token Entropy가 높을 때만 logits-based watermarking을 적용

  2. Semantic Entropy (SE)

     “현재 시점에서 top-k 후보 토큰들이 의미적으로 얼마나 다양한가?”

     • 계산 방법
       1. top-k 토큰들의 임베딩을 추출 K-means로 의미 클러스터링
       2. 같은 클러스터에 속한 토큰의 확률을 합침

          

       3. 이 클러스터 확률들로 엔트로피 계산

          

     • Sementic Entropy 해석
       • Low Semantic Entropy
         • top 후보들이 의미적으로 비슷한 경우
           • e.g., {happy, glad, pleased, joyful}
         • 어떤 걸 골라도 의미가 거의 동일하기 때문에, sampling을 바꿔도 문장 의미 안 깨짐

           → Sampling watermark 적용해도 안전

       • High Semantic Entropy
         • top 후보들이 의미적으로 매우 다름
           • e.g., {happy, angry, dead, finished}
         • sampling 바꾸면 의미가 크게 바뀜

           → Sampling watermark 위험

       ⇒ Sementic Entropy 가 낮을 때만 Sampling 워터마크를 적용

Experiment

Setting

• Dataset: news-like C4 dataset, long-form OpenGen dataset

• Inserting Watermark
  1. 원본 데이터에 대해서,
     • 마지막 200 토큰 → 자연 텍스트로 유지
     • 그 앞 부분 → 프롬프트(prompt) 로 사용

     [프롬프트 부분] + [자연 텍스트 200토큰]

  2. 프롬프트만 LLM에 넣어서 200 $\pm$ 30 토큰을 새로 생성
     • 이 구간에서 SymMark 워터마킹 전략(Series / Parallel / Hybrid)을 적용

• Models
  • OPT 계열: OPT-6.7B, OPT-2.7B, OPT-1.3B
  • LLaMA 계열: LLaMA3-8B-Instruct, LLaMA2-7B-chat-hf
  • GPT 계열: GPT-J-6B

• Baselines
  • Logits 기반: KGW, Unigram, SWEET, EWD, DIP, Unbiased
  • Sampling 기반: AAR, EXP, ITS, GumbelSoft, SynthID

• Evaluation Metrics
  • Detectability: TPR, TNR, Best F1 Score, AUC
  • Robustness: AUROC curve 기반으로 threshold 변화에 따른 FPR–TPR 관계 평가

Results

Watermark Detection Results

• 기존 워터마킹 대비 탐지 성능을 얼마나 향상시켰는가?

• Series: 모든 데이터셋·모델에서 TPR = 1.000 (SOTA) 달성
  • 하지만 logits/ sampling을 모두 제약하므로 텍스트 품질 저하가 단점

• Parallel: 토큰당 하나의 워터마크만 적용해도 충분한 탐지 신호 확보

  → 이중 워터마킹이 항상 필요한 것은 아님

• Hybrid: 모든 데이터셋 및 모델에서 기존 방법들보다 일관되게 우수한 성능

Text Quality

• SymMark 워터마킹이 텍스트 품질을 얼마나 훼손하는지 평가하고자 함

• Setting

  • Task: 4 tasks에 대해 실험

  • GM (Generation Metric): 태스크 성능 점수

  • DROP: 워터마킹으로 인한 성능 감소율

  • Llama3-8B: 워터마킹 없는 순수 성능 기준

• Series: TPR/TNR 매우 높음 (탐지는 강함) 하지만 DROP이 여전히 큼

  → 탐지는 좋지만 품질 손상 큼

• Hybrid: 모든 태스크에서 가장 작은 성능 손실, 동시에 TPR/TNR도 매우 높음

  → 탐지 성능과 태스크 성능을 동시에 가장 잘 유지

Robustness to Real-world Attacks

• 워터마킹이 실제 환경 공격(편집, 복사, 번역, 패러프레이징) 후에도 탐지되는지를 평가

• Setting

  • Attack: Editing, Copy-Paste, Back-Translation, Rephrasing

  • AUROC curve로 확인하고자 함; 곡선이 왼쪽 위에 가까울수록 좋고, AUC가 클수록 강인한 워터마킹

• 기존 방법들은 공격에 따라 급격히 무너지는 양상을 보임

• Hybrid (Ours-H): 거의 모든 공격에서 최상위 위치
  • 대부분 그래프에서 AUC 0.98~, 공격 종류가 달라도 성능이 거의 유지됨