Review

TL; DR

Summary

• 연구진: 워싱턴대학교, AllenAI
  • + 예진초이 교수님…!!! 🤍

    

• github: x

• 인용수: 14

Main Idea

“LLM의 창의성”을 어떻게 정량화할 것인가?

단순히 사람이 평가하기에는 모호하고 확장성이 떨어지니까 지표를 만들고, 잘 활용해보자

• Who is Salieri ?

  

Background & Motivation

• LLM이 창의력을 요하는 많은 직업을 대체하는 사례가 발생함
  • e.g. 웹툰, 영상, 작가 등등
  • 실제로 할리우드 주요 스튜디오들이 시나리오 작성 등의 제작과정에 LLM을 도입함

  ⇒ LLM은 그 어떤 사람보다 많은 작품을 접해왔기에(학습했기에), 새로운 차원의 창의성을 달성할 수 있지 않을까?

  ⇒ 과연 LLM이 사람의 창의성을 넘을 수 있을까?

• 창의성은 정량화 및 비교가 어려움
  • 그동안 다양한 시도가 있었으나 (e.g. Torrance Test of Creative Thinking) 모두 human annotator에 의존함

    ⇒ 주관적이고, cost가 너무 큼

Contributions (What they’ve revealed)

• 사람과 기계의 창의성에 관한 인사이트를 제공하기 위해, 창의성을 측정하는 지표인 CREATIVITY INDEX 제안

  

  • CREATIVITY INDEX란?
    • “web에 존재하는 human-written text를 얼마나 쉽게 재구성할 수 있는가”
      • 어떤 LLM이 생성한 텍스트가, 문맥이 긴데(n-gram의 n이 커짐) web에 거의 그대로 존재하는 텍스트라면, 그 LLM은 덜 창의적임
        • 만약 텍스트가 reference corpus에 그대로 존재한다면, CREATIVITY INDEX=0
      • 반대로, 문맥이 길어졌는데, web에서 찾을 수 없는 구간이 많은 텍스트를 생성한다면, 그 LLM은 더 창의적이다

      ** 측정할 때, reference corpus로 RedPajama를 사용함

      • why? 다양한 domain을 포함하는 large-scale web text corpus라서

    • 단순히 score가 아니라, 다양한 n의 길이에 대해 측정함
      • 텍스트길이/스타일에 영향을 덜 받도록 하기위함

  • professional writers 등 사람이 LLM보다 평균적으로 66.2% 높은 창의성을 가짐을 밝혀냄
    • 소설 발췌문, 현대시, 연설 녹취록 등 다양한 영역에서

      

    • verbatim 수준과 semantic 수준 모두에서

      • verbatim: 완전히 동일한 n-gram이 포함되는지

      • semantic: 의미적으로 매우 가까운 n-gram이 포함되는지
        • Word Mover’s Distance가 threshold 이하이면 semantic match로 판정

      

      • verbatim 수준만을 대상으로 했을 때(+52.2%) 보다, semantic 수준까지 함께 고려했을때 (+102.5%) 인간의 창의성이 LLM보다 높았음

      

  • RLHF가 LLM의 CREATIVITY INDEX를 평균 30.1% 감소시킴
    • 결과: -Base 는 RLFH 전

      ChatGPT, llama2-Chat, OLMO는 각각의 base가 RLHF된 버전

      

      

    • RLHF자체가, LLM이 인간의 선호대로 align되었을 테니까,,,

  • 다양한 인간 집단간의 CREATIVITY INDEX 비교
    • 허밍웨이, 디킨스 같은 고전문학작가는 가장 높은 수준의 창의성 보임

      

      • Details
        • Books published in 2023: BookMIA dataset
        • Classic Literature: 유명 작가의 고전 문학
        • Popular Teen Fiction: Goodreads’ book list로부터 가져온 추출한 인기 청소년 소설들

      • Insights
        • 창의성 뿐 아니라 작가의 문체, 집필시기 등의 요인을 받을 수도 있긴 함
        • 각 category 내에서도 창의성 지수 편차가 큼
          • e.g. Popular Teen Fiction 중 '헝거 게임'의 창의성 지수는 '트와일라잇'보다 35.4% 더 높음

  • 비공개 데이터로 학습된 GPT4의 경우, CREATIVITY INDEX를 우회적으로 측정하여 분석

    

    • 다른 LLM과 달리, GPT4는 Redpajama보다 최신/비공개 데이터로 학습되었기 때문
    • GPT-4와 유사한 knowledge update 시기인 공개모델(Gemma-7B, Llama3-8B, Mixtral-7B)이 생성한, ‘model-generated reference corpus’를 사용하여 평가

      (1) RedPajama 코퍼스에서 15만 개의 문장을 무작위로 추출

      (2) 공개모델들에게, 각 문장 뒤에 이어질 글을 문서 수준으로 생성하도록 함

      Please generate a continuation for the following sentence: 
      [PROMPT SENTENCE]

      (3) 이 텍스트를 reference corpus로 두고 CREATIVITY INDEX 측정

    • 인간의 평균 창의성 지수는 GPT-4보다 30.3% 더 높음

• LLM 버전 업데이트에 활용하는, 웹상의 기존 text snippets의 사용 내역을 추적하는 알고리즘인 DJ SEARCH 제안

  

  • CREATIVITY INDEX 를 위해 reference corpus를 찾을 때, brute force로 하면 너무 비싸서 효율적으로 찾으려고!
    • 레퍼런스 corpus를 찾는게 DJ가 리믹스 할때 original composer에 credit하는 것과 유사하다고 생각해서 이렇게 지었다네요

  • 모든 (start position i, end position j) 쌍을 비교하기보다, 각 i에 대해 longest span을 찾자!
    • 이 과정에서 이미 계산한 정보를 재사용하자

    ⇒ 포인터를 움직이며 “이전보다 더 뒤에서 시작하거나/끝나는 n-gram만” 검사하도록 제한

    • verbatim matching여부를 먼저 판단하고, 이게 없으면 semantic matching 여부를 판단함

    • semantic matching 할 때, BM25로 x와 가장 유사한 텍스트들을 먼저 골라 그 subset에서만 WMD를 계산해 비용을 줄임

    • minimum n-gram length(k) = 5

    • WMD threshold = 0.95

  • DJ SEARCH 결과 예시

    

• CREATIVITY INDEX 를 zero-shot black-box machine text detection에 활용

  

  • setting

  • result
    • DetectGPT보다 30.2% 개선된 성능을 보임
    • GhostBuster와 비교했을 때, 6개 중 5개 영역에서 우수한 성능을 보임