Review

TL; DR

Summary

Background

• Power law: A와 B가 거듭제곱으로 표현되는 함수적 관계
  • 예) 파레토 법칙
    • 소수의 원인이 대다수의 결과를 낳는 경우 (정확히는, 20% vs 80%)
      • 예를 들어, 20%의 고객이 80%의 매출을 발생시키는 경우

• 헷갈리는 것 조심! (논문과 큰 관련 없지만, 헷갈릴 개념)

  https://roytravel.tistory.com/344

  • 푸아송 분포 (이산)
    • 기준 시간 동안 발생하는 사건 횟수의 분포

  • 지수 분포 (연속) (푸아송 분포로부터 유도 가능) ⇒ 본 논문과 밀접한 관련은 없음
    • 기준 시간 동안 첫 사건이 일어날 때까지 대기시간의 분포
      • 개념은 비슷함! 본 논문은 시행 횟수로 따질뿐

  • 기하 분포 (이산)
    • 본 논문과 비슷한 개념!
      • 동일한 성공 확률을 가진 베르누이 시행에서, 처음으로 성공하기까지 필요한 시도 횟수

Motivation

• 최근 연구들에서 밝혀진 사실
  • n번 시도해서 하나라도 성공하면 성공하는 설정에서는, 평균 성공률 음의 로그가 power law를 따름
    • 무슨 말이지?
      • 여러 번 시도하게 하면 성능이 오르긴 오름.
      • 그런데, 이 속도가 처음엔 빠르다가 나중엔 천천히 올라감
      • n을 늘릴수록, 성능 향상이 (좌: 음의 로그 scale vs 우: exponential)

      $$n^{-b} <=> (1- (1-p_i)^n)$$

    • Large Language Monkey?
    • Large Language Monkeys: Scaling Inference Compute with Repeated Sampling
      • https://www.aitimes.com/news/articleView.html?idxno=162486
      • https://ko.wikipedia.org/wiki/무한_원숭이_정리

        ⇒ 원숭이가 타자기를 무한히 두드리면, 확률적으로 셰익스피어 희곡 한편은 쓰지 않을까?

• 그런데, 왜 이러지?
  • 예시

    

    

  • 직관적으로 생각
    • 어떤 문제를 A 모델이 풀 확률을 생각해보면, 30%, 1%, 0.1%
      • 문제 하나하나는 여러번 시도하면, 지수적으로 해결될 것임
        • 지수적이다?

          • 독립 시행 내 확률 문제!

          • 10%짜리 성공확률을 가지는 어떤 task A를 100번 수행하면, 가장 높은 성공 횟수를 가지는 시행횟수는 언제일까? ⇒ 기하분포

          • 즉, 어느 구간에서 가장 많이 성공할까?
            • 대충 생각하면 10번? but, 실제는 1번임.
            • 왜?
              • 첫번째 성공할 확률⇒ 0.1
              • 두번째에 성공할 확률 ⇒ 0.9 * 0.1
              • 세번째에 성공할 확률 ⇒ 0.9*0.9*0.1
            • 즉, 실패할 확률이 매번 똑같이 지수적으로 곱해진다. ⇒ exponential

            

    • 그런데, 왜 평균을 내면 느려보이지?
      • 어려운 문제가 많아서 그런 건 아닐까?
    • 쉬운 문제 80%, 어려운 문제 19%, 엄청 어려운 문제 1% 라면?
      • 쉬운 문제들은 초반에 빠르게 해결, 남아 있는 문제는 매우 어려운 문제
      • 그 정도가 매우 심해서 power law가 되는 것

• 결국, 실제 문제는 엄청 어려운 문제 소수가 평균 성능 분포에서의 power law를 강제한다.
  • LLM이 못해서 느려지는게 아니다. 똑같이 해결하고 있는데, 그냥 문제가 너무 어려울 뿐이다.

⇒ 기존 연구에서 확인한 건 모델 성능 지표가 아니다. 문제 난이도 분포다.

Idea

• 그러면, 각 문제가 지수적으로 해결되는지 확인하고,

• 전체는 아닌 것을 보면 되겠네?

Method

• 전체 문제에 대하여, 각 문제가 지수적인지 확인 (exponential)
  • MATH, JailBreak
  • GPT, Gemini, Claude

→ 모든 문제에서 현상 동일하게 관찰

• 전체 평균 성공률은?
  • 어려운 문제 분포에 따라 달라짐.

  

• 평균 성공률이 power-law가 되려면, 단일 시도 성공 확률이 0 근처에서 power-law로 몰려야 함
  • 즉, hard tail이 있어야 함. 없다면? power law X

  

Results

• 각 문제는 항상 지수

  • 시도 횟수가 늘어날수록, 같은 비율로 감소

  

• 평균 power-law는 항상 나타나는 현상 아님

  • llama 3 8b IT는 다르게 행동함
    • 즉, 조건부 현상이다.
    • hard tail이 없으면, 바로 깨진다.

  

• 단일 성공 확률 분포로 hard tail 파악 가능, hard tail이 없으면 평균에서의 power-law는 깨짐.

  • pass@1 분포가 power law 형태다.

  • 즉, 이 hard tail이 평균에서 powerlaw를 강제한다. ⇒ power law는 어려운 문제의 밀도다.

  

• 분포 측정 방식만으로도 예측 가능함

  • pass@1 분포만 알고, 적분하면 예측이 가능하다.

  

  

  

Insights

• 그런데, 이게 성능과 무관하다고 할 수 있나?