Yonsei Univ. ICL

21 January 2026

On LLM-Based Scientific Inductive Reasoning Beyond Equations

💡현재 LLM은 “방정식(수식)으로 표현되지 않는 과학적 규칙”을 관찰로부터 귀납적으로 발견하는 데 근본적으로 약하다.이를 검증하기 위해 저자들은 SIRBench-V1 이라는 새로운 벤치마크를 만들었고, 최신 LLM들도 대부분 낮은 정확도(끽해야 45%) 에 머문다는 것을 보였다.

research

On LLM-Based Scientific Inductive Reasoning Beyond Equations

Review

닉네임	한줄평	별점 (0/5)
계란초밥	`AI as a scientist` 가 의논되는 단계가 왔네! 시의적절한 논문이라고 본다. 그치만 LLM에게 익숙한 방식으로 변환해서 추론하게 하면 더 잘하지 않을까?	3.3
맹구	밥그릇 뺏기기 싫다.. 사실 아이디어나 문제점 탐색 측면에서는 LLM이 이제 더 잘하지 않을까라는 생각을 자주 함. 초기 단계일수록 더 많은, 자유로운 탐색이 필요한데, 그런 경우에 LLM이 강하다고 생각함. LLM 내부 동작을 생각해보면 아직 과학적 추론은 어려운 것이 직관적으로도 맞는 것 같다. 그 외에는 좋은 논문은 아니라고 생각함.	3.6
국밥	성능이 낮다는건 잘 보여줬지만… 왜 낮은지까지 안간게 아쉽다. 그리고 LLM 내재된 지식보다 데이터셋 prior에 더 의존하는지도 구분이 필요함	3.6
피자	LLM이 규칙을 이해하지 못한다는 점을 발견한 것은 좋으나, 왜 규칙을 발견하지 못하는지, 수학적으로나 모델의 증명이 없는 점이 아쉬움. LLM이 추론에 문제가 있다는 허점은 예전부터 논문에서 언급되던 주제인데, 이걸 체계적으로 증명을 해야 하지 않나 싶음.	3.5
햄버거	발상이 참신하긴하네 어쩌면 이게 진짜 reasoning 능력일수도. 근데 모델에게 '현재 상황은 기존의 rule을 따르지 않는 문제입니다.' 라는 세팅을 알려준건가? 그거 안알려주면 모델이 당연히 본인이 알고있는 지식으로 최대한 align 시키면서 추론했을 것 같음	3.9
치킨	motivation도 재밌고 가짜 환경을 조성하는 idea 또한 참신하다. 근데 이게 LLM이 규칙을 안 찾고 도출해났다고 확실할 수 있는지에 대한 의문이 든다. 또 왜 입력길이가 길때 성능이 하락하는지 궁금하다..	3.4
페브리즈	LLM이 오히려 개별 데이터를 통한 통계나 일반화된 패턴 학습에 뛰어난 게 맞지 않나 싶으면서도 여전히 상식 추론부터 이런 과학 추론까지 아직 부족한 건 사실인듯하다. 그래도 상대적으로 금방 해결될 문제 아닐까 하는 기대가 있긴 한데..	3.4

TL; DR

💡

현재 LLM은 “방정식(수식)으로 표현되지 않는 과학적 규칙”을 관찰로부터 귀납적으로 발견하는 데 근본적으로 약하다.

이를 검증하기 위해 저자들은 SIRBench-V1 이라는 새로운 벤치마크를 만들었고, 최신 LLM들도 대부분 낮은 정확도(끽해야 45%) 에 머문다는 것을 보였다.

Summary

Motivation

LLM이 과학적 추론이 가능한가?
- 수식 찾아내기
- 명시적 수학 규칙 이해하고 추론하기

실제 과학적 추론 문제 상황
- 규칙이 수식으로 깔끔한가? No
- 특히, 생물/화학 등 분야의 규칙은 현상을 관찰하고, 귀납적 사고 방식이 요구된다.
  - 방정식 그런 거 없어요!

LLM이 수식적인 건 어떻게 어떻게 할 수 있는 것 같은데, 이것도 가능해?
- 수식적인 것이 아니라, 현상 관찰로부터 과학 규칙(법칙)을 유도해낼 수 있는가?

Idea

과학적 귀납 추론은 크게 2가지
- retrieval
- rule induction

기존 규칙이 통하지 않는, 가짜 환경을 만들어보면 어떨까?
- 이 세계에서 만큼은 규칙이 다르거나/바뀐 경우!
  - 예) 얼음의 밀도가 일반적인 기압과 0도 이하에서 물보다 높은 세계 (1.1 vs 1.0)
  - 새로운 규칙을 추론할 수 있을까?
    얼음의 밀도가 물보다 높으니, 강이 얼면 얼음이 밑으로 가라앉을 것이고… 빙산도 다 아래로 가라앉을 것이고.. 겨울이 되면 어는 강에는 물고기가 살지 못할 것이고..

Method

평가를 해야 하니, 벤치마크가 필요하다

벤치마크 제안!: SIRBench-V1

도메인:
- Biology + Chemistry

총 7개 태스크:
- DNA Translation
- DNA Table Inference
- DNA Transformation
- Molecule Design
- Molecule Caption
- Reaction Prediction
- Name Prediction

어떤 특징이 있는가?
- 정답은 명확함
- 규칙이 명시되지 않음
- LLM이 규칙을 외우고 활용하는 것을 차단하기 위하여, synthetic rule 사용

추론 방식에 따라 달라질 수 있다!

Implicit inductive reasoning

Explicit inductive reasoning (rule → apply)

Self-consistency

Hypothesis refinement

⇒ “고급 추론 전략이 진짜로 도움이 되는가?” 검증

Experiment

과학적 귀납 추론은 아직 LLM의 영역이 아니다. (생물: ? / 화학: 그래도 이 정도면? 수준)

규칙 형성할 수 있는 능력이 아직 없다. (명시적 추론은 오히려 성능을 하락시킴)

LLM은 규칙을 이해한 것이 아니라 외운 것이다. (synthetic 규칙으로 변경 시 성능 크게 하락)
- DNA Translation과 DNA Table Inference에 synthetic rule 추가(성능이 처참함)

입력 길이가 길수록, 성능 하락 (일부 모델은 유지하는 것 같기도 함)

많은 짧은 예시가, 적고 긴 예시보다 좋음 (무슨 의미? ⇒ 과학적 귀납은 장문/소수 기반 관찰임. 즉, 과학적 귀납에는 부적합하다는 분석)

Categories

research