Yonsei Univ. ICL

17 December 2025

Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning

💡CoT 기반 LLM 추론은 얼마나 많은 추론 과정을 학습하느냐가 중요한 것이 아니라, 그 과정을 얼마나 정확하고 명확하게 알려주는지가 더 중요하다. 즉, 내용보다는 구조적 완전성에 초점을 두어야 한다는 것을 실험을 통해 확인한 연구

research

Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning

Review

닉네임	한줄평	별점 (0/5)
월드콘	정말 직관적인 생각을 논문화했다는 생각이 들었음. 당연히 모든 지식을 CoT로 학습하지 않기 때문에, 내용적 측면보다는 구조적 완성도가 중요할 것임. 그럼에도, 그것을 확인하는 실험 방법과 분석 방법은 참고할만한 것 같음. 인용하기 좋은 논문이라는 생각,	3
파비아노카루아나	Instruction tuning의 철학을 잘 가져온 듯. simple하고 powerful하다	4
키보드	CoT가 LLM에게 정말 논리를 가르친다는 걸 보여주는 듯하다. CoT 데이터에 이미 논리 구멍이 있을 수 있지만, 직접 논리 bridge를 만들고 그걸 ground truth bridge로 써서 학습하는 방식도 납득이 잘 간다. 태스크 일반화가 된다는 것도 논리 학습한다는 걸 보여주는 듯해서 흥미로운 점	5
우산안가져옴	단순 프롬프팅을 다루는게 아니라 CoT의 핵심에 대해 다루는 논문이라고 생각함! CoT의 중간 과정을 지워서 실험하는 과정과 논문의 아이디어를 생각하면 저자가 정말 상상력이 풍부하고 똑똑하신 것 같다.	4.5
날씨:흐림	오히려 인지체계에 걸맞는 간단한 아이디어로 일관되게 좋은 성능을 달성함. 근데 out-of-domain에서도 꽤 성능이 오른건 고무적이네. 도메인 지식 주입이 목표가 아니라 “완전한 추론”을 모방해서 그런걸까?	4.3
꼬들목	생각보다 noise의 영향이 작구나? 하긴 결국 식재료를 가르치는 게 아니라 조리법을 따르도록 하는게 CoT의 목적이니까 그럴 수 있겠다. CoT 쓸 일이 크고 작게 많은데 참고하기 좋을듯	4
육사시미	그동안 프롬프트를 줄 때 'LLM은 똑똑하니까 대충 말해도 알아서 이어서 추론하겠지'라는 생각으로 프롬프트를 주곤 했었는데, 모델이 이미 알고 있을 거라 가정하고 생략하기보다 이를 제공하면서 추론 흐름이 자연스럽게 이어지게하는게 더 중요할듯	4.2
마우스	Reasoning 프롬프트 형식의 완전성이 중요함을 알려주는 논문이라 새로운 시각에서 접근할 수 있었던 것 같다. 추론이 자연스럽게 CoT를 통해 이어지도록 하는 부분에 있어서 성능을 높이는데 중요한 듯.	4.7

TL; DR

💡

CoT 기반 LLM 추론은 얼마나 많은 추론 과정을 학습하느냐가 중요한 것이 아니라, 그 과정을 얼마나 정확하고 명확하게 알려주는지가 더 중요하다. 즉, 내용보다는 구조적 완전성에 초점을 두어야 한다는 것을 실험을 통해 확인한 연구

Summary

Motivation

CoT (Chain-of-Thought)
- LLM이 무작정 결과만 띡 뱉는 게 아니라, 풀이 과정을 같이 만들고 추론하게 하면 더 잘할 것!
  - 이를 수행하기 위한 초기 학습에는 사람이 이러한 방식을 알려줘야 함
- 그런데, 사람이 이걸 완벽하게 만들었다고 보장할 수 있나?
  - 사람이 만든 데이터는 완벽하지 않음
  - 만약 학습하는 추론 과정에 구멍이 있다면? 그게 핵심이라면?
- 내용이 문제가 아니다!
  - 구조적(논리적)으로 완전하느냐, 그것이 문제다!

IDEA

CoT에 빠진 reasoning 단계가 있는지 알아야 한다!
- 그럼 그 reasoning step만 채워주면 되는 것(Bridge)
- Reasoning Chain의 “gap”을 찾는 것

어떻게 만들까?
- CoT 데이터 가져와서, 지우는 방식으로 증강하면 간단히 완성!

Method

Thought Leap
- CoT 내부 인접 step이 논리적으로 연결되지 않는 경우

기존 데이터(ScaleQuestMath) 에서 중간 step 삭제
- 삭제한걸 ground truth bridge로 사용

So,

RQ1: reasoning이 정말 좋아지냐?

좋아진다!
- 동일 model + 동일 데이터 크기
  단순 SFT vs CoT-Bridge SFT
  더 좋아짐
  난이도 높은 문제일수록 성능 크게 향상

RQ2: 어려운 문제일수록 더 좋아지냐? (CoT 특성이 그대로 이어지냐?)

그렇다! 어려운 문제일수록 Thought Leap 빠질 때 문제가 크다!

RQ3: Plug-and-Play 방식으로도 동작 잘하냐?

잘한다!
- 어디에 넣든, CoT-Brdige는 데이터 품질을 개선한다.
  특히, 학습 초기 cold-start 유사 문제 완화

RQ4: Out-of-domain 도 좋아지냐?

좋아진다!
- 논리 추론 데이터셋에 대해서도 잘한다.

Analysis

분석1: 내용 및 양보다는 구조적 완전성이 더 중요하다.

데이터 규모가 같더라도, 무작위 step 추가하더라도 성능 개선이 거의 없음

분석2: 중간이 가장 중요하지만, 시작과 끝도 중요하다.

중간 단계는 핵심 계산 및 논리, 시작과 끝은 문제 해석과 검증의 느낌이므로

분석3: 노이즈는 영향이 적다.

저품질 데이터를 제거해도, 성능 변화가 크지 않음

Categories

research