On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning LM

On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models, ICML 2026, arXiv.

논문 “On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models”(CMU, ICML 2026 Spotlight)은 RL이 base model의 추론 능력을 실제로 확장하는지를 완전히 통제된 환경에서 검증해요. RLVR(Reinforcement Learning with Verifiable Rewards)이 pass@1만 올리고 pass@128은 못 올린다는 주장과, RL이 새로운 추론 능력을 만들어낸다는 주장이 공존하는 상황에서, 두 주장이 서로 다른 난이도 구간을 보고 있었을 뿐이라는 것이 이 논문의 핵심 결론이에요.

실험 환경을 어떻게 통제했나

기존 분석의 문제는 pre-training corpus가 불투명하다는 점이에요. Base model이 어떤 추론 primitive를 이미 내재화했는지 알 수 없으니, post-training의 인과적 기여를 분리할 수 없어요. 저자들은 GSM-Infinite 기반의 합성 추론 데이터셋으로 이 문제를 우회해요.

각 문제는 DAG $\mathcal{G}=(\mathcal{V},\mathcal{E})$로 정의돼요. 노드 $v_i$는 “the number of lions” 같은 잠재 수량이고, 엣지 $(v_j \to v_i)$는 함수적 의존관계예요. 연산은 사칙연산으로 제한되어 각 노드는 $v_i = f_i\big((v_j)_{j \in \mathrm{pa}(i)}\big)$, $f_i \in {+,-,\times,\div}$ 형태로 계산돼요. Leaf 노드에 숫자를 넣으면 위상 순서를 따라 값이 결정되고, 질의 노드 $v^*$의 값이 정답 $a^* = \mathrm{val}(v^*)$이 돼요.

난이도는 연산 수 $\mathrm{op}(\mathcal{G})=|\mathcal{E}|$로 직접 조절해요. 이 값은 정답에 도달하는 데 필요한 최소 추론 체인 길이의 하한이라서, extrapolative generalization을 볼 때 조작하는 핵심 손잡이예요.

평가 축은 두 가지예요.

• Extrapolative (depth) generalization은 학습 때 본 것보다 긴 연산 체인을 풀 수 있는지 봐요.
• Contextual (breadth) generalization은 동일한 구조를 새로운 표면 context로 전이할 수 있는지 봐요.

평가는 전부 process-verified 기준이에요. 모델 출력을 파싱해 예측 DAG $\hat{\mathcal{G}}$를 만들고, gold 노드별로 의존관계와 값이 맞는지 대조해요. 중간 단계와 최종 답이 모두 맞아야 정답으로 인정하며, pass@1과 pass@128 모두 이 엄격한 기준으로 계산해요.

학습 설정은 100M 파라미터의 Qwen2.5 스타일 decoder-only 모델이고, 전체 30B 토큰 corpus를 pre/mid/post 단계별로 겹치지 않게 분할해요. Pre-training은 op=2-10 구간에서 10B 토큰(파라미터의 100배)을 사용하고, post-training은 GRPO를 써요. 난이도 구간은 ID(op=2-10), OOD-edge(op=11-14, base model의 pass@128이 0이 아닌 구간), OOD-hard(op=15-20, base model이 거의 0인 구간)로 나눠요.

RL은 언제 base model을 넘어서나

Pre-training을 고정하고 RL 데이터의 난이도만 바꿔서 실험해요. GRPO 샘플 200K개를 op=7-10(ID), op=9-12(mixed), op=11-14(edge), op=17-20(hard) 네 구간에서 각각 뽑아 학습했어요.

결과는 두 갈래로 갈려요. ID 태스크에서는 어떤 RL 데이터를 쓰든 pass@1은 오르지만 pass@128은 base model 대비 전혀 개선되지 않아요. RL이 이미 있는 분포를 sharpening할 뿐이라는 뜻이에요. 반면 OOD 태스크에서는 edge of competence 구간(op=11-14)으로 RL을 돌렸을 때 pass@128이 일관되게 올라가요. 잘 보정된 경우 최대 +42%p까지 개선돼요.

주목할 점은 op=17-20의 너무 어려운 데이터로 RL을 돌리면 오히려 효과가 떨어진다는 거예요. Reward가 지나치게 sparse해서 exploration이 신호를 받지 못해요. 결국 RL이 진짜 능력 향상을 만들려면 두 조건이 동시에 필요해요. 첫째, 해당 태스크가 pre-training에서 이미 포화되지 않아 탐색할 여지가 남아 있어야 해요. 둘째, RL 데이터가 모델의 edge of competence, 즉 어렵지만 아예 손이 닿지 않는 것은 아닌 지점에 놓여야 해요.

이 결과가 기존 논쟁을 정리해줘요. RL이 pass@128을 못 올린다고 보고한 연구들은 math나 code처럼 pre-training에 이미 충분히 커버된 도메인을 봤고, 큰 향상을 보고한 연구들은 pre-training 커버리지가 희박한 합성 태스크를 봤어요. 두 결과는 난이도 스펙트럼의 다른 구간을 관측한 것이지 모순이 아니에요.

실무적으로는 pass@1에서 실패하지만 pass@k에서는 성공하는 문제만 남기도록 RL 데이터를 필터링하는 방식이 제안돼요. 모델이 강해지면 이전의 OOD가 edge 구간으로 밀려 들어오므로, 주기적으로 재평가하면 자연스러운 self-paced curriculum이 만들어져요.

Pre-training 노출이 없으면 RL은 전이하지 못한다

다음 실험은 반대로 RL 레시피를 고정하고 pre-training 분포를 바꿔요. Pre-training은 context A의 op=2-20 문제와, long-tail인 context B의 op=2(atomic) 문제로 구성하고, context B의 비율만 0%, 0.1%, 1%, 그 이상으로 조절해요. RL은 context A와 B를 절반씩 섞은 200K 샘플, op=2-20 범위로 진행해요.

Context B가 pre-training에 아예 없거나 0.1%에 그치면 RL은 context B로 전혀 전이하지 못해요. 그런데 1%만 넣어주면 상황이 완전히 달라져서, 가장 어려운 op=20 구간까지도 pass@128이 크게 올라가요(최대 +60%p). 노출량과 성능 사이의 관계가 선형이 아니라 임계값을 넘는 순간 급격히 열리는 형태예요.

여기서 중요한 것은 seed의 복잡도가 아니라 존재 여부예요. Pre-training에 넣은 context B 데이터는 op=2짜리 atomic 문제뿐이었는데도, RL은 그 primitive를 조합해 훨씬 깊은 구조를 풀어냈어요.

저자들은 이것이 단순 복제인지 생성인지 확인하려고, 모델이 맞힌 context B 그래프와 context A gold 그래프의 topological similarity 분포를 봐요. 쉬운 구간(op=2-10)에서는 유사도가 높아 context A 패턴을 재현하는 데 가까워요. 난이도가 올라가면(op=11-20) 유사도가 낮아지면서 새로운 구조가 나타나고, 이 경향은 context B 노출이 충분할수록 강해져요. RL은 무에서 능력을 만들지 않지만, seed가 있으면 compositor 역할을 해요. Pre-training 데이터 설계에서 복잡한 고난도 샘플을 억지로 채우기보다, 도메인의 기본 규칙과 skill을 약 1% 밀도로라도 폭넓게 깔아두는 편이 낫다는 거예요.

Mid-training과 RL은 어떻게 나눠야 하나

Mid-training은 pre-training과 RL 사이를 잇는 분포 다리 역할을 하는 단계예요. 이 논문에서는 objective는 pre-training과 같게 두고 데이터 분포만 RL 구간(op=11-14)으로 좁히는 형태로 구현했어요.

공정한 비교를 위해 두 단계를 FLOPs 기준 토큰 수로 정규화해요. RL의 토큰 등가 비용은 아래처럼 근사해요.

\[T_{\mathrm{RL}} \approx \tfrac{5}{3} N \cdot r \cdot L_{\text{total}}\]

$N$은 RL 샘플 수, $r=6$은 rollout 개수, $L_{\text{total}}=2048$은 총 토큰 길이예요. 전체 예산 $T$를 아래처럼 배분하고 $\beta$를 바꿔가며 비교해요.

\[T_{\text{mid}} = (1-\beta) \cdot T, \quad T_{\text{RL}} = \beta \cdot T\]

비교 대상은 full mid-training(1B supervised token), full RL(batch 1024로 100 step), 그리고 Light-RL($\beta=0.2$), Medium-RL($\beta=0.5$), Heavy-RL($\beta=0.8$) 다섯 가지예요.

배분 비율에 따라 성격이 질적으로 갈려요. OOD-edge 태스크에서는 mid-training 비중이 큰 쪽이 유리하고, Light-RL이 pass@1에서 가장 좋아요. 반대로 OOD-hard에서는 예산을 RL 쪽으로 몰수록 pass@1과 pass@128이 모두 좋아지고, mid-training과 RL을 함께 쓴 구성이 RL만 쓴 구성보다 +10.8%p 앞서요.

정리하면 mid-training은 prior를 심는 단계이고 RL은 탐색을 확장하는 단계로, 역할이 상보적이에요. 같은 compute 예산에서도 배치를 목표에 맞게 바꿔야 해요. 유사한 난이도에서의 신뢰성이 목표라면 mid-training에 예산 대부분을 주고 RL은 가볍게 얹고, 훨씬 어려운 태스크로의 일반화가 목표라면 prior를 세울 만큼만 mid-training에 쓰고 나머지를 RL 탐색에 쏟는 식이에요.

이 결과는 Qwen 계열이 LLaMA 계열보다 RL에 잘 반응하는 현상에 대한 설명과도 맞물려요. OctoThinker는 구조화된 추론 데이터로 mid-training한 LLaMA가 Qwen에 준하는 RL 성능에 도달함을 보였고, 이는 RL responsiveness의 상당 부분이 mid-training 단계에서 결정된다는 뜻이에요.

Process reward는 reward hacking을 줄인다

Outcome reward만 쓰면 모델이 잘못된 추론 체인으로 정답에 도달하는 shortcut을 학습할 수 있어요. 저자들은 평가에만 쓰던 process verification을 reward에도 넣어요.

\[R = \alpha R_{\text{out}} + (1-\alpha) R_{\text{pv}}\]

$R_{\text{out}}$은 최종 답만 보는 sparse reward이고, $R_{\text{pv}}$는 단계별 정확도를 반영하는 dense reward예요. 더 엄격한 형태도 함께 비교해요.

\[R = \begin{cases} R_{\text{out}}, & \text{if } R_{\text{pv}} = 1 \\ 0, & \text{otherwise} \end{cases}\]

전체 추론 과정이 검증된 경우에만 outcome reward를 주는 gating 방식이에요.

Process verification을 섞으면 extrapolative 구간(op=15-20)에서 pass@1이 4~5%p 올라가요. $0.2 R_{\text{out}} + 0.8 R_{\text{pv}}$ 조합이 정확도와 추론 일관성 사이 균형이 가장 좋고, strict gating은 그보다 더 개선돼요.

에러 유형을 분해해보면 개선의 출처가 보여요. Process reward를 넣은 모델은 structural error가 줄고, shortcut 활용에서 구조적으로 충실한 추론 쪽으로 이동해요. 어려운 합성 태스크로 확장할수록 reward를 valid reasoning trace에 정렬시키는 것이 중요해진다는 뜻이에요.

다만 이 결론은 process supervision의 품질이 높다는 전제 위에 있어요. 이 논문은 ground-truth DAG라는 완벽한 verifier를 갖고 있는 합성 환경이고, 실제 도메인에서는 PRM 자체의 노이즈가 새로운 hacking 표면이 될 수 있어요.

정리하면

이 논문의 기여는 새로운 방법론이 아니라, 세 학습 단계의 인과적 기여를 분리할 수 있는 통제 환경을 만들고 그 위에서 기존 논쟁을 정리했다는 점이에요.

• RL은 pre-training에 여유가 남아 있고 데이터가 edge of competence에 놓일 때만 pass@128 기준의 실제 능력 향상을 만들어요. 그 밖의 경우에는 기존 분포를 sharpening하는 데 그쳐요.
• Contextual generalization은 pre-training에 해당 context가 최소한(약 1%) 노출되어 있어야 열려요. Seed는 atomic primitive 수준이면 충분하고, 조합은 RL이 담당해요.
• Mid-training은 고정 compute 예산에서 RL만 쓰는 것보다 유의미하게 좋고, 목표가 in-distribution 신뢰성인지 OOD 탐색인지에 따라 배분 비율을 바꿔야 해요.
• Process-level reward를 outcome reward에 섞으면 reward hacking이 줄고 추론 충실도가 올라가요.

한계도 분명해요. 100M 모델과 GSM-Infinite 기반 합성 태스크라는 설정은 실제 LLM 스케일과 자연어 corpus의 복잡성을 반영하지 못해요. Edge of competence 같은 개념이 수십억 파라미터 규모와 불투명한 corpus에서도 같은 형태로 성립하는지는 별도의 검증이 필요해요. 그럼에도 “RL이 base model을 넘어서는가”라는 질문을 “어떤 조건에서 넘어서는가”로 바꿔놓았다는 점에서 가치가 있어요.