DeepSeek-R1 Sebagai Pionir AI Model Reasoning-Driven

Kemampuan LLM untuk bernalar (reason) secara efektif merupakan ukuran yang menentukan kecerdasan LLM tersebut. Mereka mampu memecahkan masalah yang rumit hingga menghasilkan penjelasan yang mendalam, penalaran yang kuat memberikan kemampuan yang mutakhir untuk aplikasi AI. Namun, untuk mencapai kemampuan ini seringkali membutuhkan data supervised fine-tuning (SFT) berjumlah besar dan sumber daya komputasi berskala besar.

Hadirlah DeepSeek, framework yang revousioner dengan menata ulang penalaran (reasoning) mekanis dalam LLM melalui reinfocement learning (RL). Dengan memungkinkan model untuk mengembangkan perilaku penalaran secara mandiri, model generasi pertama DeepSeek yang disebut DeepSeek-R1-Zero dan DeepSeek-R1 menetapkan benchmark baru, menyaingi model kompetitor lain seperti model OpenAI terpintar yakni model o1 reasons.

DeepSeek melangkah lebih jauh dengan mendemokratisasi akses ke AI yang memiliki performa tinggi. Melalui teknik distillation, DeepSeek mentransfer kemampuan penalaran (reasoning) tingkat lanjut ke model yang lebih kecil dan efisien. Metode ini menjadikan AI yang kuat mudah diakses dan hemat biaya. Berfokus pada skalabilitas dan efisiensi ini memposisikan DeepSeek sebagai kekuatan transformatif dalam pengebangan AI. Artikel ini akan membahas pelatihan yang inovatif dari DeepSeek. Dimulai dari pelatihan berbasis RL, multi-stage pipeline, dan proses distillation yang memperkuat model yang lebih kecil.

Motivasi di Balik DeepSeek

Penalaran (Reasoning) merupakan landasan kecerdasan manusia yang memungkinkan kita untuk memecahkan masalah, membuat keputusan, dan memahami sistem yang kompleks. Dalam ranah kecerdasan buatan (AI), mereplikasi kemampuan ini dalam Large Language Models (LLM) bukanlah hal yang mudah. Sementara itu state-of-the-art models saat ini untuk memiliki kemampuan penalaran (reasoning skills), biasanya proses pengembangannya menggunakan metode supervised fine-tuning (SFT) dengan kumpulan data berlabel yang ekstensif. Pendekatan ini meskipun efektif, tapi masih memiliki keterbatasan.

Tantangan dalam Model Penalaran (Reasoning) Tradisional

1. Ketergantungan pada Supervised Data
   Model seperti LLM canggih milik OpenAI, sangat bergantung pada kumpulan data beranotasi kualitas tinggi. Pengumpulan dan kurasi data tersebut sangatlah mahal dan memakan banyak waktu. Sehingga proses skalabilitas terbilang kurang.
2. Masalah Skalabilitas
   Penyempurnaan model skala besar memerlukan sumber daya komputasi yang sangat besar, yang membatasi aksesibilitas bagi banyak peneliti dan organisasi yang lebih kecil.
3. Batasan Generalisasi
   Meskipun canggih, banyak model kesulitan untuk menggeneralisasi kemampuan penalarn mereka di berbagai tugas. Hal ini terlihat dalam skenario yang belum dilatih secara eksplisit.

Kebutuhan Baru dalam AI

Dengan pesatnya adopsi AI di berbagai industri, ada peningkatan permintaan untuk:

1. Autonomous Learning
   Model yang dapat belajar bernalar (reasoning) tanpa bimbingan atau pengawasan yang jelas.
2. Efficient Solutions
   Model yang lebih kecil dan hemat sumber daya yang mampu menjalankan tugas yang secara tradisional disediakan untuk model yang lebih besar.
3. Open Research
   Framework yang transparan dan open-source yang memungkinkan komunitas riset untuk melakukan pengembangan lebih lanjut.

Visi DeepSeek

DeepSeek dirancang untuk mengatasi tantangan tersebut dengan memiliki dua misi:

1. Mendorong batasan apa yang dapat dicapai reinforcement learning (RL) dalam pelatihan LLM, melewati kebutuhan supervised fine-tuning pada tahap awal.
2. Memberdayakan model yang lebih kecil dengan kemampuan penalaran (reasoning) tingkat lanjut melalui teknik distillation yang inovatif, mendemokratisasi akses ke perangkat AI yang canggih.

Dengan berfokus pada penalaran (reasoning) sebagai kemampuan mendasar, DeepSeek menjembatani kesenjangan antara autonomous learning dan implementasi praktis. Dua model andalannya, DeepSeek-R1-Zero dan DeepSeek-R1, tidak hanya mendefinisikan ulang bagaimana keterampilan penalaran (reasoning) dikembangkan tetapi juga membuka jalan bagi solusi AI yang lebih inklusif dan hemat biaya. Melalui kemajuan ini, DeepSeek menawarkan sekilas masa depan di mana LLM lebih cerdas, mudah diakses, dan memiliki kemampuan yang lebih canggih.

Inovasi Inti Dalam Model DeepSeek

Inovasi di balik Deepseek terletak pada pendekatan uniknya untuk mengembangkan kemapuan penalaran (reasoning) dalam Large Language Models (LLM). Tidak seperti metode konvensional lainnya yang sangat bergantung pada supervised fine-tuning (SFT), DeepSeek menggunakan pembelajaran reinforcement learning (RL) dan alur pelatihan multitahap atau disebut dengan multi-stage training pipeline yang dirancang dengan cermat. Inovasi ini dirangkum dalam dua model andalannya DeepSeek-R1-Zero dan DeepSeek-R1.

1. DeepSeek-R1-Zero: Pure Reinforcement Learning

DeepSeek-R1-Zero adalah langkah pertama dalam mendefinisikan ulang bagaimana kemampuan penalaran (reasoning) dikembangkan dalam LLM. Dengan sepenuhnya tanpa menggunakan metode supervised fine-tuning, model ini menunjukkan bahwa perilaku penalaran (reasoning) dapat muncul secara alami melalui reinforcement learning.

Fitur Utama

Group Relative Policy Optimization (GRPO):

• Algoritma reinforcement learning (RL) memiliki biaya yang hemat dengan menghilangkan kebutuhan akan model kritik terpisah yang mengoptimalkan pembaharuan kebijakan (policy) secara langsung.
• GRPO mendorong model untuk mengeksplorasi beragam jalur penalaran (reasoning), yang memungkinknnya mengembangkan perilaku seperti refleksi (reflection) dan verifikasi diri secara mandiri (self-verification).

Perilaku yang Muncul:

• self-verification
  Model belajar memverifikasi responsnya sendiri dengan mengevaluasi ulang langkah-langkah perantara.
• Reflection
  Model meninjau kembali proses penalarannya untuk menyempurnakan kesimpulan, meniru pendekatan pemecahan masalah manusia.
• Extended Chains of Thought (CoT)
  Model secara alami menghasilkan langkah-langkah penalaran (reasoning) terperinci, memecahkan tugas-tugas komples dengan akurasi yang lebih tinggi.

Hasil

• Mendapatkan skor Pass@1 sebesar 71,0% pada tolok ukur AIME 2024, yang meningkat menjadi 86,7% dengan pemungutan suara mayoritas.
• Kinerja yang sebanding dengan model OpenAI o1–0912 pada tolok ukur penalaran tanpa menggunakan supervised data.

Tantangan

Readability Issues: Keluaran awal sering kali sulit ditafsirkan, dengan masalah seperti pencampuran bahasa dan format yang tidak konsisten.

2. DeepSeek-R1: Multi-Stage Training with Cold-Start Data

Untuk mengatasi tantangan DeepSeek-R1-Zero dan meningkatkan kegunaan, DeepSeek-R1 menggabungkan sejumlah kecil data cold-start dan mengikuti alur Multi-Stage Training.

Alur Multi-Stage Training

Cold-Start Fine-Tuning:

• Kumpulan data yang dikurasi dengan Chains of Thought (CoT) yang panjang dan dapat dibaca digunakan untuk menyempurnakan model dasar.
• Ini meningkatkan kejelasan keluaran dan mempercepat konvergensi model selama RL.

Reasoning-Oriented RL:

• Dibangun berdasarkan model cold-start, RL skala besar berfokus pada tugas-tugas yang membutuhkan penalaran intensif seperti pengodean, matematika, dan logika.
• Memperkenalkan language consistency rewards untuk memastikan keluaran dapat dibaca manusia dan bebas dari pencampuran bahasa.

Rejection Sampling & Supervised Fine-Tuning:

• Menghasilkan data berkualitas tinggi dengan memfilter dan menyempurnakan respons dari titik pemeriksaan RL.
• mengekspansi tugas penalaran (reasoning) untuk mencakup kemampuan umum seperti menulis, Tanya Jawab faktual, dan bermain peran.

Penyelarasan melalui RL untuk Semua Skenario:

Tahap RL sekunder menyelaraskan model dengan preferensi manusia untuk membantu dan tidak membahayakan, memastikan kinerja serbaguna yang kuat.

Hasil

• Mencapai kinerja yang sebanding dengan OpenAI-o1–1217 pada tolok ukur penalaran seperti AIME 2024 dan MATH-500.
• Menunjukkan kemampuan luar biasa dalam tugas konteks panjang dan penulisan kreatif, mengungguli model lain dalam tolok ukur seperti AlpacaEval 2.0 dan ArenaHard.

3. Distillation: Memberdayakan Model Kecil

DeepSeek tidak berhenti pada model besar, ia memperluas kemampuannya ke model yang lebih kecil menggunakan teknik distilasi.

Proses Utama

Menyaring kemampuan penalaran DeepSeek-R1 ke dalam model yang lebih kecil (misalnya, seri Qwen dan Llama).

Menggunakan 800 ribu sampel pelatihan berkualitas tinggi yang dihasilkan oleh DeepSeek-R1 untuk menyempurnakan model yang lebih kecil.

Hasil

Model yang Lebih Kecil, Dampak Besar:

• Distilled models seperti Qwen-7B dan Qwen-32B mencapai hasil yang kompetitif pada tolok ukur.
• DeepSeek-R1-Distill-Qwen-32B melampaui o1-mini OpenAI dalam tugas penalaran, dengan skor Pass@1 sebesar 72,6% pada AIME 2024.

Peningkatan Efisiensi:

Proses distillation memungkinkan model yang lebih kecil untuk mencapai kemampuan penalaran yang biasanya disediakan untuk model yang lebih besar dan lebih intensif sumber daya.

Keunggulan:

• Membuat model penalaran (reasoning) berkinerja tinggi dapat diakses oleh khalayak yang lebih luas dengan mengurangi biaya komputasi.
• Memberdayakan peneliti dan pengembang untuk menerapkan solusi AI yang mumpuni pada perangkat keras yang terbatas.

Fokus ganda DeepSeek pada reinforcement learning and distillation menjadikannya pelopor dalam bidang penalaran (reasoning) LLM. Inovasi ini tidak hanya mendorong batasan dari apa yang dapat dicapai LLM tetapi juga membuat kemampuan ini lebih praktis dan mudah diakses untuk aplikasi dunia nyata.

Referensi:

DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. https://arxiv.org/abs/2501.12948