DeepSeek-R1を再現！Hugging Face Open-R1であなたも大規模言語モデル開発に参加しよう

DeepSeek-R1は、高性能な大規模言語モデル（LLM）として注目されています。Hugging FaceのOpen-R1プロジェクトは、このDeepSeek-R1を完全にオープンソースで再現することを目的としています。この記事では、Open-R1プロジェクトの概要、インストール方法、モデルの学習・評価、データ生成について解説し、あなたもLLM開発に参加する方法を紹介します。

Open-R1とは？DeepSeek-R1を再現する意義

Open-R1は、DeepSeek-R1の再現に必要な要素を構築し、誰もがその上で開発できるように設計されています。特に、「R1パイプライン」の欠けている部分を補完し、再現性と拡張性を高めることを重視しています。

• メリット
  • DeepSeek-R1のような高性能LLMの開発プロセスを理解できる。
  • オープンソースなので、自由にカスタマイズし、独自のモデルを開発できる。
  • コミュニティに参加し、他の開発者と協力してプロジェクトを進められる。

Open-R1の構成要素

Open-R1プロジェクトは、主に以下の要素で構成されています。

• src/open_r1: モデルの学習、評価、合成データ生成のためのスクリプトが含まれています。
• Makefile: 上記スクリプトを利用したR1パイプラインの各ステップを簡単に実行できるコマンドが含まれています。

R1パイプラインの段階的な再現計画

DeepSeek-R1の技術レポートを参考に、Open-R1プロジェクトでは、以下の3つのステップで再現を進めています。

1. R1-Distillモデルの再現: DeepSeek-R1から高品質なコーパスを蒸留し、R1-Distillモデルを再現します。知識蒸留は、大規模モデルの知識を軽量なモデルに転移させる手法です。
2. 純粋な強化学習（RL）パイプラインの再現: DeepSeekがR1-Zeroを作成するために使用したRLパイプラインを再現します。数学、推論、コーディングのための新しい大規模データセットの作成も行います。
3. 多段階学習によるベースモデルからRLチューニングモデルへの移行: ベースモデルからRLチューニングされたモデルへの移行が可能であることを示します。

開発環境の構築：Open-R1のインストール

Open-R1プロジェクトに参加するために、まずは開発環境を構築しましょう。以下の手順に従ってインストールを進めてください。

1. Python仮想環境の作成: Condaを使用してPython 3.11の仮想環境を作成し、アクティブ化します。

   conda create -n openr1 python=3.11 && conda activate openr1
   

   Copy

2. vLLMのインストール: vLLMをインストールします。vLLMは、大規模言語モデルの推論を高速化するためのライブラリです。

   pip install vllm==0.6.6.post1
   

   Copy

3. 依存関係のインストール: 特定のユースケースに必要な依存関係をインストールします。コントリビューターには、pip install -e ".[dev]"が推奨されています。

4. Hugging FaceとWeights & Biasesへのログイン: Hugging Face HubとWeights & Biasesのアカウントにログインします。

   huggingface-cli login
   wandb login
   

   Copy

5. Git LFSの確認: Git LFSがインストールされていることを確認します。インストールされていない場合は、以下のコマンドでインストールします。

   git-lfs --version
   sudo apt-get install git-lfs
   

   Copy

モデルの学習：SFTとGRPO

Open-R1では、**SFT（Supervised Fine-Tuning）とGRPO（Guided Refinement of Policy Outputs）**という2つの主要な学習方法をサポートしています。

• SFT（教師ありファインチューニング）:

  • Bespoke-Stratos-17kのようなDeepSeek-R1から蒸留されたデータセットを使用してモデルを学習します。

  • 学習コマンドの例:

    accelerate launch --config_file=configs/zero3.yaml src/open_r1/sft.py \
     --model_name_or_path Qwen/Qwen2.5-Math-1.5B-Instruct \
     --dataset_name HuggingFaceH4/Bespoke-Stratos-17k \
     --learning_rate 2.0e-5 \
     --num_train_epochs 1 \
     --packing \
     --max_seq_length 4096 \
     --per_device_train_batch_size 4 \
     --per_device_eval_batch_size 4 \
     --gradient_accumulation_steps 4 \
     --gradient_checkpointing \
     --bf16 \
     --logging_steps 5 \
     --eval_strategy steps \
     --eval_steps 100 \
     --output_dir data/Qwen2.5-1.5B-Open-R1-Distill
    

    Copy

• GRPO（Guided Refinement of Policy Outputs）:

  • 教師あり学習によって生成された初期モデルを、報酬関数を用いて改善する手法です。

  • 学習コマンドの例:

    accelerate launch --config_file configs/zero3.yaml src/open_r1/grpo.py \
     --output_dir DeepSeek-R1-Distill-Qwen-7B-GRPO \
     --model_name_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
     --dataset_name AI-MO/NuminaMath-TIR \
     --max_prompt_length 256 \
     --per_device_train_batch_size 1 \
     --gradient_accumulation_steps 16 \
     --logging_steps 10 \
     --bf16
    

    Copy

モデルの評価：lightevalの活用

Open-R1では、lightevalを使用してモデルを評価します。lightevalは、様々なタスクでモデルの性能を評価するためのフレームワークです。

• シングルGPUでの評価:

  MODEL=deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
  MODEL_ARGS="pretrained=$MODEL,dtype=float16,max_model_length=32768,gpu_memory_utilisation=0.8"
  TASK=aime24
  OUTPUT_DIR=data/evals/$MODEL
  
  lighteval vllm $MODEL_ARGS "custom|$TASK|0|0" \
   --custom-tasks src/open_r1/evaluate.py \
   --use-chat-template \
   --system-prompt="Please reason step by step, and put your final answer within \boxed{}." \
   --output-dir $OUTPUT_DIR
  

  Copy

• 複数のGPUを使用した評価: データ並列またはテンソル並列を使用することで、スループットを向上させることができます。

データ生成：Distilabelの活用

Open-R1では、Distilabelを使用して、モデルの学習に使用するデータを生成します。Distilabelは、ラベル付けされたデータを効率的に生成するためのライブラリです。

from datasets import load_dataset
from distilabel.models import vLLM
from distilabel.pipeline import Pipeline
from distilabel.steps.tasks import TextGeneration

prompt_template = """\
You will be given a problem. Please reason step by step, and put your final answer within \boxed{}:
{{ instruction }}"""

dataset = load_dataset("AI-MO/NuminaMath-TIR", split="train").select(range(10))

model_id = "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B" # Exchange with another smol distilled r1

with Pipeline(
 name="distill-qwen-7b-r1",
 description="A pipeline to generate data from a distilled r1 model",
) as pipeline:

 llm = vLLM(
 model=model_id,
 tokenizer=model_id,
 extra_kwargs={
 "tensor_parallel_size": 1,
 "max_model_len": 8192,
 },
 generation_kwargs={
 "temperature": 0.6,
 "max_new_tokens": 8192,
 },
 )
 prompt_column = "problem"
 text_generation = TextGeneration(
 llm=llm,
 template=prompt_template,
 num_generations=4,
 input_mappings={"instruction": prompt_column} if prompt_column is not None else {}
 )

if __name__ == "__main__":
 distiset = pipeline.run(dataset=dataset)
 distiset.push_to_hub(repo_id="username/numina-deepseek-r1-qwen-7b")

Open-R1コミュニティへ参加しよう

Open-R1プロジェクトは、コミュニティによる貢献を歓迎しています。Issueの報告やPull Requestの作成を通じて、プロジェクトに貢献できます。

貢献のヒント

• ドキュメントの改善
• バグの修正
• 新しい機能の追加
• モデルの性能改善

まとめ：Open-R1でLLMの可能性を広げよう！

この記事では、Hugging FaceのOpen-R1プロジェクトについて解説しました。Open-R1は、DeepSeek-R1をオープンソースで再現し、誰もがLLM開発に参加できる機会を提供します。ぜひOpen-R1プロジェクトに参加して、LLMの可能性を広げていきましょう。

主要キーワード: DeepSeek-R1, Open-R1, 大規模言語モデル

ロングテールキーワード: DeepSeek-R1 再現, Hugging Face Open-R1 インストール, Open-R1 モデル学習