論文からコードを自動生成！Paper2Codeで開発効率を飛躍的に向上させる方法

機械学習の論文を読み解き、コードを生成するのは時間と労力がかかる作業です。 Paper2Codeは、このプロセスを自動化し、開発者の負担を軽減する革新的なツールです。この記事では、Paper2Codeの概要、使い方、そしてその驚くべき可能性について詳しく解説します。

Paper2Codeとは？論文からコードを自動生成するLLMシステム

Paper2Codeは、論文をコードリポジトリに変換するマルチエージェントLLM（大規模言語モデル）システムです。

• 3段階のパイプライン: 計画、分析、コード生成の3つの段階で構成されています。
• 専門エージェント: 各段階は、それぞれに特化したエージェントによって処理されます。
• 優れた性能: 既存の手法と比較して、Paper2CodeおよびPaperBenchの両方で優れた性能を発揮します。 忠実で高品質なコード実装を実現します。

Paper2Codeをすぐに試せる！クイックスタートガイド

まずはPaper2Codeを体験してみましょう。以下の手順で、OpenAI APIまたはオープンソースモデルを使用して実行できます。

OpenAI APIを利用する場合

1. OpenAI APIをインストール: pip install openai
2. APIキーを設定: export OPENAI_API_KEY="<OPENAI_API_KEY>"
3. スクリプトを実行: cd scripts && bash run.sh
   • 注意: o3-miniを使用した場合の推定コストは$0.50〜$0.70です。

オープンソースモデル（vLLM）を利用する場合

1. vLLMをインストール: pip install vllm (インストールに問題がある場合は、公式リポジトリを参照してください。)
2. スクリプトを実行: cd scripts && bash run_llm.sh
   • 注意: デフォルトモデルはdeepseek-ai/DeepSeek-Coder-V2-Lite-Instructです。

実行後のフォルダ構成 (重要なファイルのみ)

outputs
├── Transformer
│   ├── analyzing_artifacts
│   ├── coding_artifacts
│   └── planning_artifacts
└── Transformer_repo # 最終的な出力リポジトリ

Paper2Codeを使いこなす！詳細なセットアップ手順

Paper2Codeを本格的に利用するための詳細なセットアップ手順を説明します。

環境構築

• 必要なパッケージ:
  • OpenAI APIを使用する場合: openai
  • オープンソースモデルを使用する場合: vllm

PDFをJSONに変換

1. s2orc-doc2jsonリポジトリをクローン: git clone https://github.com/allenai/s2orc-doc2json.git

2. PDF処理サービスを起動:

   cd ./s2orc-doc2json/grobid-0.7.3
   ./gradlew run
   

   Copy

3. PDFをJSON形式に変換:

   mkdir -p ./s2orc-doc2json/output_dir/paper_coder
   python ./s2orc-doc2json/doc2json/grobid2json/process_pdf.py \
    -i ${PDF_PATH} \
    -t ./s2orc-doc2json/temp_dir/ \
    -o ./s2orc-doc2json/output_dir/paper_coder
   

   Copy

PaperCoderを実行

1. APIキーを設定: export OPENAI_API_KEY="<OPENAI_API_KEY>" (OpenAI APIを使用する場合)

2. スクリプトを実行:

   • OpenAI APIの場合: cd scripts && bash run.sh
   • vLLMの場合: cd scripts && bash run_llm.sh
   • 注意: 上記のコマンドはサンプル論文（Attention Is All You Need）を実行します。 独自の論文でPaperCoderを実行する場合は、環境変数を適切に変更してください。

さらなる理解のために：Paper2Codeベンチマークデータセット

Paper2Codeベンチマークデータセットの詳細な説明はdata/paper2codeにあります。詳細については、論文の4.1節「Paper2Code Benchmark」を参照してください。

コードの品質を評価！モデルベースのリポジトリ評価

Paper2Codeによって生成されたリポジトリの品質は、モデルベースのアプローチで評価できます。

• 評価方法: 参照ベースと参照フリーの両方の設定をサポートしています。
• 評価内容: モデルは主要な実装コンポーネントを批評し、重要度レベルを割り当て、o3-mini-highを使用して8つのサンプルで平均化された1〜5の正解性スコアを生成します。
• 詳細: 詳細は、論文の4.3.1節「Paper2Code Benchmark」を参照してください。

評価の実行方法

1. 必要なパッケージをインストール: pip install tiktoken
2. APIキーを設定: export OPENAI_API_KEY="<OPENAI_API_KEY>" (OpenAI APIを使用する場合)

参照フリー評価

cd codes/
python eval.py \
 --paper_name Transformer \
 --pdf_json_path ../examples/Transformer_cleaned.json \
 --data_dir ../data \
 --output_dir ../outputs/Transformer \
 --target_repo_dir ../outputs/Transformer_repo \
 --eval_result_dir ../results \
 --eval_type ref_free \
 --generated_n 8 \
 --papercoder

• target_repo_dir: 生成されたリポジトリのディレクトリを指定します。

参照ベース評価

cd codes/
python eval.py \
 --paper_name Transformer \
 --pdf_json_path ../examples/Transformer_cleaned.json \
 --data_dir ../data \
 --output_dir ../outputs/Transformer \
 --target_repo_dir ../outputs/Transformer_repo \
 --gold_repo_dir ../examples/Transformer_gold_repo \
 --eval_result_dir ../results \
 --eval_type ref_based \
 --generated_n 8 \
 --papercoder

• target_repo_dir: 生成されたリポジトリのディレクトリを指定します。
• gold_repo_dir: 公式リポジトリ（例：著者によって公開されたコード）へのパスを指定します。

評価結果の例

========================================
🌟 Evaluation Summary 🌟
📄 Paper name: Transformer
🧪 Evaluation type: ref_based
📁 Target repo directory: ../outputs/Transformer_repo
📊 Evaluation result:
 📈 Score: 4.5000
 ✅ Valid: 8/8
========================================
🌟 Usage Summary 🌟
[Evaluation] Transformer - ref_based
🛠️ Model: o3-mini
📥 Input tokens: 44318 (Cost: $0.04874980)
📦 Cached input tokens: 0 (Cost: $0.00000000)
📤 Output tokens: 26310 (Cost: $0.11576400)
💵 Current total cost: $0.16451380
🪙 Accumulated total cost so far: $0.16451380
============================================

まとめ

Paper2Codeは、機械学習研究の発展を加速させる可能性を秘めた強力なツールです。 コード生成の自動化により、研究者はより創造的なタスクに集中できるようになり、より効率的かつ効果的な開発を実現することができます。ぜひPaper2Codeを試して、そのパワーを実感してください。