MinerU: PDFから機械可読形式への高品質な変換ツール｜最新アップデートと活用法

機械可読形式へのPDF変換ツール「MinerU」の最新情報をお届けします。インターンの事前トレーニングプロセスから生まれ、科学文献における記号変換の問題解決に焦点を当てています。

MinerUの主要機能

ノイズ除去: ヘッダー、フッター、脚注、ページ番号などを削除し、文章構造を維持。
可読性重視: 1段組、複数段組等の複雑なレイアウトでも、人間が読みやすい順序でテキストを出力します。
構造維持: 見出し、段落、リストなど、元のドキュメントの構造を保持します。
マルチメディア抽出: 画像、画像説明、表、表題、脚注を個別に抽出。
数式認識: 文書内の数式を自動認識し、LaTeX形式に変換します。
表認識: 文書内の表を自動認識し、HTML形式に変換します。
OCR対応: スキャンされたPDFや文字化けPDFを自動検出し、OCR機能を有効化します。 OCRは84言語に対応。
多様な出力形式: マルチモーダルMarkdown、JSON、豊富な中間ファイル形式をサポート。
可視化サポート: レイアウトやスパンの可視化により、出力品質を効率的に確認できます。
環境対応: CPU環境での実行に加え、GPU(CUDA)/NPU(CANN)/MPSによる高速化をサポート。 Windows/Linux/Macに対応。

最新のアップデート: より正確なPDF変換へ

MinerUは常に進化を続けています。最新のアップデート情報を見ていきましょう。

2025年4月23日: バージョン1.3.8リリース

PP-OCRv4_server_rec_docモデルがデフォルトのOCRモデルとしてアップデートされました。

より多くの中国語ドキュメントデータとPP-OCRトレーニングデータの組み合わせで学習。
繁体字中国語、日本語、特殊文字の認識能力が向上。
15,000以上の認識可能な文字をサポートし、ドキュメント内のテキスト認識を改善。

PP-OCRv4モデルの性能比較: PP-OCRv4_server_rec_doc, PP-OCRv4_server_rec, PP-OCRv4_mobile_rec

検証結果から、PP-OCRv4_server_rec_docモデルは、単一言語（中国語、英語、日本語、繁体字中国語）と混合言語の両方のシナリオで精度が大幅に向上しています。速度はPP-OCRv4_server_recと同程度であり、ほとんどのユースケースに適しています。

少数の純粋な英語のシナリオでは、PP-OCRv4_server_rec_docモデルで単語の連結の問題が発生する可能性があります。このようなケースでは、PP-OCRv4_server_recの方が適しています。したがって、PP-OCRv4_server_recモデルは保持しています。lang='ch_server'（python API）または--lang ch_server（cli）のパラメータを渡すことで呼び出すことができます。

その他の最新アップデート

2025年4月22日: テーブル解析モデル初期化時のlangパラメータ非有効問題を修正、CPUモードでのOCR及びテーブル解析速度低下を修正。
2025年4月16日: 一部の未使用ブロックを削除し、OCR検出速度を若干改善。フッターが原因で発生するページレベルのソートエラーを修正。
2025年4月12日: Python 3.13環境（Windows）における非互換性問題を修正。バッチ推論時のメモリ使用量を最適化。90度回転したテーブルの解析効果を改善。財務報告書における大規模なテーブルの解析精度を向上。OCR言語が指定されない場合の英語テキストエリアにおける単語結合の問題を修正。
2025年4月8日: Python 3.13をサポート。旧式のLinuxシステム（CentOS 7など）への最終的な適応。

MinerUの利用方法

オンラインデモ

インストール不要で、MinerUの機能をすぐに体験できます。

クイックCPUデモ

Windows、Linux、Mac環境で簡単に試せるCPUデモです。

magic-pdfのインストール

conda create -n mineru 'python>=3.10' -y
conda activate mineru
pip install -U "magic-pdf[full]"

モデルウェイトファイルのダウンロード (詳細な手順はドキュメントを参照ください)

設定ファイルの修正

モデルウェイトファイルのダウンロード後、magic-pdf.jsonファイルが自動生成され、デフォルトのモデルパスを設定します。

Windows: C:\Users\username、Linux: /home/username、macOS: /Users/username でmagic-pdf.jsonファイルを確認できます。

{
    // その他の設定
    "layout-config": {
        "model": "doclayout_yolo"
    },
    "formula-config": {
        "mfd_model": "yolo_v8_mfd",
        "mfr_model": "unimernet_small",
        "enable": true // 数式認識機能をデフォルトで有効にします。無効にする場合は、ここの値を "false" に変更してください。
    },
    "table-config": {
        "model": "rapid_table",
        "sub_model": "slanet_plus",
        "enable": true, // テーブル認識機能をデフォルトで有効にします。無効にする場合は、ここの値を "false" に変更してください。
        "max_time": 400
    }
}

GPUによる高速化

CUDAに対応したGPUをお持ちの場合、GPUアクセラレーションを利用できます。

![OpenDataLabデモ](https://camo.githubusercontent.com/7823e1efdb5fc27ca8bc72a464bf422be18f6ad3f3036c72217f21c1d1e641e3/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f44656d6f5f6f6e5f4f70656e446174614c61622d626c75653f6c6f676f3d646174613a696d6167652f7376672b786d6c3b6261736536342c50484e325a79423361575230614430694d544d304969426f5a576c6e61485139496a457a4e43496765473173626e4d39496d6830644841364c79393364336375647a4d7562334a6e4c7a49774d44417663335a6e496a3438634746306143426b50534a744d5449794c446c6a4d4377314c5451734f5330354c446c7a4c546b744e4330354c546b734e4330354c446b744f5377354c4451734f537735656949675a6d6c736244306964584a734b434e684b534976506a78775958526f49475139496d30784d6a49734f574d774c4455744e4377354c546b734f584d744f5330304c546b744f5377304c546b734f5330354c446b734e4377354c446c364969426d615778735053496a4d4445774d5441784969382b50484268644767675a44306962546b784c444534597a41734e5330304c446b744f537735637930354c5451744f5330354c4451744f5377354c546b734f5377304c446b734f586f6949475a7062477739496e56796243676a59696b694c7a3438634746306143426b50534a744f5445734d54686a4d4377314c5451734f5330354c446c7a4c546b744e4330354c546b734e4330354c446b744f5377354c4451734f537735656949675a6d6c7362443069497a41784d4445774d534976506a78775958526f49475a7062477774636e56735a5430695a585a6c626d396b5a43496759327870634331796457786c50534a6c646d56756232526b4969426b50534a744d7a6b734e6a4a6a4d4377784e6977344c444d774c4449774c444d344c4463744e6977784d6930784e6977784d6930794e6c59304f574d774c5451734d7930334c4459744f4777304e6930784d6d4d314c5445734d5445734d7977784d537734646a4d78597a41734d7a63744d7a41734e6a59744e6a59734e6a59744d7a63734d4330324e69307a4d4330324e6930324e6c59304e6d4d774c5451734d7930334c4459744f4777794d433032597a55744d5377784d53777a4c4445784c4468324d6a4636625330794f537732597a41734d5459734e69777a4d4377784e7977304d43777a4c4445734e5377784c4467734d5377314c4441734d5441744d5377784e53307a517a4d334c446b314c4449354c4463354c4449354c445979566a5179624330784f537731646a4977656949675a6d6c7362443069497a41784d4445774d534976506a786b5a575a7a506a78736157356c59584a48636d466b61575675644342705a4430695953496765444539496a6730496942354d5430694e44456949486779505349334e53496765544939496a45794d4349675a334a685a476c6c626e5256626d6c30637a306964584e6c636c4e7759574e6c5432355663325569506a787a6447397749484e3062334174593239736233493949694e6d5a6d59694c7a343863335276634342765a6d5a7a5a585139496a456949484e3062334174593239736233493949694d795a544a6c4d6d55694c7a34384c327870626d5668636b6479595752705a573530 Docker: Dockerは少なくとも6GBのVRAMを持つGPUが必要です。

NPU/MPSによる高速化

NPUアクセラレーションハードウェアを搭載したデバイスでは、NPUアクセラレーションを利用できます。 Appleシリコンチップ搭載のデバイスでは、MPSアクセラレーションを有効にできます。

その他の情報

コマンドラインでの使用方法: コマンドラインでMinerUを使用する方法
API: Python APIを使ったMinerUの使い方

知っておくべきこと

読み取り順序は、モデルが可読コンテンツの空間分布に基づいて決定するため、非常に複雑なレイアウトでは順序が狂う場合があります。
縦書きテキストはサポートされていません。
目次とリストはルールを通じて認識されるため、一部の珍しいリスト形式は認識されない場合があります。
コードブロックはレイアウトモデルではまだサポートされていません。
漫画本、画集、小学校の教科書、および練習問題はうまく解析できません。
複雑なテーブルでは、テーブル認識で列/行認識エラーが発生する可能性があります。
OCR認識では、マイナーな言語のPDFで文字が不正確になる場合があります（例：ラテン文字の分音記号、アラビア文字で簡単に混同される文字）。
一部の数式はMarkdownで正しくレンダリングされない場合があります。

まとめ

MinerUは、PDFファイルを機械可読形式に変換するための強力なツールです。最新アップデートにより、精度とパフォーマンスが向上し、様々な環境での利用が容易になりました。ドキュメント抽出の効率化に、ぜひMinerUをご活用ください。