Skip to content

MinerU是一款开源的高质量PDF解析工具,基于深度学习技术,可自动提取PDF文档中的文字、表格、图片、公式等内容,并提供丰富的分析、统计、搜索等功能。 本项目为其提供一个简化版本的WebUI,方便用户上传PDF文件,并实时展示提取结果。

Notifications You must be signed in to change notification settings

liuhuapiaoyuan/MinerU-webui

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

项目简介

MinerU是一款开源的高质量PDF解析工具,基于深度学习技术,可自动提取PDF文档中的文字、表格、图片、公式等内容,并提供丰富的分析、统计、搜索等功能。 本项目为其提供一个简化版本的WebUI,方便用户上传PDF文件,并实时展示提取结果。

页面截图

🚀推荐 MinerU-PDFScanner 🌟

欢迎大家使用配套的新程序MinerU-PDFScanner, 可以将本程序作为后端调用,支持多任务并行处理,支持历史数据查看,支持导出包

👏👏👏👏👏👏MinerU-PDFScanner🔥🔥🔥

页面截图

说明:有条件的,用gpu加速,提升OCR解析速度

  1. 卸载 pip uninstall paddlepaddle
  2. 安装cuda版本对应的paddle

更新日志

2024.10.11

  • 支持API接口 👏👏👏👏
  • 接口支持异步处理,并发处理🔥🔥🔥🔥
  • 接口文档http://127.0.0.1:8080/docs#/

1. 第一次运行前的配置

在仓库根目录可以获得 magic-pdf.template.json 配置模版文件

❗️务必执行以下命令将配置文件拷贝到【用户目录】下,否则程序将无法运行

windows用户目录为 "C:\Users\用户名"

(New-Object System.Net.WebClient).DownloadFile('https://gitee.com/myhloli/MinerU/raw/master/magic-pdf.template.json', 'magic-pdf.template.json')
cp magic-pdf.template.json ~/magic-pdf.json

在用户目录中找到magic-pdf.json文件并配置"models-dir"为5. 下载模型中下载的模型权重文件所在目录

❗️务必正确配置模型权重文件所在目录的【绝对路径】,否则会因为找不到模型文件而导致程序无法运行

windows系统中此路径应包含盘符,且需把路径中所有的"\"替换为"/",否则会因为转义原因导致json文件语法错误。

例如:模型放在D盘根目录的models目录,则model-dir的值应为"D:/models"

{
  "models-dir": "/tmp/models"
}

2. 测试CUDA加速

如果您的显卡显存大于等于8G,可以进行以下流程,测试CUDA解析加速效果

1.覆盖安装支持cuda的torch和torchvision

pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118

❗️务必在命令中指定以下版本

torch==2.3.1 torchvision==0.18.1 

这是我们支持的最高版本,如果不指定版本会自动安装更高版本导致程序无法运行

2.修改【用户目录】中配置文件magic-pdf.json中"device-mode"的值

{
  "device-mode":"cuda"
}

提示:CUDA加速是否生效可以根据log中输出的各个阶段cost耗时来简单判断,通常情况下,layout detection costmfr time 应提速10倍以上。

案例PDF可以选择 examples/small_ocr.pdf

如何下载模型权重文件

详细参考 如何下载模型文件

❗️模型下载后请务必检查模型文件是否下载完整

请检查目录下的模型文件大小与网页上描述是否一致,如果可以的话,最好通过sha256校验模型是否下载完整 下载完成后,建议放入目录models,并且修改配置文件magic-pdf.json中的models-dir为模型文件所在目录的绝对路径。

启动项目

conda create -n MinerU python=3.10
conda activate MinerU
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements.txt
python webui.py

启动成功后,浏览器打开 http://localhost:7860/ 即可访问项目主页。

TODO:

  • 支持进度查看
  • 支持多文件上传,批处理

About

MinerU是一款开源的高质量PDF解析工具,基于深度学习技术,可自动提取PDF文档中的文字、表格、图片、公式等内容,并提供丰富的分析、统计、搜索等功能。 本项目为其提供一个简化版本的WebUI,方便用户上传PDF文件,并实时展示提取结果。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages