MinerU 转换¶
所有已入库 PDF 由 MinerU VLM 模型 转换为带图片的 Markdown
(正文 .md + 图片 zip)。
调度规则¶
每天 0 点自动启动一轮批量转换,批处理调度器**自限 4000 篇 / 天**—— 上游每个 MinerU token 每天有 5000 篇额度,留出约 1000 篇余量给 交互式流量;
GET /api/papers/{id}/markdown缓存未命中触发的单篇 on-demand 转换**不计入**这 4000 篇,但**与批处理共享同一上游 MinerU token 池**: 某 token 额度耗尽(上游错误码 -60018)时该 token 冷却到次日零点, 全部 token 耗尽才对 on-demand 请求返回 503。想把队列里的剩余篇目 转完,可直接逐篇 GET 触发,也可以等夜间批处理;待转换队列清空、无可用 API token、或 API 额度耗尽时报错即停,次日 0 点再续;
同一时刻只有一个转换进程:定时任务触发时若上一轮仍在运行,不会重复启动;
服务重启后会自动续跑当日的转换队列;
单篇转换失败(如 MinerU 偶发解析错误)会跳过并继续,不会中断整轮。
查看进度¶
管理后台(
/zh/admin)可查看调度器状态:是否在运行、今日已转换数、 下次运行时间,并可手动触发一轮(见 管理后台);已转换论文在首页「已转换论文」区块与论文列表(
has_md过滤)中展示;论文详情的
/api/papers/{id}/markdown与/api/papers/{id}/images在转换完成后即可访问。