大规模论文如何建立科研知识库？

定义：科研论文知识库到底在建什么

在高校语境里，大规模论文科研知识库不是把期刊 PDF 整库丢进向量索引，再套一个对话框。它是一套带授权边界的文献服务：学校能说明每篇材料从哪里来、允许读到什么程度、能否解析全文、能否进入检索增强问答、能否用于微调或对外生成，以及生成内容如何回到原文位置。没有这些边界，收录量再大也只是把版权风险和幻觉一起放大。

建设对象通常同时包含四层。第一层是书目与元数据，覆盖题名、作者、出处、标识符、资助和学科分类。第二层是授权范围内的全文或可解析章节。第三层是结构化卡片，把研究问题、方法、数据、结论、局限和引用关系写成可检索字段，并保留页码、段落、图表或栏位坐标。第四层是访问与审计，按课题组、课程或合作协议划分空间，记录谁下载、谁问答、是否出域。四层缺一，系统就退化成网盘或聊天演示。

它与校级办事知识库不是同一套对象。办事库服务制度、窗口口径和培养方案，主责在教务、学工等业务部门，方法见高校知识库怎么建设。论文库服务科研检索、证据对照和后续实验抽取，主责在科研处或社科处、图书馆和课题组。二者都要求授权、版本和引用，但论文库额外受出版合同、开放获取许可证、作者授权和未发表成果保密约束。它也只是AI4S怎么建设中的文献层，不能代替学科数据空间、计算工具和实验验证。

它不是什么

• 它不是图书馆已购数据库的镜像站，不能把出版社禁爬、禁存、禁再分发的内容转成全校聊天语料。
• 它不是预印本、审稿意见、合作企业中试数据和人体研究材料的公共向量池。
• 它不是用一次模型摘要替代阅读原文；没有定位的句子不能当作可引用证据。
• 它不是论文收录量竞赛。没有授权台账和字段规范，收录越多，越权问答和投诉下线越难处理。

产品形态上，院系可用AI4S科学智能科研创新平台承接文献辅助、知识空间和审计，但版权判断、学科分类和是否允许跨组共享，仍归图书馆、科研管理部门和课题组负责人。系统可以提示许可证类型，不能代替学校签署的使用条款。

为什么大规模论文库要先做授权和结构化

学校推进科研智能辅助时，真正卡住立项的往往不是“有没有大模型”，而是四类同时出现的业务问题。

第一，版权和授权纠缠。已购期刊、开放获取、作者授权预印本、学位论文、内部技术报告和合作企业材料，权限完全不同。如果建设方案只写“建设科研知识库”却不写授权台账、解析范围和用途分级，上线后会出现未授权全文被问答、未发表稿进入共享向量库、研究生把合作协议数据贴进公共模型等事故。事故一旦发生，信息化很难证明当时依据哪一份合同、对哪个角色开放。

第二，检索能找到字，却找不到证据。把整篇 PDF 切成固定长度片段后做嵌入，模型容易拼出“听起来像综述”的段落，却说不清方法来自哪一节、数据来自哪一张表、结论有没有被作者自己限定。课题组讨论、开题和基金预研需要的是可回到原文的卡片，而不是无法核验的流畅摘要。没有领域、方法、数据、结论字段，后续实验抽取也没有稳定入口，方法细节见AI如何提取科研论文中的实验数据。

第三，组间边界被技术默认打通。校级平台若用一个共享索引服务所有学院，教师未发表稿、审稿中的修改意见、企业联合实验室数据和涉及伦理审查的材料，会在“提高召回”的名义下互相可见。科研知识库必须默认隔离，跨组访问走授权，而不是先共享再补权限。

第四，更新和投诉没有闭环。撤稿、勘误、许可证变更、作者要求下线和数据库停订，都要求全文立即不可检索。如果系统只保存一次解析结果、不保存来源版本和下线时间，图书馆无法执行投诉，科研处无法向合作方说明范围。因此，建设顺序应是授权、解析、结构化、隔离、下线，而不是先堆全文再补治理。

实践中还常见三类偏差，值得在立项会上提前排除。一是把“学校已经买了数据库”理解成“学校已经买了训练权”，把 HTML 全文或 PDF 批量送进通用模型。二是院系先用爬虫或网盘同步建私库，校级平台后补身份和日志，形成无法回收的影子语料。三是用聊天效果代替验收，不检查未授权拒答、定位抽查和组间隔离。纠正这些偏差不需要先扩容算力，需要先补台账、字段和审计。

五步方法：从授权区分到投诉下线

可以把建设收成一条可重复的链路。每一步都有输入和输出，下一步不得跳过上一步的责任确认。模型、向量库和聊天界面出现在结构化之后，而不是第一步。

第一步：区分学校已购数据库、开放获取、作者授权和内部预印本

先按来源登记，而不是按文件后缀入库。已购数据库要写清数据库商、套餐、校园网或专线范围、是否允许本地缓存、是否允许文本挖掘、是否禁止再分发。开放获取要记下许可证类型、版本和是否允许衍生。作者授权要有书面范围、期限和可否用于问答。内部预印本、学位论文初稿和会议摘要默认按未发表成果管理，不得进入校级共享问答。来源不清的扫描件只建待审目录，不进入解析队列。

第二步：只对授权范围内的全文做解析，其余保留书目和摘要

解析是高权限动作。没有全文权的条目，系统可以保留题录、公开摘要、关键词和出版社链接，但不得切分正文、不得把章节送进提示词。有全文权的条目，解析范围仍要按用途拆开：仅供人工阅读、允许检索增强、允许组内摘要、禁止训练或对外生成。用途字段必须可查询，避免“能打开 PDF”被默认为“能喂给模型”。

第三步：抽取研究问题、方法、数据、结论和引用关系，形成可检索卡片

卡片不是另一篇更短的论文，而是带定位的字段集合。领域和主题用于过滤；研究问题和方法用于对照实验设计；数据和结论用于后续抽取与核验；引用关系用于追踪证据链。每一字段都要能回到条目、页码、段落或图表。模型输出只是候选，学科人员或经过培训的助理对照原文后才能把状态改为可用。未核验卡片可以内部可见，但不得作为对外生成的唯一依据。

第四步：按课题组设置访问范围，记录下载和问答日志

默认规则是组内可见、组外不可见。课程教学若需使用论文库，应使用已获教学授权或开放获取的子集，并与科研工作区分开。日志至少记录操作者、时间、条目、动作类型、是否携带全文片段、是否出域。没有日志的问答不能验收，因为投诉发生时无法说明传播范围。

第五步：建立版权投诉、下线和更新机制

下线不是把文件从目录里改名。有效下线指：全文不可检索、不可进入提示词、不可再生成，缓存和向量切片同步失效。书目是否保留按合同和图书馆政策处理。撤稿、勘误和许可证变更应能按标识符批量处理，并留下处理人和时间。更新机制还覆盖数据库续订失败：停订后原先缓存的全文按约定删除或停用，不得因为“已经解析过”继续对外服务。

比较：全文扔进模型与授权后结构化库

下表用于立项讨论，不构成唯一合法或唯一技术方案。具体学校还需对照著作权法、数据库合同、生成式人工智能管理、科研诚信和校内保密制度。选择时不要把“本地模型”理解成天然有权使用未授权全文，也不要把“结构化”理解成可以省略阅读原文。

一所学校可以同时保留人工阅读的全文数据库入口，和只对授权子集开放的结构化问答。两种入口应共用身份和台账，避免教师为了“更好用”把未授权 PDF 重新上传到不受控空间。结构化库的目标不是替代图书馆发现系统，而是把已经允许机器处理的那一部分，变成可定位、可隔离、可下线的科研知识服务。

授权来源如何登记，用途如何拆开

授权台账是论文库的主数据，不是附属表格。建议至少按条目记录：来源类型、权利人、许可证或合同编号、有效期、允许的动作、禁止的动作、存储位置、解析版本和下线条件。来源类型建议固定为已购数据库、开放获取、作者授权、内部预印本、学位论文和其他待审，避免自由文本导致统计失真。

用途必须拆开，不能用“AI 使用”四个字概括。常见用途包括：人工在线阅读、书目检索、授权范围内全文检索、组内检索增强问答、组内候选摘要、实验字段抽取、模型评测、微调和对外生成。每一用途单独打勾。未获授权的全文，后四项默认关闭。即便开放获取允许阅读，也不自动打开微调和对外生成；仍要读许可证是否覆盖文本挖掘和再分发。

已购数据库还要区分“校园网访问”和“本地持久化”。许多合同允许师生在指定网络环境阅读，不允许学校把 PDF 批量转存后提供给第三方模型，更不允许把全文作为持续训练语料。建设方案里如果写“本地知识库”，必须写清本地存的是书目、摘要、授权缓存还是可再分发副本。说不清存储形态，就不要启动解析任务。

作者授权应写成可到期的授权书：授权人、篇目或范围、是否包含图表、是否允许问答改写、是否允许进入评测集、到期后如何删除。课题组内部手稿若只用于本组讨论，不要登记为校级开放资源。涉及人类遗传资源、临床信息和生物安全的材料，还要叠加伦理和保密审查，不能只看版权条款。

结构化字段与引用定位如何同时设计

结构化的目的是让机器和人沿着同一套字段核验，而不是生产另一套无法回到原文的“智能摘要”。字段规范应先小后大：先冻结一组全学科通用字段，再允许学院增加受控扩展，避免每个课题组自创无法对照的标签。

建议先行冻结的通用字段

• 标识：内部编号、DOI 或其他持久标识、版本、来源类型和授权状态。
• 领域：学科、主题词、应用对象；主题词尽量对齐学校已有分类或受控词表。
• 研究问题：作者声称要回答什么，尽量用原文句子或紧邻改写，并指向段落。
• 方法：设计类型、模型或实验流程、对照与评测方式，区分作者方法和相关工作转述。
• 数据：数据来源、样本或语料描述、关键变量和可知的局限，不把表中数字静默升格为事实。
• 结论：作者自己的结论句和限定条件，避免把讨论中的猜测写成确定发现。
• 引用关系：本文引用的关键前序工作，以及后文若需追踪的图表编号。

每条字段除了文本，还必须带定位：页码、段落序号、章节标题、表格或图注编号，必要时保存坐标或锚点。定位丢失的字段只能处于“待补”状态，不能进入对外问答。验收抽查时应能从答案点回条目，再从字段点回原文位置。做不到这一点，结构化就只是换了一种幻觉格式。

抽取流程要和实验数据抽取分开管理。论文卡片回答“这篇研究主张什么、用什么方法、依据什么材料”；实验表图抽取回答“某一个单元格或曲线是什么值、什么单位”。后者需要字段字典、单位规则和人工队列，详见实验数据抽取指南。不要指望一次通篇解析同时完成综述卡片和可计算数据表，否则错误会在两个层面互相掩盖。

引用定位还要规定生成策略。检索增强问答只允许使用当前用户有权看到的卡片和对应原文片段；生成结果必须列出条目和定位，禁止只给综合论述。多源冲突时，应列出不同条目的结论和条件，而不是由模型选一个“更像正确答案”的说法。超出授权或检索为空时拒答，并提示人工阅读数据库入口，而不是用通用模型补写该领域常识冒充文献证据。

建设步骤：输入、角色、动作与输出

下列步骤按时间顺序排列。每一步都写出输入、责任角色、动作和输出，便于写入项目计划和验收清单。角色名称可按学校处室调整，但不能出现“只有厂商、没有校内主责”。

1. 立项与范围冻结

动作：选出一个授权相对清晰、主责人明确的试点集合，例如某一开放获取专题、某一已获作者授权的预印本集合，或某一已购数据库中合同明确允许本地检索的子集。写清禁止事项：未授权全文不入模、未发表稿不进校级共享、对外生成默认关闭。输出：范围说明书、责任矩阵、暂缓清单和授权台账模板。

2. 来源盘点与授权台账

动作：按条登记来源类型、用途开关、有效期和下线条件；冲突条款标红，不得用“原则上可以”代替。输出：授权来源台账、用途矩阵、待补授权清单和禁止入模清单。

3. 字段规范与解析策略

动作：发布论文结构化字段规范，规定定位方式和状态机（候选、已核验、冲突、已下线）；对无全文权条目只生产书目卡片。输出：字段规范、解析范围表、样例卡片和拒答规则。

4. 空间隔离与日志落地

动作：默认组间隔离；配置下载、问答、导出和出域审批；打通日志检索。输出：可登录的空间、权限移交表、审计字段说明和应急冻结开关。

5. 核验、试运行与下线演练

动作：检查未授权全文不能被随意问答，已授权回答能指向条目和页码或段落，课题组之间默认隔离，下线后立即不可检索。输出：评测记录、缺陷单、试运行结论和是否扩大解析范围的决定。

如果某一步缺少输出物，不要进入下一步扩大全文解析或开放校级问答。尤其是没有授权台账就建设向量库、没有定位规范就宣布“文献智能问答上线”，都会在投诉或撤稿时暴露。

交付物、验收与采购口径

核心交付物

• 授权来源台账：含来源类型、合同或许可证、用途开关、有效期和下线条件。
• 论文结构化字段规范：含领域、问题、方法、数据、结论、局限、引用关系和状态机。
• 引用定位能力：从答案到条目、从字段到页码或段落的可复测路径。
• 课题组权限和审计：成员管理、默认隔离、下载与问答日志、应急冻结。

验收应覆盖的条目

• 未授权全文不能被随意问答：用无全文权条目提问，系统应拒答或只返回书目，不得给出正文改写。
• 回答能指向条目和页码或段落：抽查已核验卡片，点击定位应落到对应原文，而不是只显示文件名。
• 课题组之间默认隔离：甲组账号不能检索乙组未授权内部稿；授权开通和关闭都要留痕。
• 下线后立即不可检索：对投诉或撤稿条目执行下线后，检索、提示词和生成三条路径均失败。
• 训练与对外生成可关闭：台账中未打开的用途，网关必须拦截，不能只靠提示词约定。
• 停用与退出：学校可导出台账、字段规范、日志和仍有权保留的书目，并按约定删除全文缓存。

验收必须使用双方确认的测试条目和账号，而不是厂商演示文献包。未通过项应列出缺陷、责任方和复测时间。采购参数按“对象—条件—期望—证据”书写，例如：在指定无授权条目上问答失败并可检索日志；在指定已核验条目上答案含页码或段落且可点回；下线指令执行后十分钟内三条路径不可用。不要写唯一品牌、唯一模型、无法验证的“理解深度”，也不要写脱离授权范围的收录量或准确率。

商务和技术附件还应包含：解析组件与模型的等价替代说明、试运行周期、图书馆和科研管理人员培训、数据退出和投诉响应时限。成本只要求供应商按学校给出的条目量和并发假设测算，不在本文给出价格。