大模型实训平台需要什么算力？

定义：实训平台算力到底在估什么

在高校语境里，大模型实训平台需要的算力，不是一张可以写进招标书的固定加速卡清单，而是一组可复测的教学条件：约定课程、约定模型和约定人数下，学生能否完整上完一节课、提交一次作业、跑完一轮评测，并且训练任务不会把上课推理打满。它通常包含共享推理服务、开发环境配额、评测队列、微调隔离域、对象存储、日志和调度策略，而不是只统计机柜里有几块加速器。

因此，估算对象应按课程类型拆开。通识推理面向公共课或校级助手，强调稳定共享和统一护栏。智能体开发面向实验课，强调可重置环境、个人工作和工具调用。评测面向作业和答辩，强调可重复脚本和可比分数。微调面向课程项目或科研试验，强调长时间占用、中间文件和未审核语料隔离。四类任务对显存、时延、并发和存储的压力不同，不能用一个总数覆盖。

它不是什么

• 它不是按机房座位数或选课名单直接换算加速卡。
• 它不是所有院系各自买一套卡、各自开放端口、互不记账。
• 它不是通识提问、开发调试和毕业设计微调共用一个无法隔离的进程。
• 它不是只看空载时延或厂商演示脚本，就可以宣布算力充足。
• 它不是设备到货后永远不用更新模型、评测集、电力预算和回退版本。

与“买够卡”并列的常见选项还有三类部署路径。本地资源适合高密级语料、强隔离训练和必须在校内留存权重的课程。校级共享适合多院系统一推理、统一配额和统一日志。弹性资源适合学期高峰、短期评测周和尚未稳定的新课试验。三种路径可以在同一所学校并存，但必须有统一身份、统一调度和统一数据边界，避免教师把未分级作业直接送到未评估的外部接口。部署分类方法见 高校大模型如何私有化部署，实训室整体建设见 AI智能体实训室怎么建设。

为什么不能先写单一卡数

学校推进大模型实践教学时，真正卡住开课的往往不是“卡够不够显眼”，而是五类同时出现的测算问题。

第一，课程被绑在一张设备清单上。招标书写了品牌、显存或固定加速卡数量，却写不清通识课、开发课、评测周和毕业设计分别要用什么模型、多长上下文、是否训练。没有课程—任务对照表，到货后只能验收通电和登录，无法验收“约定人数下课程可完整进行”。

第二，并发定义不可测。有的方案写“同时在线两百人”，却不说明是同时登录、同时会话还是同时发送请求；有的把一学期选课人数当成瞬时并发。同一句话可以对应完全不同的推理压力。验收必须把并发改写成可重跑的脚本：谁在什么模型上、输入多长、是否检索、是否允许排队。

第三，任务互相抢占。通识课需要稳定的共享推理；开发课需要环境和配额；评测脚本会在周末或答辩前集中爆发；微调会长时间占满加速器并写出大量中间文件。用一套生产聊天服务同时承担四类负载，学期评教或论文高峰时会互相拖垮，也难以分别问责。

第四，瓶颈不在加速卡上。开发课更常遇到的是镜像拉取失败、个人工作区写满、对象存储带宽不足、队列没有优先级。只扩卡不补编排，整班仍然开不了机。评测课更常遇到的是缺少固定测试集，换一个模型就无法对比上周成绩。算力方案必须把存储、网络、调度和评测集写进去。

第五，运维和电力被漏算。设备清单可以很快写完，值班、散热、电费、模型许可证更新和故障回退却没有责任人。第一学期勉强开课，第二学期镜像损坏、权重过期、助教流失，平台重新变成闲置机房。成本口径应同时列入电力、散热、运维人员和更新评测，而不是只计算采购金额。

因此，立项应先回答：这学期要上哪些课、每类课的同时在线如何定义、用什么模型和上下文、是否训练、失败时是排队还是降级。五个问题清楚后，再决定本地、校级共享还是弹性资源，而不是先锁卡数再找课。产品侧的环境、调度与课程包，见 人工智能与智能体实训创新平台。

实践中还常见三类偏差，值得在立项会上提前记下。一是把科研集群直接借给上课，未分级语料和教学示例混放，训练任务把通识课打满。二是院系先下载开源权重对外提供端口，校级平台后补身份和日志，形成无法回收的影子算力。三是招标为了“可比较”只写一种卡型和一个整数，把能量化、能共享、能弹性扩容的等价方案全部排除。纠正这些偏差不需要先报更大集群，需要先补课程清单、并发定义、隔离策略和测试方法。

五步估算：从课程清单到压测扩容

第一步：按课程类型列出任务

建议至少分成四类，并分别记录开课院系、周次、同时上课班级和是否允许出域。

• 通识推理：公共课提问、示范对话、统一护栏。优先共享推理，不给每人独占加速器。
• 智能体开发：创建环境、调试提示词、连接知识库和工具、提交作业。关键是可重置模板和配额。
• 评测：作业自动初评、答辩周回归测试、安全拒答检查。必须有固定脚本和可比基线。
• 微调：课程项目或科研试验的训练、长时评测、中间文件。必须与上课推理隔离。

第二步：把“同时在线”写成可测参数

每一类任务都要写下：模型名称与量化方式、上下文窗口、输入输出长度、是否检索和工具调用、并发定义、可接受排队还是必须实时返回。不要只写参数量，也不要只写机房座位数。同一门课如果既有课堂演示又有课后作业，应拆成两条负载，避免用课堂峰值覆盖作业峰值，或反过来。

第三步：规定隔离和优先级

隔离可以是独立队列、独立节点池或独立时段，但必须能回答：微调能否打断通识课；评测脚本是否占用开发环境；教师演示是否有保底配额。优先级应写进调度策略，而不是开课后口头协调。高密级语料不得进入共享通识向量库，训练中间文件不得与学生作业混存。

第四步：在本地、校级共享和弹性之间落档

本地看机房电力、散热、值班和数据密级。校级共享看多院系课表能否错峰、配额能否回收。弹性看合同计量、出域字段和退出后残留处理。一所学校可以通识走共享、开发走本地模板、高峰评测走弹性，但三类流量应汇入同一账号和日志。私有化、混合与受控调用的分类，仍按数据边界决策，方法见 高校大模型如何私有化部署。

第五步：用真实上课脚本压测后再扩容

先选一门责任教师明确、测试数据可授权的课，记录完成率、排队、失败恢复和环境重置时间。压测通过后再复制到下一门课。没有评测集和回退路径的集群扩容，只是扩大不确定范围。扩容触发条件应事先写明：排队超过约定阈值、失败率上升、新增长上下文任务或新增多门并行课。

比较：固定卡数招标与课程-任务测算

下表用于立项讨论，不构成唯一合法或唯一经济方案。具体学校还需对照网络安全、教育数据分类分级、生成式人工智能管理和校内采购制度。本文不承诺任何卡型或卡数。

选择课程-任务测算，不是反对采购加速卡，而是反对用无法核验的整数代替教学条件。学校仍然可以建设本地集群，也可以购买校级共享额度或弹性资源，但合同附件应是“课程或场景—任务类型—测试方法—最小可上课配置—扩容触发条件”，而不是单独一行卡数。供应商可以在该表上给出测算和测试报告，学校按同一脚本比较，而不是按无法复现的“先进性”表述比较。

建设步骤：输入、角色、动作与输出

下列步骤按时间顺序排列。每一步都写出输入、责任角色、动作和输出，便于写入项目计划和验收清单。角色名称可按学校处室调整，但不能出现“只有厂商报卡数、没有开课清单”。

1. 冻结课程与任务类型

动作：把每门课标成通识推理、智能体开发、评测或微调，允许一门课对应多条任务。输出：课程—任务对照表初稿和“本学期暂缓训练”清单。

2. 采集负载参数

动作：把同时在线改写成同时请求或同时会话；写下输入输出长度、上下文窗口、是否训练。输出：每条任务的负载参数卡，缺项不得进入采购文件。

3. 选择本地、共享或弹性并设计隔离

动作：为每条任务落一档路径，并指定默认可替换的推理后端和隔离方式。输出：部署决策表、队列优先级、网关策略和回退说明。

4. 准备上课脚本与最小可上课配置

动作：写出最小可上课配置的测试步骤：登录、发放环境、完成示范任务、提交、重置。输出：压测脚本、重置手册和扩容触发条件，不在文档中锁定卡数。

5. 试运行、复测与是否扩容

动作：在约定模型、输入长度和并发下重跑；记录排队、失败、超时和恢复时间。输出：试运行结论、缺陷关闭证明，以及“维持最小配置 / 触发扩容 / 调整课表错峰”三种决定之一。

如果某一步缺少输出物，不要进入下一步招标或扩大开课范围。尤其是没有课程—任务对照表就填写卡数、没有上课脚本就宣布算力达标，都会在学期中途暴露。实训室若还缺课程项目和评价量规，应回到 AI智能体实训室怎么建设 补齐，而不是先扩容。

四类课程如何分别估算

估算的目的是回答“约定任务能否稳定完成”，不是预先锁死一种卡型和卡数。正确顺序仍然是：任务分类、负载参数、隔离策略、最小可上课配置、高峰扩容路径。下面按课程类型给出应记录的变量，不给出任何具体卡数。

通识推理

面向公共课或校级助手的共享推理。关键变量是同时会话数、每会话输入输出长度、是否检索增强、是否流式返回，以及可接受的排队策略。此类任务适合集中部署、统一缓存和统一内容护栏。验收观察的是整班提问是否可完成、护栏是否生效、日志是否能按课次回溯，而不是单人空载有多快。通识课不要按“一人一卡”规划，否则会把共享吞吐误写成独占设备。

智能体开发

学生要创建环境、调试提示词、连接知识库和工具、提交作业。关键变量是同时上课人数、环境能否重置、是否允许自定义依赖、单人配额用尽后如何排队、镜像和工件体积。这里更常遇到的瓶颈是编排、镜像和存储，而不仅是推理吞吐。验收应观察整班是否能在一节课内完成“领取环境—调用模型—提交—重置”，教师是否能回收账号。开发课可以与通识共享推理后端，但工作区和密钥必须按人隔离。

评测

评测是可重复的批量任务：同一套题目、同一模型版本、同一输入长度，才能比较本周和上周。关键变量是并发作业数、单次评测轮次、是否含安全拒答和引用核验、结果是否写回成绩系统。评测可以错峰，但必须有独立队列或独立时段，避免答辩周把课堂推理挤掉。验收看的是脚本可重跑、分数可解释、失败可定位到模型版本，而不是看一次演示得分。

微调与长时训练

微调会长时间占用加速器、读写检查点和未审核语料。关键变量是是否训练、有效批次、序列长度、是否冻结部分参数、中间文件留存周期、失败后能否从检查点恢复。必须与通识推理和生产办事助手隔离。隔离可以是独立节点池、独立队列或夜间窗口，但要能证明上课时段训练不会抢占。语料授权、许可证是否允许微调和导出限制，应在启动前写进任务卡。没有授权的学生作业不得直接进入训练语料。

估算时应同时写下的条件

• 模型名称、量化方式和上下文窗口，而不是只写参数量。
• 并发定义：同时请求、同时会话还是同时在线账号，以及对应课表时段。
• 输入输出长度、检索条数、工具调用轮次、是否流式返回。
• 是否训练，以及训练与推理是否物理或逻辑隔离。
• 响应目标：首字时延、整段完成时间、失败率，以及是否允许排队。
• 存储与网络：权重、向量库、日志、课程镜像、检查点和备份的容量与带宽假设。
• 电力、散热、值班和模型更新窗口，避免只计算设备到货。

输出应是一张“课程或场景—任务类型—测试方法—最小可上课配置—扩容触发条件”对照表，并可并列本地、校级共享、弹性三条路径。最小配置的含义是：按上述条件能完整上完一节课或跑完一轮作业评测；扩容触发条件则是排队超过约定阈值、失败率上升、新增长上下文或新增并行班级。对照表供学校按运维能力选择，而不是预先宣布唯一硬件方案。

本地、校级共享还是弹性

路径选择看数据密级、运维能力和高峰形态，不看哪一种听起来更“先进”。三种都可以支撑实训，也可以组合使用。

本地

权重、向量、日志和训练中间文件默认留在学校约定机房或专属资源池。适合含未发表讲义、学生可识别作业、需要强隔离微调的课程。运维重点是集群、监控、备份、电力散热和值班。本地不是天然更安全：若没有分级、最小权限和审计，机房内的共享磁盘同样会泄漏。选择本地时，仍要把最小可上课配置写成测试条件，而不是写成固定卡数。

校级共享

多院系共用推理服务、镜像仓库和配额系统，按课表错峰。适合通识课和标准化开发模板。运维重点是账号回收、配额公平、课程镜像版本和跨院系结算口径。共享的前提是能按课程隔离工作区和知识空间，避免甲班提示词和乙班语料互相可见。共享也不等于可以省略压测：高峰周多门课重叠时，仍要用脚本证明排队策略成立。

弹性资源

在约定网关策略下，把低敏感生成、短期评测或高峰溢出转到校外或校级弹性池。适合课表尖峰、新课试验和尚未稳定的模型对比。必须书面确认存储位置、是否用于再训练、删除、导出、子处理方和退出后的残留处理。高密级原文、附件和学号姓名不得整段外送。弹性计量要写清单位、超额和停用结算，避免只在演示期免费、开课后无法预测费用。

实践上常见的组合是：通识推理走校级共享，开发环境模板本地发放，答辩评测周启用弹性，微调留在隔离池或夜间窗口。组合成立的标志不是资源更多，而是同一套身份、同一套日志、同一张课程—任务对照表。若学校还没有统一网关和分级规则，应先补部署分类，而不是并行采购三套互不相认的卡。

验收与采购参数

验收应覆盖的条目

• 功能：学生能领取环境、调用约定模型、提交作业、教师能重置和查阅日志。
• 性能：写明模型、并发定义、输入长度、是否检索或训练，以及复测脚本归属。
• 隔离：上课时段训练任务不能抽干推理；甲班不能看到乙班工作区。
• 排队：配额用尽出现排队或降级提示，而不是整班无响应。
• 安全：越权读语料、未授权出域、批量导出内部字段均应失败并留痕。
• 运维：监控、告警、备份恢复、模型回退和账号回收能由学校人员执行或监交。
• 文档：课程—算力对照表、许可证、评测集、值班表和退出迁移说明随系统移交。

验收必须使用双方签字确认的上课脚本和测试数据，而不是厂商演示账号。未通过项应列出缺陷、责任方和复测时间；演示成功不能覆盖条目失败。指标必须写明模型、输入长度和测试方法，不能只写“高性能”或“满足教学需求”。

采购参数建议写成可测试语句

技术参数建议按“对象—条件—期望—证据”书写，例如：在指定课程脚本和约定并发下，通识提问类请求的完成时间和失败率可复测；开发课整班可完成领取、提交与重置；微调队列在上课时段不得抢占通识推理；学校可导出配额、日志和配置。不要写唯一品牌、唯一卡型、唯一模型或无法验证的卡数承诺。

商务和技术附件还应包含：模型与中间件的等价替代说明、试运行周期、教师和运维培训对象、驻场或远程支持边界、数据退出和知识移交。成本只要求供应商按学校给出的并发和模型假设测算，并分列设备或弹性计量、电费、运维和更新评测，不在本文给出价格或卡数。