ASI111-AI AGI ASI社区 › 门户 ›首页› AI教育学 › 查看内容

自适应测评与ASI：AGI驱动的题目难度动态调节算法解析

2026-8-26 21:50| 发布者: Linzici| 查看: 4| 评论: 0

摘要: 核心判断先给：AGI 驱动的自适应测评，本质是把"IRT/BKT 的经典测量底座 + 大模型动态生成与难度预估 + 强化学习/多臂bandit的智能选题"三者缝合起来——AGI 不是替代项目反应理论（IRT），而是接管了 IRT 之前做不 ...

核心判断先给：AGI 驱动的自适应测评，本质是把"IRT/BKT 的经典测量底座 + 大模型动态生成与难度预估 + 强化学习/多臂bandit的智能选题"三者缝合起来——AGI 不是替代项目反应理论（IRT），而是接管了 IRT 之前做不到的两件事：动态生成难度可控的题目、用大模型"模拟学生"预估题目难度。2026 年北大医学团队在 npj Digital Medicine 的实证给出了这种架构的威力：将 CAT 引入大模型医学知识评测后，最优 CAT 方案可减少 95% 以上题量，单个模型测试时间从 6.85 小时缩至 8.4 分钟，Token 消耗从 177 万降至约 3 万，能力参数与全题库结果高度相关（r = 0.988）。但 2026 年 arXiv 综述也给出冷峻的另一面：大模型直接提示预测题目难度与实证难度对齐较弱（Spearman r ≈ 0.052—0.345），即使结合回归权重也仅达 r ≈ 0.81—0.83——这意味着 AGI 可以极大提升自适应测评的效率与覆盖，但"难度"的最终标定仍离不开人类专家与实证数据。教育部《中小学生成式人工智能使用指南（2025 年版）》的红线在这里依然锋利："应避免直接使用 AI 生成内容评价学生"；"严禁将个人信息、考试试题等敏感数据输入 AI 工具"；"各中小学校需建立健全生成式人工智能工具'白名单'制度"。

一、经典底座：IRT 与 BKT 的双轨建模

自适应测评的难度动态调节，底层跑的是两套互补的算法：

IRT（项目反应理论）轨道——"测能力有多强"

IRT 把学生能力 θ 和题目难度 b 放在同一个 logistic 函数里：

 $P (答对) = c + (1 - c) / (1 + e^{- a (θ - b)})$

其中 a 是区分度（题目区分高低能力者的能力），c 是猜测参数。三参数模型（3PL）是 GRE、GMAT、NCLEX、自适应 SAT 等所有主流 CAT 的引擎。

关键机制——最大信息量选题：系统不为"下一题越来越难"，而是选择在当前能力估计 θ 下信息量最大的那道题。题目信息函数为

I (θ) = a^{2} \cdot P (θ) \cdot (1 - P (θ))

，当 P(θ) ≈ 0.5（即题目难度与能力匹配）时信息量最大。assess.com 给出的标准 CAT 流程是：从平均难度题起步 → 根据作答更新 θ → 选信息量最大的下一题 → 当测量标准误（SEM）低于阈值（如 0.30）或达到最大题数时停止。

BKT（贝叶斯知识追踪）轨道——"测知识点掌握了没"

BKT 把每个知识点的掌握建模为二元隐状态（掌握/未掌握），用四个参数刻画：P(L₀) 初始掌握概率、P(T) 学习转移概率、P(S) 失误概率、P(G) 猜测概率。每次作答后用贝叶斯公式更新掌握概率，超过阈值（通常 τ=0.95）即判定"已掌握"并晋级。

两套轨道的根本差异：IRT 回答"能力有多强"（连续变量，像温度计），BKT 回答"知识点掌握了没"（二元状态，像开关）。现代自适应系统通常是双轨并行——IRT 管题目难度匹配，BKT 管知识点掌握追踪。

二、AGI 带来的三个新能力

🎯 新能力一：大模型预估题目难度

这是 AGI 时代最具突破性的能力。传统 IRT 需要学生实测数据才能标定题目难度——新题必须经历"预测试→收集作答→IRT 拟合"的漫长流程。大模型可以直接做这件事：

模拟学生作答法：让多个 LLM 扮演不同能力水平的学生做题，再用 IRT 拟合出难度参数。Park 等 2024 年用 65 个不同世代的 LLM 组合模拟弱/强学生作答模式
专家判断直接提取法（LLM-as-a-judge）：直接提示 LLM 给出难度判断。Zotos 等 2025 年报告显示直接提示与实证难度的 Spearman r ≈ 0.052—0.345，但仍优于大学教授在神经网络与高级机器学习试题上的表现；Razavi 和 Powers 2025 年用回归权重组合后达到 r ≈ 0.81—0.83
解题轨迹分析法：2026 年 6 月弗吉尼亚理工等机构提出的 Epi2Diff 方法，把大模型（LRM）的"思考日记"转化为量化难度信号

💡 关键数据：机器学习方法预测连续难度的 RMSE 为 0.666—0.978，而人类专家为 1.004；五分类任务的预测准确率 ML 方法为 0.425—0.650，人类为 0.650——ML 方法与人类专家相当或略优，但需要数百到数千题的领域训练集。

🎯 新能力二：动态生成难度可控的题目

AGI 可以根据当前学生的能力估计 θ，实时生成难度匹配 b≈θ 的新题——这是经典 CAT 做不到的。经典 CAT 只能在固定题库里选，题库覆盖的密度决定了能力估计的精度；AGI 则可以"按需生成"，理论上让题目密度无限大。

北大团队 2025 年发布的 MORPHOBENCH 是这一方向的代表——首个能根据 AI 模型推理能力自动调节题目难度的评测系统，收集 1300+ 跨学科推理题，通过观察 AI 解题过程动态调整挑战程度，掌握"推理路径调控"等三种调节技巧。

🎯 新能力三：深度学习+强化学习的智能选题

2026 年 2 月发表的强化学习框架（1D-CNN + 多臂 bandit）代表了自适应测评的现代化路线：1D-CNN 分析近期作答序列产出能力估计，多臂 bandit 在"难度匹配"与"内容覆盖"之间平衡选题，学习自动机根据能力估计的变化趋势调整决策概率。在大型多语言考试数据集上，该方法比传统自适应方法用更少的题目得出更准确的能力估计。

三、AGI 驱动自适应测评的完整算法闭环

把上述能力串起来，AGI 时代的难度动态调节算法是一个五步闭环：

第一步：冷启动能力估计

新用户启动采用"难度探针"模式——首 10 题覆盖难度 D∈[0.2, 0.8] 等距采样，快速收敛到初始 θ 估计。

第二步：AGI 动态生成/筛选候选题目

基于当前 θ，AGI 生成一批难度在 [θ-δ, θ+δ] 区间内的候选题（或从业经标定的题库中筛选）。DeepSeek AGIEval 的动态标定算法给出参考实现：

def update_difficulty(item_id, response_seq):
    accuracy = np.mean(response_seq[-5:])  # 滑动窗口
    delta = (0.7 - accuracy) * 0.15       # 目标准确率0.7
    difficulty += delta                   # 在线校准

该函数依据最近 5 次作答准确率与目标阈值（0.7）的偏差，按比例修正难度参数。

第三步：最大信息量选题

计算每个候选题在当前 θ 下的 Fisher 信息量

I (θ) = a^{2} \cdot P (θ) \cdot (1 - P (θ))

，选信息量最大的题。Riiid 的工程实践显示，这种"最大信息而非最大难度"的选题策略可实现91% 的作答预测准确率、<200ms 端到端延迟、300+ 知识节点同时追踪。

第四步：作答与在线更新

学生作答后，系统同时更新：

IRT 轨道：用贝叶斯更新 θ 估计
BKT 轨道：更新各知识点掌握概率 P(Lₜ)

AGI 同时基于滑动窗口准确率在线校准题目难度参数（见第二步代码）。

第五步：停止规则触发

满足以下任一条件则停止：测量标准误 SEM < 0.30、达到最大题数、置信区间完全落在 cutoff 之上或之下（用于达标/未达标决策）。

⚠️ 必须正视的局限：大模型直接提示预测难度与实证难度的对齐仍较弱（Spearman r ≈ 0.052—0.345）；大模型模拟的学生作答存在"能力分布过窄"问题（Liu 等 2025 年指出），需要用多个不同世代的 LLM 组合来缓解；AGI 生成的题目必须经过测量学属性预筛——欧洲 2025 年数学 MCQ 研究显示纯 AI 出题难度 Pi=0.22（过难）、区分度 D=0.16（过低）、Cronbach's α=-0.1（负内部一致性）。

四、不可退让的三条红线

红线一：AGI 生成的题目与难度标定不得直接使用为高利害测评终稿

教育部《使用指南》明确："应避免直接使用 AI 生成内容评价学生"；"教师不得将生成式人工智能作为替代性教学主体"。

具体要求：

AGI 动态生成的题目必须经过学科专家终审与测量学属性预筛（难度、区分度、拟合度）
题目难度的 AI 预估值必须经过小规模实证校准后才能进入自适应题库
高利害考试（升学、认证、毕业）的题库必须采用"AI 初稿 + 人类专家终审 + 试测校准"的三段式流程——这与议题 12 关于智能命题的红线完全一致

红线二：算法透明与可审计性不可妥协

2024 年综述研究明确指出，生成式 AI 用于个性化测评的挑战包括"缺乏可解释性"。自适应测评系统必须：

学生有权知晓自己在自适应测评中的能力估计轨迹
每道题的选择逻辑（为何选这道题、信息量计算）必须可解释、可追溯
难度动态调节算法的目标准确率阈值（如 0.7）、滑动窗口长度（如 5）、灵敏度系数（如 0.15）等超参数必须公开可审计
2020 年英国 A-level 算法评分事故（基于学校历史表现推定成绩，对弱势学生比例过高不公）是前车之鉴——不透明的自适应算法用于高利害决策，会引发系统性教育不公

红线三：敏感数据禁输与白名单制度

《使用指南》明文："严禁将个人信息、考试试题等敏感数据输入 AI 工具"；"各中小学校需建立健全生成式人工智能工具'白名单'制度……仅允许符合教育场景需求且数据安全合规的工具进入校园使用"；"教育行政部门……对技术供应商的数据收集、存储、使用及传输等处理流程实施动态审查"。

自适应测评系统涉及学生长期、高频、多维的作答轨迹数据，必须使用白名单内的合规工具或本地化部署——这是不可妥协的底线。

五、对教育实践的紧凑操作框架

第一层：能力估计与难度建模——双轨并行

IRT 轨道：用 2PL/3PL 模型估计学生能力 θ 与题目参数（b, a, c），基于 Fisher 信息量选题
BKT 轨道：对每个知识点维护掌握概率，贝叶斯更新
学段适配：小学阶段 AGI 仅作为教师课内辅助工具，自适应测评以"教师端工具"形态存在；初中阶段可适度探索；高中阶段允许结合技术原理开展探究性学习

第二层：AGI 动态题目生成与难度标定——人机协同

AGI 承接：基于当前 θ 生成难度匹配的题目、用 LLM-as-a-judge 预估新题难度、基于滑动窗口在线校准难度参数
人类专家终审：AGI 生成的题目必须经学科专家审核，测量学属性（难度、区分度、拟合度）必须经实证预筛
关键动作：大模型预估难度与实证难度对齐有限（r ≈ 0.052—0.345 到 0.81—0.83），AI 预估难度必须经小规模试测校准后才能进入正式题库

第三层：智能选题与停止规则——算法透明

采用"最大信息量而非最大难度"的选题策略（Riiid 验证有效）
现代扩展：可引入深度学习（1D-CNN）+ 多臂 bandit 在"难度匹配"与"内容覆盖"间平衡
停止规则：SEM < 0.30 或置信区间完全落在 cutoff 之外
算法透明：选题逻辑、超参数、能力轨迹必须对学生与教师可解释

第四层：高利害场景的特殊约束

高利害考试（升学、认证、毕业、奖学金）：AGI 仅作为"题库生成助手"与"难度预估工具"，最终题库必须经人类专家终审 + 大规模试测校准
禁止直接用 AGI 动态生成的题目进行高利害决策——题目必须先在白名单内合规环境中经过试测
学生有权知晓自适应测评的能力估计结果，有权获得可解释的反馈，有权对评价结果作出解释与申诉

所以"自适应测评与 ASI：AGI 驱动的题目难度动态调节算法解析"，可以浓缩为三句话：

AGI 不是替代 IRT，而是接管了 IRT 之前做不到的事：经典 CAT 的选题引擎仍是 IRT 的最大信息量原则——选择在当前能力估计 θ 下信息量 $I (θ) = a^{2} \cdot P (θ) \cdot (1 - P (θ))$ 最大的题，配合 BKT 的贝叶斯知识追踪双轨并行。AGI 的真正突破在两端：前端用 LLM 模拟学生作答或用 LLM-as-a-judge 直接预估题目难度（虽然对齐有限，Razavi & Powers 2025 年结合回归权重达 r ≈ 0.81—0.83），后端基于滑动窗口准确率在线校准难度参数（如 delta = (0.7 - accuracy) * 0.15）。北大医学团队 2026 年在 npj Digital Medicine 的实证验证了这一架构的威力：CAT 范式减少 95% 以上题量，测试时间从 6.85 小时缩至 8.4 分钟，能力估计与全题库结果相关 r = 0.988。
"最大信息量而非最大难度"是 AGI 自适应测评的核心选题原则：Riiid 的工程实践给出了这一原则的工业级验证——91% 作答预测准确率、<200ms 端到端延迟、300+ 知识节点同时追踪、学生通过率比对照组高 40%。2026 年 2 月发表的强化学习框架（1D-CNN + 多臂 bandit）进一步把选题升级为深度学习驱动，在"难度匹配"与"内容覆盖"之间平衡，用更少的题目得出更准确的能力估计。AGI 时代的难度动态调节，已经从"按对错升降难度"的启发式规则，进化为"按信息量最大化的统计最优 + 强化学习选题"的智能决策。
红线不可退让：教育部《使用指南》明确"应避免直接使用 AI 生成内容评价学生"；"严禁将个人信息、考试试题等敏感数据输入 AI 工具"；"各中小学校需建立健全生成式人工智能工具'白名单'制度"。2020 年英国 A-level 算法评分事故的教训极为深刻——不透明的自适应算法用于高利害决策，会对弱势群体造成系统性不公。2024 年综述研究的警告值得铭记：生成式 AI 用于个性化测评面临"偏见、缺乏可解释性、安全性"等挑战，必须在效度、信度、公平性上守住教育测量的核心标准。

⚠️ 必须正视的一点：当前教育科技语境中存在一种危险的"AGI 自适应测评万能论"——仿佛只要接入了大模型动态出题与强化学习选题，自适应测评就自动做到了"精准、个性化、高效"。但严格的研究给出的是冷峻的辩证：大模型直接提示预测难度与实证难度的对齐仍较弱（Spearman r ≈ 0.052—0.345）；大模型模拟学生作答存在"能力分布过窄"问题；AGI 生成的题目必须经过测量学属性预筛——欧洲 2025 年数学 MCQ 研究显示纯 AI 出题难度 Pi=0.22（过难）、区分度 D=0.16（过低）、Cronbach's α=-0.1（负内部一致性）；北大医学 CAT 实证虽然惊人（r=0.988），但前提是使用了"安全非公开医学题库"经过蒙特卡洛模拟系统比较不同自适应选题策略。这意味着 AGI 时代表现性评价的质量上限，不取决于模型多强，而取决于题库的校准质量、算法的透明性、以及人类专家在"题目终审"环节的把关力度。教育部《使用指南》的话最为直白："应避免直接使用 AI 生成内容评价学生"——这 13 个字，在自适应测评场景中具有特殊的锋利度：因为自适应测评的本质是"用最少题目最准地估出学生真实能力"，如果题目本身是 AI 未经校准生成的、难度是 AI 未经实证预估的、选题是 AI 黑箱决策的，那么"能力估计"这件事就建立在流沙之上。

AGI 驱动的自适应测评在智能时代的真正命运，不是用算法替代教育测量专家的专业判断，而是激活专家成为真正的"题库终审者"与"算法审计者"。当 AI 可以替你秒级生成难度匹配的新题、替你预估未实测题目的难度、替你基于强化学习选出信息量最大的下一题、替你在线校准难度参数时，"自适应测评"这件事本身就面临着被异化的风险——它可能沦为"AI 生成题 → AI 预估难度 → AI 智能选题 → AI 估出能力"的全自动闭环，而教育测量专家和学生都退场了。教育测量在 ASI 时代的终极使命，是让每一个测量专家都能回答："即使没有 AGI 的动态出题与智能选题，我也能通过严格的题库校准、透明的算法设计、对测量学标准的深刻坚守，给出精准且公平的能力估计；即使有 ASI，我仍保有作为题库终审者与算法审计者的不可替代性"——这是 AGI 自适应测评不可退让的锚桩，也是 ASI 无论多聪明都无法替代的人类剩余领地。从 ANI 到 AGI 再到 ASI，题目生成的规模与选题的智能度会不断跃迁，但"人类是题库的终审者、算法透明的担保者、教育公平的守护者"这一测量本质，永远不会被算力击穿。

2024 年综述研究的一句话值得每一位教育测量工作者铭记："确保公平性、效度与信度，开发人类在回路（human-in-the-loop）的方法论，是与 AGI 协同设计个性化测评系统非 negotiable 的前提"——当算法可以秒级生成难度适配的题目、实时估计学生能力时，教育测量专家作为"题库终审者"与"算法审计者"的角色，反而会升华为教育在 ASI 时代最锋利的护城河。因为教育测量的实质从来不是"用最少题目估出最准的能力分数"，而是"用对人类学习的专业理解，给出公正、透明、可解释、可追责的能力判断"，这件事，再强大的 ASI 也无法替人类完成。