史料数字化:从AGI到ASI,史料数字化的精度与规模将如何跃升?
从AGI到ASI,史料数字化将经历的不是一次简单的"清晰度提升",而是从"图像文本化"到"语义结构化"、从"单库检索"到"全载体知识图谱"、从"史料数字化"到"史料智能化"的三重跃迁。但精度与规模的跃升,并不自动等于"史实的可信度跃升"——这一点必须放在最前面说。
一、AGI阶段:精度已经在三个层面上发生跃升1. 字符识别层:从"能认"到"高精度认"
古籍OCR的识别率在过去几年里完成了实质性突破。EvaHan2026古籍多模态OCR国际评测的数据显示,当前技术在文字识别上表现较好,版刻汉字识别率最佳综合得分达0.9736;国家图书馆的实际应用表明,先进文字识别技术的字符识别准确率已达96%以上,句读准确率94%,命名实体(人名、地名、书名、时间、官职等)识别率98%。人民网援引的籍合网OCR数据更直接:5分钟OCR相当于人工录入20小时,错误降低75%,版刻本识别准确率可达98%,自动断句准确率98.46%。
但同一份评测也暴露了瓶颈:版面分析的最佳mAP仅为0.5941,远低于文字识别精度——双行夹注与正文极易混淆,异体字与长尾罕见字仍是拉低准确率的核心因素。这说明单纯扩大模型规模收益递减,领域特定的算法创新更为关键。
2. 语义结构化层:从"出文本"到"出知识"
这是AGI带来的最本质变化。传统数字化止步于"图像→文本",而大模型让"文本→结构化知识"的转化自动化成为可能:
3. 规模层:从"单库"到"全域集成"
规模跃升不只是"处理更多页",而是跨库、跨载体、跨语种的集成:
二、ASI阶段:规模与精度的质变推演ASI(人工超级智能)尚未到来,但基于AGI阶段已经显现的轨迹,可以审慎推演三个方向的质变:
🌐 全载体、全语种、长时段的统一史料空间
AGI阶段的知识图谱构建仍依赖人工设计的三元组 schema 和提示词工程;ASI若到来,理论上能自主融合泥板、纸草、甲骨、金石、写本、画作、器物、口述记录等多载体,自动推断时空对齐关系,构建跨越文明与语种的统一史料空间。西班牙AI项目已在8000万页手稿上验证了"AI吃下人类无法遍览的档案"的可能性——ASI将把这种能力扩展到全球全部史料的量级。
🕸️ 从"史料抽取"到"反事实历史推演"
ASI级别的自主演化模型,将能对文明进程进行长周期、多主体的模拟推演。结合时空GIS、气候数据、同位素分析、文本语料,ASI有望在历史模拟上提供可计算的反事实实验能力——"如果某条商路断绝,区域文化网络会如何重构"。这种推演的价值不在"还原真实",而在生成可供检验的研究假设。
🔍 自动化主题标引的可靠化
欧洲 Holocaust Research Infrastructure(EHRI)项目对LLM用于自动化主题标引(ASI, Automated Subject Indexing)的评估结论是:当前LLM工具最好作为"有人监督的半自动工作流"的一部分。这其实预示了ASI阶段的方向——当自动化标引可靠到能满足FAIR数据原则时,全球分散档案的元数据对齐将不再是瓶颈。
三、必须正视的精度天花板与风险规模和精度跃升的另一面,是数字化史料固有的 epistemological 风险。这些风险不会因AGI/ASI而消失,反而可能被放大。
⚠️ 风险一:时代错位(Epistemic Anachronism)
一项针对18世纪俄文书籍的多模态LLM系统评估发现:尽管LLM显著优于传统OCR(字符错误率3.36% vs 21.55–45.96%),但存在系统性的时间偏见——既会掉入"现代化陷阱"(把历史拼写自动"纠正"为当代标准),也会产生"过度复古"(把中世纪斯拉夫字符错误地插入18世纪文本)。研究者称之为"历史语言能力"的缺失:模型把历史语言当作一个未分化的"古老"空间,而非特定时期的连续体。这意味着高精度识别 ≠ 历史保真。
⚠️ 风险二:数字化本身的抽象化损失
数字史学研究发现:数字化文献通常是两阶段过程(位图图像→机器可读文本),第二阶段无论人工录入还是OCR都"slow, expensive, and error-prone"。更关键的是,一旦文本从页面扫描中剥离,就从原件中重度抽象,大量潜在有用信息丢失。HathiTrust千万级体量数字化书中,近三分之一存在轻度文本退化,少数存在严重影响完整性的错误级联。
⚠️ 风险三:自动化校正引入新抽象
用AI自动校正错误"不可避免地引入新错误,并对原始史料增加进一步的抽象"。光明日报早在2010年就警示:错字错句、正文注文混淆、疏于校勘、古今字混用等数字化负面影响,会让读者在不核对原文的情况下出现"硬伤"。
⚠️ 风险四:数据库建设的系统性局限
社科院近代史研究表明,当前史料数字化存在收录不全、库间不联通、语言多样、信息错误或无来源说明等问题,根本原因是"缺乏历史学专业人员参与,更缺乏史料学意识和训练"。AI加速数字化后,这一问题若不解决,规模越大反而谬误传播越广。
四、未来史料数字化的理想形态综合来看,从AGI到ASI,史料数字化将呈现为"多层、可逆、可验证"的形态:
中国经济网刊载的明清史AI研究新进展提出了一个关键框架:传统数据建设常将数据化的过程压缩为代表最终结论的表格字段,而AI可以协助学者依照研究过程,建设分层而相互关联的数据体系——包括原始史料层、转录文本层、候选抽取层、证据与判断层、标准化与链接层、数据确认层、检索结果的中间知识层等。这七层架构,事实上是AGI/ASI时代史料数字化抵御抽象化损失、保留认识论痕迹的核心方法论。
五、结论:跃升的是能力,不是权威回到问题的核心:从AGI到ASI,史料数字化的精度将在字符、语义、时空三个尺度上跃升一个数量级;规模将从单库百万页扩展到全球史料统一空间。但有两件事不会改变:
第一,数字化史料的权威性永远建立在"验证梯度"上,而非模型规模上。无论是EvaHan评测显示的版面分析瓶颈,还是18世纪俄文LLM的现代化简正错误,都在提醒我们——AI给出的"高精度"输出,必须由具备史料学意识的研究者通过多层验证来锚定。
第二,AI处理的是符号与统计模式,而史料背后的"历史真实性"需要人文判断。社科院学者指出,最根本的问题不是技术,而是"缺乏历史学专业人员参与,更缺乏史料学意识和训练"。ASI即便到来,它生成的"历史版本"仍需人类研究者判断是否符合已知的制度、经济、文化语境。
所以更准确的表述是:AGI/ASI让史料数字化在"广度、速度、粒度"上实现跃升,但"深度、保真度、意义"仍锚定在人类研究者身上。未来的史料数字化工作者,不是被AI替代的录入员,而是"多层数据体系的架构师+AI输出的验证者+历史真实性的责任人"。
马尔库塞的话放在这里依然有效:在算法的确定性逻辑与历史的开放性之间保持张力。史料数字化的终极目的不是把史料变成完美的数据,而是通过更精准、更大规模的数字化,让人类研究者能更清晰地听见过去的声音——而声音的真实与否,最终要靠人的耳朵来辨别。 |
GMT+8, 2026-9-1 14:29 , Processed in 0.042059 second(s), 21 queries .
Powered by Discuz! X3.5
© 2001-2026 Discuz! Team.