返回列表
编者按:近日,鸿翼档案总经理单良作为第一作者撰写的论文《AI多模态技术下的名人档案开发利用与长期保存的探索与研究》在微信公众号“档案文化学会”发布。此外,该论文已被收录于2024年海峡两岸档案暨缩微学术交流会论文集,为档案的数字化转型和创新利用提供了重要的研究意义和学术价值。以下为转载的文章内容。
摘 要:名人档案作为文化遗产的重要组成部分,记录了历史上杰出人士的思想、经历和贡献。文章分析了名人档案的特殊属性,探讨了多模态大语言模型(MLLM)和数字胶片技术在名人档案利用中的适用性以及在长期高保真存储和灵活多渠道调用中的优势。最终基于公司能力预测了融合MLLM与数字胶片技术在名人档案活化利用中的潜在应用场景,能够为名人档案的数字化转型和创新利用提供理论支持和实践指导。
关键词:多模态大语言模型MLLM;数字胶片;名人档案
引言
“如果说我看得比别人更远些,那是因为我站在巨人的肩膀上。”名人档案保存了名人的思想、经历、成就和贡献,蕴含着丰富的知识和文化价值。如何转化和改造传统名人档案开发形式以适合新的使用方式和内容,而同时在不同程度上保留其历史特色[1],成为如何实现档案“存史资政育人”亟需解决的问题。档案人要自信地守护档案时空,同时开放自己的天地,既要不失人文情怀,亦要紧跟技术前沿[2]。因此本文分析应用融合多模态大语言模型(Multimodal Large Language Model, MLLM)和数字胶片活化利用名人档案的适用性以及应用场景展望,以期初步探索一套适用于名人档案开发的通用路径。
1 名人档案的特殊属性
名人档案是历史上存在的社会著名人士或知名人士,包括政治家、军人、企业家、社会模范、科学家、艺术家、教育家、社会人士等,在某一领域、行业、学科做出过重要贡献,对某一民族、地区甚至世界范围内产生巨大影响,并得到社会和历史认可,在此过程中直接形成的具有一定保存价值的各种形式和载体的历史记录[3]。
1.1 载体多模态性
“模态(Modal)”通常是指不同形式、不同来源的数据[4],名人档案的一个重要特性是其载体的多模态性,即其内容载体不再局限于传统的文字记录,还包含了多种形式的媒体,如图片、音频、视频、手稿、书信、绘画、剪报、演讲记录和社交媒体内容等,甚至出现了不同载体间的融合,如名人的演讲稿与对应的演讲音视频。
图1 名人档案多模态数据主体内容
1.2 内容专业性与广泛性
内容专业性体现在名人档案通常涵盖了名人在其专业领域内的重要贡献和成就。广泛性体现在名人影响力的多方面和多层次,不仅记录了在其专业领域的成就,还涉及其个人生活、社交关系等。
1.3 档案实体的分散性
一是地理位置上的分布使得名人档案往往分散在不同的国家、城市和机构中。二是档案保存单位的多样化进一步加剧了名人档案的分散性。
1.4 档案总量的稳定性
名人档案的总量相对于其他类型的档案具有较高的稳定性。名人档案一般涵盖了名人在其一生中积累的各种文献资料、手稿、照片、音视频记录等,其总量基本确定。
2 MLLM与数字胶片活化利用名人档案的适用性分析
2.1 MLLM活化利用名人档案的适用性
MLLM以其先进的多模态数据处理能力在活化利用名人档案方面表现出极高的适用性,可以深度挖掘和活化名人档案中的丰富信息,提供更丰富、立体的人物解读。
2.1.1 MLLM跨模态融合档案数据的能力
MLLM能够同时处理和理解多种形式的数据使得名人档案中的多模态数据能够被综合分析,将文字内容与相关图片、音频、视频结合起来,从而提供更加丰富和立体的档案信息。
2.1.2 丰富的多模态名人档案样本数据
在多模态名人档案样本数据中,文字部分提供了丰富的语义信息,包括个人生平、成就、思想理念等。与此同时,照片、手迹、签名等图像形式的信息也为机器学习算法提供了视觉上的数据输入。
图2 多模态技术名人档案+MLLM技术结构
2.2 数字胶片活化利用名人档案的适用性
数字胶片技术的制作和应用过程包括以下几个关键步骤:①档案资料通过高分辨率扫描为数字图像。②通过“数→胶”的技术,转换成包含高密度二维码图像的缩微胶片。③将档案数据包编码处理转换成超高分辨率的二维码图像,并利用4K反射投影技术将图像记录在专用感光胶片上。④感光和冲洗处理。
图3 数字胶片技术应用方案
2.2.1 名人档案的长期高保真存储
数字胶片技术在名人档案的长期高保真存储中扮演着关键角色,将传统载体档案通过高分辨率扫描和数字化处理,转化为高质量的以二维码呈现的数字文件,避免了物理介质因时间、环境等因素导致的损耗和变质。
图4 数字胶片技术原理
2.2.2名人档案的灵活多渠道调用
名人档案的灵活多渠道调用依赖于先进的信息技术和数字化管理手段,极大地提升了应用价值和传播范围。采用先进的搜索引擎技术和自然语言处理技术,对档案数据进行语义分析和元数据标注;同时提供多语言支持和跨模态数据访问,进一步扩大了档案的用户覆盖面和应用场景。
3 上海某区档案馆在名人档案活化利用中的实践案例
3.1 案例背景
为了更好地活化利用名人档案资源,上海某区档案馆与上海鸿翼合作,利用MLLM和数字胶片技术,成功探索了名人档案的创新应用路径。
3.2 技术引入与应用
基于上海某区档案馆实际情况和名人档案开发需求,采取了以下措施:(1)多模态数据的整合与数字化。档案馆对名人档案进行全面梳理,将文字、图片、音频、视频等多模态数据通过高清扫描、录音转换等技术手段整合为数字化格式。(2)MLLM技术的应用。利用MLLM技术对数字化的多模态档案数据进行深度分析和融合,提取关键信息,生成结构化的档案摘要和关联信息。(3)数字胶片技术的运用。为确保名人档案的长期保存和随时调用,档案馆采用数字胶片技术将档案资料进行高保真存储。
3.3 应用效果
(1)利用文字、图像、语音检索,知识图谱检索,人物关联检索,可以方便地检索和获取所需的档案信息,提高了档案的利用率。
(2)结合多模态大语言模型和现代展示手段,推出了多种形式的档案展示活动,规划设计例如数字大屏语音识别应答,手机APP图像音视频虚拟展厅等。
(3)利用数字胶片技术对重要的名人档案进行加工处理并利用缩微及数字技术进行转码,最终进行异质备份,保证名人重要的文字、图片、影音文件能够保存上百年。
4 融合MLLM与数字胶片活化利用名人档案的场景预测
4.1更像本人的名人“数字人”
融合MLLM与名人档案的技术可以显著提升名人“数字人”的真实感与生动性,从而为多种应用场景提供更加逼真的虚拟形象。综合利用这些数据,MLLM可以生成更为逼真的语音合成和面部表情。
图5 数字人技术
4.2 多模态知识图谱的构建与存储
构建多模态知识图谱的第一步是数据的收集与整理。需要使用规范化的提示词(Prompts)引导MLLM从名人档案中提取关键信息,并将这些信息按照一定的逻辑关系进行组织接着,利用对文本数据进行语义分析,提取实体、关系和属性,更可通过MLLM完成,构建起知识图谱的基本框架。随后,MLLM的视觉、听觉,对名人档案中的非文本数据进行分析,提取关键的视觉和听觉特征,并将这些特征与知识图谱中的相应实体关联起来。
4.3 不断扩增与真实的名人知识库
名人知识库的构建是一个动态的过程,随着时间的推移和新资料的发现,知识库需要不断地更新和扩展。一个不断增生与真实的名人知识库将成为相关学者了解名人历史和文化的重要资源,同时也为名人档案的活化利用提供了更为丰富和立体的视角。
5 结语
名人档案的活化利用是文化遗产保护与现代信息技术结合的重要体现。本文提出了名人档案活化利用的新路径。未来,名人档案的活化利用将更加注重个性化和互动性,构建多模态知识图谱和动态更新的名人知识库,实现档案资源的最大化利用和知识传播的广泛性,为丰富公众的文化生活,也为档案学研究和实践提供了新的视角和方法。
2024年9月27日-29日,2024中国算力大会在郑州召开。大会期间,以“加速···
当前,企业数据量呈现指数级增长,且蕴含着不可估量的价值。然而,传统的文档管理往往···
9月19日至21日,万众瞩目的2024第九届华为全联接大会,在上海世博中心盛大召···
9月19日,清华⼤学国情研究院院⻓胡鞍钢、公共管理学院教授孟庆国、国情研究院院⻓···
随着AI技术的不断进步,人工智能已渗透到企业生产经营的各个环节,日益成为推动企业···
2024年9月27日-29日,2024中国算力大会在郑州召开。大会期间,以“加速···
当前,企业数据量呈现指数级增长,且蕴含着不可估量的价值。然而,传统的文档管理往往···
9月19日至21日,万众瞩目的2024第九届华为全联接大会,在上海世博中心盛大召···
9月19日,清华⼤学国情研究院院⻓胡鞍钢、公共管理学院教授孟庆国、国情研究院院⻓···
随着AI技术的不断进步,人工智能已渗透到企业生产经营的各个环节,日益成为推动企业···