学术前沿 | 文化遗产智能计算的肇始与趋势——欧洲时光机案例分析


文化遗产智能计算的肇始与趋势

——欧洲时光机案例分析

文 / 王晓光 梁梦丽 侯西龙 宋宁远


【摘 要】文化遗产是人类文明的载体与形式,蕴含丰富的文化内涵与民族精神。进入数字社会以来,借助大数据和人工智能等新兴数字技术与理念,数智化活化文化遗产,进而实现中华优秀传统文化创造性转化与创新性发展,已经成为文化遗产保护与传承的关键路径和数字化赓续的现实需求。在科技与人文融合精神指导下,本文尝试性提出了文化遗产智能计算的基本概念,并分析了文化遗产智能计算基本目标和实现逻辑,并针对欧洲时光机项目进行了案例分析和经验总结。本文首先调查分析欧洲时光机项目的目标愿景、发展历程及其组织架构,系统梳理欧洲时光机的建设内容与代表性工作,归纳总结历史大数据构建的技术框架与逻辑路线,进而从数据资源、关键技术、标准平台、表现形式和共建机制等五个方面提出文化遗产智能计算的经验进路。文化遗产智能计算与历史大数据资源建设不仅是当代新文科建设的前沿学术问题,更是文化产业数字化转型面临的重大现实问题,对数字中国和文化强国重大战略的实施具有重要的理论创新与实践指导意义。图3。表1。参考文献30。


【关键词】文化遗产智能计算 欧洲时光机 智慧数据 历史大数据 数字人文


0

引言



文化遗产是不可再生的珍贵资源,蕴含着民族特有的文化内涵和精神价值,如何实现文化遗产的保护、传承与传播是全人类面临的重大现实问题,具有重要的理论与现实价值。近年来,随着互联网、数字技术的应用普及,世界多国和国际组织都开展了一些面向人类文化遗产记忆与活化的项目,如美国数字记忆、德国国家文化遗产科研数据基础设施、欧盟数字图书馆、芬兰国家集体记忆平台、欧洲时光机等,这些标志性项目充分体现了文化遗产在记忆塑造、身份认同以及文化传播上不可替代的价值。中国拥有丰富的历史文化资源,历来重视文化遗产的保护、传承与传播。习近平总书记曾指出“要让收藏在博物馆里的文物、陈列在广阔大地上的遗产、书写在古籍里的文字都活起来”。在数字时代,如何借助新兴的数字技术实现文化遗产的创造性转化与创新性发展,已经成为凝聚民族认同、繁荣学术研究、促进文化传播,构建人类命运共同体的重大战略需求。


文化遗产包括物质形态和非物质形态两种类型,传统的文化遗产保护主要以实体保护修复和技艺传承展演为主。随着社会数字化转型的加速,文化遗产的数字化工作逐渐受到重视。无论是物质形态的还是非物质形态的文化遗产都可以借助数字技术记录成各种数字资源,包括图像、视频、音频、3D模型等形式,配合各种数字化的知识文献资源,共同构成了一种新的文化遗产表现形态——数据态[1]。这种数据态不仅记录和再现了文化遗产的本体特征,也对文化遗产承载的文化内涵实现了二次编码表达,成为一种新的历史文化大数据资产。但是,截至目前,这些新型的大数据资产尚未转化为可深度利用的数据要素,其内涵的民族精神、表型符号、文化基因和历史知识尚未得到全面的语义化标注、智能化分析、可视化展现、关联化发布与精准化服务,更没有达到FAIR原则的共享利用。如何利用大数据和人工智能等各种新兴数字技术解决以上问题,构建支撑文化遗产创造性转化与创新性发展的智慧数据资源,既是数智时代文化遗产保护和传承的内在要求,也是数字化赓续中华优秀传统文化和繁荣发展数字文明的必经之路。针对这一新兴需求,本文尝试性提出了“文化遗产智能计算”的概念,并借助欧洲时光机这一标志性工程项目的案例分析,阐述了文化遗产智能计算的基本内涵、目标与逻辑进路,为文化遗产数智化活化利用理论建设与相关工程实践提供了参考。


1

文化遗产智能计算概念的提出



1.1 文化遗产数字化


随着数字图书馆、数字档案馆、数字博物馆等人类文明记忆机构数字化转型的加速,数字化形式的文献记录和档案数据开始爆发性增长,进而促进了哲学家卡尔·波普尔口中的记录人类文化、科技以及各种文明现象的客观知识世界——“世界三”转型为可计算的数据形态。与以往的知识与文化载体形态不同,由简帛、羊皮、纸张、铜器、瓷器等不同文化遗产形式和由文字、视频、音频等不同媒体表达的不同形态的知识和信息,在数字化的、可计算的数据形态上得到了统一的形式化表示。


在对文化遗产进行数字化的过程中产生了海量的、多模态的、异构的数据资源,形成了以文化遗产为中心的有关人类历史的人物、事件、时间、地点、活动、技艺的历史文化大数据。这些数据不仅记录和映射了人类历史文化的整体脉动,还细致刻画了特定个体和组织的行动轨迹与重要历史事件的演变过程,是人文社科研究者以数字人文的新方法观察和分析人类社会规律,并开展人文研究的新型素材和循证依据,同时也是普通大众借助新媒介和新装置学习和体验人类社会各时代历史文化和文明成果,实现历史文化在当代数字媒介环境下的 再表达、再生产、在传播和再记忆的关键资源。为了实现文化遗产数字化“活化”与数据资源的价值增值,加速数字人文研究范式发展,有必要借助智能计算技术进一步揭示文化遗产数字资源中蕴含的文化基因、语义内涵、知识关联和本体价值,建构可解释、可信赖、可溯源、可推理的文化遗产智慧数据,升级文化遗产数字资源的形式化编码水平和系统组织架构,以支撑新型的智慧化知识信息服务和连续性数字文明发展。 


1.2 文化遗产智能计算的概念与目标 


在数字人文理念下,为了进一步推动文化遗产数字化理论与实践的发展,本文提出“文化遗产智能计算”的概念,并认为文化遗产智能计算是借助大数据、人工智能、虚拟现实等前沿智能信息技术对文化遗产蕴含的信息与知识进行采集、记录、分析、组织、挖掘、表达、关联、传播、展示活动的总称,其目标是实现文化遗产的数智化活化与再造,探索文化遗产大数据驱动的数字人文研究范式,促进物质和非物质文化遗产从现实世界向数字空间迁移,推动人类文明的数字化转型,实现优秀传统文化在数字空间的赓续。

具体来说,一方面,文化遗产智能计算借助大数据与人工智能技术,挖掘文化遗产中蕴含的历史人文内涵,形成文化遗产智慧数据资源,为文化遗产大众传播、观看体验和数字文化产品研发奠定资源基础。另一方面,文化遗产智能计算还将借助虚拟现实、可视化、空间计算等技术和工具,探索数字化的历史复现、场景反演、智能推理等人文实验方法和范式,推动传统人文学科在数字学术环境中的研究范式创新,推动数字人文的发展。

文化遗产智能计算的基本理念是物质的和非物质的文化遗产在向数字空间迁移过程中,形成了对社会、文化和地理跨时代演变的映射,拓宽了人文研究的时空跨度与研究尺度。在计算思维、量化思维以及协同共创思维支撑下,文化遗产智能计算将加速计算分析、历史模拟、虚拟仿真、沉浸体验等实验手段和教学方法的创新,为历史、考古、文学、建筑、艺术等多学科领域带来新机,有助于大数据与人工智能驱动的人文领域的第四研究范式的繁荣发展。


1.3 文化遗产智能计算的基本逻辑与进路


文化遗产智能计算的核心理念是借助大数据和人工智能技术促进文化遗产智慧数据的建设,推动文化遗产表现形式和相关知识的数字化和形式化转型。这一转型过程的核心就是探索出一条理论上和技术上现实可行的行动路线。从目前人类已有的经验来看,构建文化遗产智慧数据不是一蹴而就的,而是一个阶梯式的渐进的过程,这一过程最早可以追溯到人类利用光学摄影和摄像技术对文化遗产的大规模摄影记录活动,这些历史性活动积累形成了海量的光学照片和微缩胶卷等视觉资源,在特定了历史时期对文化遗产记录、建档、保护和传播发挥了重要作用。

进入数字时代以来,文化遗产数字化技术,包括数字摄影、摄像、录音、文本识别、激光扫描、3D建模、光谱分析等技术开始取代光学摄影摄像技术成为主流。从实践过程来看,文化遗产智慧数据的构建离不开三个阶段:数字化、数据化和智慧化。借助这三个阶段基本可以实现文化遗产实体资源、研究资源和数字资源统一地向数字和数据形态转型,并从异构的和语义表示不足的数据形态,向具有统一语义表示的高级型智慧数据转型,这一过程离不开数字人文研究理念和研究范式的指导(见图1)。


图 1 文化遗产智能计算的逻辑进路


具体来说,在数字时代,借助数字采集记录技术可以对古籍文献、遗迹、文物等物质文化遗产,以及民俗、技艺等非物质文化遗产进行采集和记录,形成多种形式的数字文献,同时文化遗产相关的研究资源,包括各种著作、论文、考古档案等知识性资源也被转换成数字文本和数字出版物。随后,这些不同类型的数字资源通过信息抽取、分类、标引、著录等数据化处理过程,形成结构化的主数据和元数据资源,接着经过语义建模、关联标注、集成整合,进一步对文化遗产数字资源中蕴含的概念实体、知识单元和文化基因进行细粒度编码表示和跨域链接,并借助知识图谱、关联数据、区块链等技术构建形成可信的、跨模态的、富语义的、可追溯的、可再利用的智慧数据资源集合,最终完成文化遗产的数据态转型。新型的文化遗产智慧数据与各种应用支撑平台配合,不仅可以支撑知识推理与问答、假设验证、推理演绎、新知发现、场景再现等智能服务和学术研究范式创新,还将支持全域的社会认知重构、记忆再现、文化传承、决策支持等跨学科交叉研究与应用[2]。在此过程中,必须坚持数字人文理论和研究范式的指导,以保证最终形成的可重复利用的、高附加值的文化遗产智慧数据资源能够支撑全球协作、大尺度研究,并实现数据驱动和融合分析,当然还需要量化思维和计算思维的嵌入。


2

欧洲时光机项目概况



2.1 发展历程


(1)萌芽期(2012—2017年)


欧洲时光机项目源于威尼斯时光机项目,始于2012年,是瑞士洛桑联邦理工学院和威尼斯卡福斯卡里大学联合推出的一个大型跨国合作研究项目。项目的主要参与研究机构还包括威尼斯国家档案馆、威尼斯马西亚纳图书馆和威尼斯西尼基金会等。来自基础科学、工程学、计算机科学、建筑学和艺术史等不同学科的300名研究人员和学生参与了该项目。该项目旨在建立一个涵盖威尼斯1000多年历史文化遗产的开放数字档案馆,利用数字化技术捕捉包括历史地图、专题论文、手稿、乐谱、病历和法律文书在内的各种档案文件[3]。项目总负责人是瑞士洛桑联邦理工学院数字人文研究中心主任卡普兰,他认为利用机器学习技术,构建海量的文化遗产数据能够使研究人员搜索和利用历史信息,其本质是将海量的历史档案进行数字化转录,并建立索引和关联,形成了完整的威尼斯文献数据库[4]。该项目为规模更大的、更多城市加入的欧洲时光机项目奠定了基础,并成为后者的重要组成部分。


(2)发展期(2017—2019年)


“威尼斯时光机”项目的构想与实施受到了广泛好评。2014年,卡普兰在《如何建造一台时光机》的演讲中以威尼斯时光机项目为例,解释了建造全球时光机的一般原则。2016年,卡普兰在《欧洲必须建立第一台时光机》文章中指出,人工智能等技术的进步使得在整个欧洲范围内建设“历史大数据”基础设施成为可能[5],并向欧盟委员会提交建设“欧洲时光机”的提案。至此,虽然“欧洲时光机”仍主要聚力于对威尼斯的历史进行数字化再现,欧洲其它历史都市的数字化工作也开始启动。

“欧洲时光机”项目定期组织开展互动交流活动,并每年举办一次大型国际会议。2017年欧洲时光机项目第一次会议在布鲁塞尔举办,越来越多的研究机构开始加入“时光机”项目,“阿姆斯特丹时光机”“布达佩斯时光机”“巴黎时光机”“耶路撒冷时光机”等地方时光机项目相继成立。2019年,欧盟委员会选择“欧洲时光机”项目作为未来十年战略性大规模 研究计划的六项提案之一,并给予100万欧元的资金支持,同时规划了提取与利用历史大数据的详细路线图[6]。2019年在德累斯顿举行的第二次“欧洲时光机”年会上成立了时光机组织(Time Machine Organization, TMO),作为领导科学技术与文化遗产领域合作并确保时光机项目可持续性和经济独立性的国际组织[7]。


(3)繁荣期(2020年至今)


为保障时光机项目的稳定运作,欧洲时光机组织(TMO)从战略计划制定、平台搭建、基础设施建设、组织协调等多个方面制定了相关措施,以提升时光机组织成员的研究与实践能力,并为不同类型的项目获得资金资助提供咨询、寻找合作伙伴及搭建项目管理平台。通过定期召开研讨会等活动,TMO创造了一个持续交流与沟通的环境。在2020—2021年战略计划中,时光机组织对时光机建设议程、本地时光机服务、项目探索与合作、为第三方提供服务、传播与沟通等六个方面制定详细的行动计划和日程表。

在欧洲时光机组织的管理与运作下,时光机项目已汇集了来自40多个国家与地区的600多家机构,其中包括欧洲顶级学术研究机构、美术馆、图书馆、档案馆、博物馆,以及文化领域领先的大型企业、中小企业、机构团体和有影响力的民间社会组织[8]。截至2021年4月,欧洲时光机共有31个本地时光机处于在研状态,并已获得欧盟“地平线 2020”创新研究计划的资助,保障了资金来源。


2.2 项目愿景


“欧洲时光机”项目的基本理念是利用先进的计算机通信与人工智能等技术将欧洲数以万计的历史档案、文献、绘画、古籍、建筑等文化遗产进行数字化,建立一个以历史大数据(The Big Data of Past)为核心的分布式数字信息系统,挖掘欧洲广阔的文化遗产,构建跨越千年的欧洲历史文化地图,映射欧洲在整个人类历史中的社会、文化和地理的跨时空演变,促进人们对欧洲历史文化的认同,激发文化遗产在游戏、电影制作、设计、旅游、教育和广告等产业的创新应用,并由此提升欧洲经济的增长[6]。

2019年5月由欧洲时光机项目发布的《欧洲时光机宣言》提出要通过欧洲时光机项目实现人工智能、信息通信等基础性技术突破,使欧洲在构建与分析大规模、复杂异构数据方面处于领先地位;使社会科学和人文学科能够解决更多的问题,并在更大范围内建立新的解释模型;成为开放科学的推动者,实现对公共资源的开放访问;为教育提供源源不断的知识与资源,鼓励人们对长期发展趋势的反思,增强批判性思维;同时,作为新职业、新服务和新产品的经济引擎,促进整个欧洲经济社会的发展[9]。


2.3 项目架构


(1)历史大数据资源的基本架构


欧洲时光机项目的科学愿景是建设历史大数据,为此提出了历史大数据构建的内容框架和实践路线,如图2所示。其核心包括数字内容处理器(Digital Content processor)及三个仿真引擎(Simulation Engines)。其中,数字内容处理器主要负责在海量文化遗产资源数字化基础上,实现对多模态数字信息的智能提取、分析与理解,形成知识图谱(Knowledge Graphs),以此构建历史大数据的内核部分。基于这些核心数据资源,4D仿真模拟引擎负责实现从过去到未来的连续性时空模拟;通用型表示引擎管理和整合不同类型数字资源的多维度表示空间;大规模推理引擎则基于人类可理解的概念与约束来塑造和评估4D模拟的连贯性。三大仿真引擎在核心数据资源的基础上,通过假设模拟、知识推理、关联挖掘与知识发现等方式扩展历史大数据的外围部分,由此在过去和未来两个维度上增强文化遗产数据资源的数量和质量。



图 2 时光机数字内容处理器及仿真引擎

(源自欧洲时光机官网:时光机简介,https://www.timemachine.eu/about-us/文化遗产资源的数字化)


实现文化遗产领域所涵盖的资源对象的全面数字化,是构建历史大数据内核的关键。文化遗产涉及的领域与涵盖的内容十分广泛,美术馆、博物馆、档案馆、图书馆及各类文化遗产机构在数字化转型中,应尽可能覆盖所有的文化遗产资源,实现文化遗产的数字化采集。欧洲时光机项目构建的历史大数据包括历史档案、城市地图、历史建筑图纸、文物、遗迹等类型丰富的文化遗产资源。为实现海量资源的快速数字化采集,该项目引入了最先进的半自动化高速扫描仪,每小时可生成数千张高清图像,在进行图像长期保存的同时,也利用高性能计算机将这些数字图像进行转录与索引[3]。文化遗产资源的全面数字化是实现文化遗产向数字空间迁移的基础与前提,而历史大数据将物理上分散和相互隔离的文化遗产对象重新建立了关联。


① 数字资源的智能化处理

文化遗产的数字化仅仅是第一步,为构建高质量历史大数据,还需要对数字化的资源进行深层次和智能化的加工处理,将其转化为语义化、关联化、可重组、可溯源的智慧数据[10]。数字资源的智慧化有赖于对数据进行结构化编码和对知识基本结构单元的提取,以支撑计算机模拟人脑认知过程进行学习,从而实现一定的“智慧”[11]。欧洲时光机对文化遗产数字化资源的智能化处理,主要包括跨机构和跨领域的数据互联、历史数据的空间化、大规模数据集成、多媒体内容的分析与理解等。针对海量的历史档案,该项目采用“机器学习+人工辅助” 的方式,研发历史手稿自动识别算法,从数字化文档中提取人名、地点和关键词等信息,并在此基础上建立细粒度关联。从人、时、地、事、物等实体层面,在海量历史文献之间建立语义关联与链接,形成庞大的知识图谱。同时,将历史档案与图像、历史地图、三维模型等跨模态数据进行互联,并研发搜索引擎实现统一的数据检索与获取。


② 基于历史大数据的智慧服务


经过智能化处理形成的大规模、长时间、细粒度、多维度的智慧数据基础设施,丰富了数智时代人文研究多重证据参照体系,为人文研究提供了新的数据支撑,使得人文学者能够研究更大尺度的问题,解决更为宏观与复杂的问题,发现整个社会发展的演变规律或潜在关系。欧洲时光机项目注重基于历史大数据形成对历史时空的4D重构与可视化呈现,基于历史资料所形成的数据网络以及3D建模,模拟出城市在过去一千年间的不同形态,甚至复原出某时期最为真实的历史细节。这些新的技术和数据资源,将文化遗产转化为了丰富的创意资产,可以为创意产业、游戏与影视产业、设计行业、智慧旅游、智慧城市、城市规划等欧洲经济关键领域与行业的发展提供新型的智慧服务。


(2)本地时光机架构


整个欧洲时光机实际上是由众多“本地时光机”(Local Time Machines, LTMs)组成的。每个“本地时光机”都锚定在一个城市或区域空间中,并致力于建立密集的时空信息数据库,为其物理环境的4D重建奠定基础。多个“本地时光机”共同构成了正在发展的欧洲时光机网络。为规范、协调和统一本地时光机项目的建设内容与成果,欧洲时光机组织提出了时光机的核心组件,由数据图表、4D地图、代码库与项目资料库四部分构成。

数据图表是时光机的核心组件,包含时光机构建的所有信息,可以看作是数据对象的集合。数据图表可以通过数字内容处理器自动生成或手动构建。各类应用程序提供对数据图表的编辑和可视化,从而实现对数据源图表的内部和外部操作。

4D地图是时光机的第二个核心组件。主要用于绘制与展示正在进行的项目或是项目建设的数据集。4D地图既是跟踪与参与时光机活动的地图,也是时光机建设成果的统一聚合与展示。4D地图的密度不统一,某些区域的可能是三维、二维甚至一维的建模。通过4D地图, 本地时光机可以定位在相应的行政区划内,并通过4D地图服务接口进行导航。

代码库可以支持多种编程语言访问,通过关键功能模块的重组,实现对时光机数据资源的进一步加工处理与利用。

项目资料库记录时光机所有的活动项目。每个项目通常由机构发起,由于建设目标的不同,可以是对数据图表的丰富与挖掘,或是4D地图与数据库可视化交互的应用程序,也可以参与本地时光机建设或为其提供数据资源。

本地时光机的总体结构如图3所示。本地时光机以项目为依托,对本地特色化的文化遗产资源进行挖掘、加工与提取,形成的数据资源将丰富和扩展整个时光机的数据地图。同时,项目研发的各类应用程序为数据图表和4D地图的建设与管理提供了工具。在此过程中形成的关键技术和核心功能,将加入到时光机代码库中,以便实现功能重组,整个项目的相关资料与活动将存储在时光机项目资料库中。


图 3 “本地时光机”的总体结构

(源自欧洲时光机官网:时光机组织运营计划,https://www.timemachine.eu/time-machine-organisation)


(3)运营模式


时光机组织(TMO)是欧洲时光机背后的管理机构,其目的是确保规模宏大的时光机项目研究与创新计划的长期可持续性。作为一个开放性的国际组织,该组织集合了来自科学研究、工程技术及文化遗产等学科领域的众多专家。时光机组织负责制订时光机社区的组织和运行的总体规则,制订时光机长期发展与运行的路线图、长期与短期目标和里程碑。同时,为时光机项目建设提供基础设施和交流合作平台。

在欧洲时光机愿景和时光机组织的指导下,本地时光机项目聚焦于某一特定时空区域,实现历史大数据和4D空间的构建。具体的项目基于“专营权”运营模式,将学者、文化遗产组织、政府机构和大批志愿者聚集在围绕城市的特定项目周围,其中由当地公民组成的大量志愿者参与本地时光机计划是确保项目长期可持续性的一个关键要素。目前威尼斯、阿姆斯特丹、巴黎、耶路撒冷等30余个地区开发了本地时光机。在未来的发展中,时光机计划发展成为一个庞大的社区组织,共享一个具有更多授权工具的标准化平台。 


3

欧洲时光机项目的建设成果



欧洲时光机项目的实施主要围绕特定的项目展开,主要建设内容可以归纳为数字资源与数据库建设、3D/4D历史城市重建、历史细节可视化、工具平台构建等四个方面。具体建设成果及代表性项目如表1所示。



3.1 专题数据库


数字资源与数据库是历史大数据的核心内容。欧洲时光机项目建设过程中,涌现了大量主题丰富的数字资源建设项目,涉及家谱数据、城市档案库、历史地图数据集、个体语料库等内容。由于欧洲历史档案资料完整而丰富,内容涵盖广阔、类型多样,包括了居民档案、建筑设计与城市规划、家谱与手稿、国家公约以及政治发展变迁等主题。因此,对海量的历史档案的数字化就成为时光机项目的主要建设内容。

林堡时光机的Alle Limburgers家谱数据库记录了数百万林堡人过去近500年的家谱信息[12]。科隆时光机负责的Altes KÖLN项目主要由计算机科学家、历史学家和家谱学家组成的团队,根据科隆教会登记册和其他历史档案资料,创建古科隆的家谱与居民数据库[13]。罗马历史地图数据库、巴黎地理历史资料库、安特卫普数字地图等项目以地理空间为参照,将历史地图档案遗产和地理历史资料转变为空间数字基础设施,为历史场景的复原、4D重建提供了重要的基础数据。

此外,时光机在数据资源建设中,一方面将分散数据进行聚合与关联,并对数据资源进行语义化与智能化的加工与处理;另一方面,注重相关数据标准与规范的制定与遵循,共同解决数据资源碎片化与异构性、缺乏互操作性等问题。比如,巴塞罗那、比萨等多个本地时光机合作的“数字遗产与记忆的智慧访问项目”,通过规划与制定数据采集、数据映射、数据 建模和集成、数据分发、用户验证等完整的工作流,保障了数据资源的集成整合、统一开放访问与数据重用[14]。


3.2 3D/4D 历史城市重建[15]


欧洲时光机项目的目标之一是建设4D的镜像世界,将欧洲历史大数据嵌入、叠加与还原到由时间与空间组成的4D模型中,以映射与还原欧洲跨时代的社会、文化和地理的发展与演变。借助模拟仿真、虚拟重建、虚拟现实、增强现实、实时交互等技术,还原历史场景或城市历史风貌,能够直观感受城市的悠久历史,实现时间旅行[16]。4D镜像世界的实质是综合考虑时间与空间的多维多层次结构,将空间视为组织和呈现信息的一种手段,将人、地点、关系、事件和对象等实体和信息通过地理信息系统在时间与空间中展开组织,形成一种跨时空表示的数字空间,用以表示过往历史。4D镜像世界不仅建立了面向过去的通道,也提供了面向未来的路径[16]。在3D/4D镜像世界建模过程中,传统的手工建筑物建模是一项非常耗时的工作。为了提高建模效率,阿姆斯特丹时光机基于底层GIS 数据,借助CityEngine提供的基于规则和参数化的建模策略,实现半自动化的 3D建模,大大提高了历史城市的建模效率。西班牙3D Capitals项目在数字文化遗产创建过程中采用了众包的方式,提升了公民参与的主动性和主体性[17]。莱比锡时光机对莱比锡中心城市空间进行3D建模,在此基础上使用虚拟现实 技术实现了沉浸式互动体验。城市历史4D项目将历史照片映射到具有时间组件的城市三维空间模型中,研发4D交互式浏览器与信息系统,使得公众、研究人员等不同的目标用户可以直观获得历史建筑的详细视觉信息及其背后的故事。3D/4D 历史城市的数字化重建实现了历史场景的再现,追溯了城市的动态发展过程,包括疆域和版图的变化、城市运河的改造和人口迁徙等信息,使得面向过去或未来的更大规模的计算、模拟、预测以及新的解释模型的建立成为可能。


3.3 历史细节可视化


欧洲时光机项目的愿景之一是通过历史大数据来解析欧洲历史,利用模拟、表示、假设、推理等计算模型,实现对历史细节的深入探析,并借助可视化的形式对文化遗产与历史知识 进行多元化呈现与传播。时光机项目对具体历史细节的分析、还原及可视化,主要体现在历史社交网络构建、历史事件分析、文学作品分析、艺术史研究等具体方面。

在历史社交网络构建方面,巴塞罗那时光机利用计算机视觉、关联数据、众包等技术和方法,从人口档案记录中抽取信息,构建历史社会网络,以展示社会和经济的演变过程[18]。加泰罗尼亚时光机根据公民和社区的历史社交网络及居民的生活记录数据,提出构建基于社交网络的数字孪生模型,以期实现历史叙事[19]。在历史事件分析与数字化重建方面,威尼斯时光机对历史上的大瘟疫爆发事件进行数字重建[20],根据瘟疫死亡记录档案,对威尼斯鼠疫爆发进行了分析,基于疾病动力学的计算模型得出两种可能的解释。该案例也说明了对历史档案记录的系统性数字化,能够增强和丰富人们对历史事件的理解。在文学与历史研究方面,耶路撒冷时光机的“穿越时空的耶路撒冷之旅”项目[21],对12—19世纪末犹太旅行文学作品中有关耶路撒冷的描述内容进行了研究,借助语料库构建、主题分析、文本挖掘以及“远读”与“细读”等方法,系统揭示了耶路撒冷城市形象的历史演变。对历史细节的可视化还体现在艺术史研究领域。结合历史地图和档案资源,将艺术家的创作经历精确定位到城市的特定位置,虚拟重建艺术家生活、工作和社交的空间网络,进而丰富艺术史的研究。阿姆斯特丹时光机对伦勃朗故居的街道进行了数字重建,通过空间聚类和社交网络分析与度量,揭示了艺术家之间的思想交流与艺术创新的传播过程[22]。


3.4 通用性数字平台与工具


面对海量的文化遗产数字资源,不仅需要强大的技术支撑,还需要根据不同的需求和场景,研发各种数字平台与软件工具。在文化遗产数字资源的采集、处理、存储、分析、挖掘、 重建、展示等过程中,欧洲时光机项目开发了的众包平台、分布式存储平台、异构数据建模和集成工具包、多模态信息搜索引擎、沉浸式可视化引擎等多款软件平台,以及高速扫描仪、城市数字化扫描车等多种新型硬件设备。

塔林时光机开发了一个开放源代码的众包平台Ajapaik,邀请用户对历史照片进行地理位置标注,并重新拍摄历史图片以创建过去和现在的图片对比;此外,还支持用户对图像中人物标注与识别、手写信息转录、图像分类以及历史图像上传等功能[23]。锡永时光机的ScanVan项目研发了一种新型的球形相机和专用扫描车,能够实现城市场景的数字化采集和快速3D建模,并将城市3D模型与高分辨率卫星图像、无人机建模数据相集成。布达佩斯时光机构建的在线平台不仅可以检索历史数据,还可以通过交互式地图在不同时空间穿梭。在历史地理平台支撑下,研究者可以研究城市的变迁,寻找旧址,并获得与各个地块和房屋的历史和居民相关的档案资源。欧洲时光机的具体项目中,还研发了其他的通用型或专业化的数字平台与软件工具,成为研究基础设施的重要组成部分。


4

欧洲时光机项目的启示



欧洲时光机项目利用人工智能和大数据等前沿技术开发建设大规模数字化和计算基础设施,通过对历史大数据的提取、分析和计算,将其转变为当代的社会和经济资源,为重新审视、解释和传播历史文化提供了可能。欧洲时光机项目的目标理念、规划愿景、组织架构和方法技术为文化遗产智能计算的发展提供了有益的参考。


4.1 构建文化遗产智慧数据资源


文化遗产智能计算的先决条件是针对不同类型、不同尺度、不同材质、不同形式的文化遗产进行数字化转型,并在统一语义表示与知识建模的基础上,实现多源多模态多粒度异构大数据的关联与融合,进而构建文化遗产领域的富语义的智慧数据资源[10]。这一过程既要充分利用已有的馆藏信息资源,也要进一步采集、转录、抄写更多的新型数字资源,同时还要将文化遗产记录形成的原始性数字资源与其相关研究文献和档案信息进行精准映射与关联,这一数据资源建设过程还需要大众参与,以提升建设速度和质量,并实现价值共创[24]。


欧洲时光机项目借助知识图谱将历史建筑、古籍、历史文献与档案等传统的知识载体形态在数字空间中进行了统一表示与融合,形成有关人类社会过去的事件和活动的大数据,进而通过历史大数据揭示人类历史的整体脉动。同时,借助贸易金融资料、历史社会关系图谱、建筑图纸档案、卫生疾病记录等资料,不仅为历史学家所用,也为社会学家、经济学家、建筑学家、医学家的相关研究提供数据支持[25]。所以,智慧数据资源建设即是文化遗产智能计算的核心,也是文化遗产资源价值挖掘、创造性转化和创新性发展的基础工作。


4.2 突破文化遗产智能计算的关键技术


由于文化遗产相关数据资源的规模和复杂程度前所未有,欧洲时光机非常重视开发利用先进的人工智能技术来处理和解读这些大数据资源。从多源异构的文化遗产数据资源中高效地挖掘古人的智慧,支撑文化遗产的“活化”与利用,更需要智能技术与方法。除了数字化技术、信息组织等传统的技术与方法之外[26],还需要机器学习、自然语言处理、虚拟现实、数字孪生等新兴技术和方法,以实现文化遗产从可见的实物态和内在的技艺态,向可计算的数据态转型。

在文化遗产智能计算的各个流程环节中,关键技术覆盖了数据采集、组织、管理、分析、发现、解释、展示等信息生命周期的各个环节,以及文本、图像、音视频、3D模型、GIS等各种类型的信息格式,具体技术包括古籍版面解析、文字识别、图像语义标注与理解、跨尺度文化遗产三维建模、基于GIS的跨时空多模态信息融合、大遗址建筑场景建模与虚拟呈现、历史社交网络构建与分析等。对文化遗产本原逻辑、历史脉络等内容的深层次认识有赖于对其文化基因的识别,所以文化遗产智能计算的核心技术是突破文化基因的识别与提取,从文化遗产智慧数据中提炼文化遗产的图形符号、典型纹样、词汇语义、色彩体系、时代特征与地域属性等文化基因。此外,文化遗产智能计算还应探索数字建模、模拟仿真、假设验证、知识推理等大数据驱动的人文实验研究范式的创新,以服务于数智环境下的文化遗产与人文计算实验研究。


4.3 开发文化遗产数字化标准与平台


随着社会数字化转型的不断深入,数据资源和数字学术基础设施在人文社科研究的重要性不断提升。文化遗产数据资源建设、管理、共享与发布过程中存在诸多不足,制约着文化遗产智慧数据资源的建设与利用。为此,应在数据库建设、质量控制、数据关联发布、数据治理等方面制定并发布相关标准与规范,搭建文化遗产大数据资源门户和平台,整体提升数据资源的智慧化层次和共享利用水平。同时,探索建立文化遗产智慧数据评估与长效维护机制,建立数据治理与关键数据管控机制,对文化遗产各领域数据资源与数字平台建设进行全生命周期的指导和管理。

新的工具和方法为观察超长历史时段的文化现象提供新的视角,也赋予我们获取新知识、发现新问题的能力[27]。只有借助于智能化的分析工具和实验平台,才能更全面、细致和更及时地观察和分析隐藏在文化遗产大数据背后的规律和模式。一方面,要加强通用数字平台的研发,围绕文化遗产智能计算的一般流程和环节,开发建设数据采集工具、数据存储工具、数据分析工具、数据可视化工具、数据发布工具、可视化与虚拟重构工具等基础性、通用性实验平台。另一方面,加强专业化工具与平台的研发,突出不同领域的研究特色与需求。比如,大规模文本分析与挖掘工具、图像深度语义标注与理解分析工具、历史GIS系统、3D建模与虚拟现实构建工具等。数智时代,面对文化遗产大数据分析与数字人文研究的需求,迫切需要探索并研发新一代数字平台和实验平台,以支撑人文社科研究范式的创新与转型。


4.4 可视化虚拟再现历史时空


基于历史大数据的4D镜像世界的构建是欧洲时光机项目的突出特色借助时间轴,以及3D建模、虚拟显示、数字仿真、人机交互等技术,实现文化遗产或历史场景的虚拟复原与再现,是文化遗产智能计算的高级形式。文化遗产与历史场景的虚拟复原与再现不仅提供了一种文化遗产视觉化展示形式,还提供了一种新颖的数据整合与透视分析形式。利用建筑、城市、遗址等空间数据构建各历史时期的数字化“镜像历史城市”之后,还可以将诸如档案、手账等文献资源中蕴含的人名、物名等信息以及器物、绘画等文物资源的数字版本叠加或嵌入到这些数字化的“镜像历史城市”内部,进而实现物理空间、社会空间、信息空间三元世界联通与融合的4D镜像世界[28]。这一镜像世界将大大拓展文献的基本范畴,为历史、文学、考古等相关学术研究提供全新的研究基础设施,成为一种虚拟的人文计算实验室。

虚拟现实的沉浸、交互的特性结合叙事性的表达方式,为全面呈现历史文化情景提供了全新的手段方法。在挖掘、阐述文化遗产价值的基础上,通过对文化遗产历史场景与文化记忆空间的数字化虚拟重建与再现,丰富内容供给新样态、拓展话语表达新方式,增强文化遗产的体验性与互动性,增强人们对文化遗产的理解、想象和体验[29]。同时,利用智媒技术,为受众提供可视化呈现、互动化传播、沉浸化体验,激活文化遗产的感官体验,扩展文化遗产传播空间,提升文化遗产的传播效能[30]。


4.5 推动多方合作和公众参与


在文化遗产智能计算科学研究与项目实施过程中,离不开政府、高校、图书馆、档案馆、博物馆、美术馆、科技企业等政产学研多方机构的深入合作,同时也离不开普通大众的参与。通过公众科学和众包的方式鼓励公民广泛参与科研活动,可以优化开放科学生态的能力结构。同时,通过强化专业机构之间共建共享的合作网络,可以夯实开放科学的研究基础设施。

文化遗产智能计算领域的公众科学和众包合作已经在我国起步,例如上海图书馆的家谱、古籍、人名规范库等向登录用户开放了众包功能,向专家用户开放了数据更新功能,向其他机构、团体个人和第三方公司开放了共建共享通道。但整体上我国文化遗产数据资源建设中的公众参与意识仍然不足,仍需加强公众的公民科学与信息素养教育,发挥公众在文化遗产保护、传承与传播中的积极作用。


5

总结



文化遗产是民族智慧的结晶,是民族文化的见证。新技术条件下,借助大数据、人工智能、虚拟现实、数字孪生等新兴技术与手段,挖掘文化遗产中蕴含的民族精神与文化内涵,提炼文化基因,促进文化遗产从现实世界向数字空间延伸扩展,丰富人类的数字文明内涵,既是保护、传承和传播中华优秀传统文化,践行数字中国和文化强国重大战略的需要,也是信息技术赋能人文社会科学,推进新文科建设,创新数字人文研究的必经之路。

本文在围绕数智环境下文化遗产活化这一中心任务,提出了文化遗产智能计算这一概念,并认为文化遗产智能计算是大数据和人工智能时代实现文化遗产“活起来”以及创造性转化 与创新性发展的关键路径。在对文化遗产智能计算相关概念、目标及发展逻辑与进路初步分析的基础上,采用案例分析法,对文化遗产智能计算的代表性项目——欧洲时光机的发展历程、建设框架与内容、项目成果等多个方面进行了深入剖析,并从数据资源、关键技术、标准平台等五个方面归纳总结了欧洲时光机项目对我国文化遗产数智化保护与活化利用的启示。 

文化遗产智能计算不仅可以深入挖掘文化遗产的价值,将其转化为可深度利用的数据生产要素,实现文化遗产多样态知识与信息的融合融通,更可以支撑优秀传统文化资源创造性转化与创新性发展,释放文化遗产所蕴含的巨大经济价值,加速文化产业数字化转型升级与文旅发展,推动中华优秀传统文化向数字空间的迁移,丰富人民的数字文化生活,同时也能推动数智时代全球“新文科”的发展,为世界提供文化遗产保护、活化与创新的“中国方案”,有助于讲好中国故事,提升中国文化软实力。



注释与参考文献


[1]王晓光.“新技术”和“新文科”不能简单相加[N].光明日报, 2020-12-29(14).(Wang Xiaoguang. “New techno logy” and “new liberal arts” cannot simply be added together[N]. Guangming Daily,2020-12-29(14).)

[2]李阳,孙建军.人文社科大数据研究的价值追寻[J].图书与情报,2019(01):1-7.(Li Yang, Sun Jianjun. Value pursuit of humanities and social sciences big data research[J]. Library & Information,2019(01):1-7.)

[3]Abbott A. The ‘time machine’ reconstructing ancient Venice’s social networks[J]. Nature, 2017, 546(7658): 341-344.

[4]龙家庆. 数字人文项目中档案数据开发工具及应用研究——以“欧洲时光机”为例[J]. 北京档案, 2021(3): 1 0-15. (Long Jiaqing. Research on archival data development tool and application in digital humanities project: taking “European Time Machine” as an example[J]. Beijing Archives, 2021(3): 10-15.)

[5]Kaplan F. L’Europe doit construire la première Time Machine[EB/OL].[2021-04-01]. https://www.letemps.ch/opinions/leurope-construire-premiere-time-machine.

[6]EPFL. Unleashing big data of the past – Europe builds a time machine[EB/OL]. [2021-04-18].https://actu.epfl.ch/news/unleashing-big-data-of-the-past-europe-builds-a-ti.

[7]Time Machine. Time Machine Organisation operational plan 2020-2021[EB/OL]. [2020-10-26].https://www.timemachine.eu/wp-content/uploads/2020/09/TMO-Operational-Plan_2020-2021.pdf.

[8]Time Machine. Inventing the future of the past: members[EB/OL]. [2021-10-14].https://www.timemachine.eu/members/?.

[9]Time Machine EU, Time Machine Manifesto: big data of the past for the future of Europe[EB/OL].[2020-04-12].https://www.timemachine.eu/wp-content/uploads/2019/06/Time-Machine-Manifesto.pdf.

[10]曾蕾,王晓光,范炜.图档博领域的智慧数据及其在数字人文研究中的角色[J].中国图书馆学报,2018,44(01):17 -34. (Zeng Marcia Lei, Wang Xiaoguang, Fan Wei. Smart Data from Libraries, Archives and Museums and its role in the digital humanity researches[J]. Journal of Library Science in China. 2018,44(01):17-34.)

[11]刘炜, 叶鹰. 数字人文的技术体系与理论结构探讨[J]. 中国图书馆学报, 2017, 43(5):32-41. (Liu Keven, Ye Fre d Y. Exploring technical system and theoretical structure of digital humanities[J]. Journal of Library Science in C hina. 2017, 43(5):32-41.)

[12]AEZEL. Limburg Time Machine: heritage, searchable, on screen and on map [EB/OL]. [2021-06-03]. https://aezel.eu.

[13]Tobias A. Die Einwohner Kölns zur Zeit des alten reiches [EB/OL]. [2021-06-03]. https://koelnerbuerger.de/projekt.php.

[14]LTM. Restore – Smart access to digital heritage and memory [EB/OL]. [2021-04-03].https://www.timemachine.eu/ltm-projects/restore-smart-access-to-digital-heritage-and-memory.

[15]Kaplan F, di Lenardo I. The advent of the 4d mirror world[J]. Urban Planning, 2020, 5(ARTICLE): 307.

[16]Time Machine FET Flagship. Europe must build the first Time Machine [EB/OL]. [2021-04-03].https://www.timemachine.eu/europe-must-build-the-first-time-machine.

[17]LTM. 3D Capitals: Citizens co-creating the city’s digital cultural heritage[EB/OL].[2021-04-03].https://www.timemachine.eu/ltm-projects/3d-capitals-citizens-co-creating-the-citys-digital-cultural-heritage.

[18]LTM. Historical social network [EB/OL]. [2021-02-01].https://www.timemachine.eu/ltm-projects/historical-social-network. [19]LTM. Catalonia Time Machine [EB/OL]. [2021-02-01].http://cataloniatimemachine.cvc.uab.es.

[20]Lazzari G, Colavizza G, Bortoluzzi F. et al. A digital reconstruction of the 1630–1631 large plague outbreak in Ve nice. Sci Rep 10, 17849 (2020). https://doi.org/10.1038/s41598-020-74775-6.

[21]LTM. A journey through time to jerusalem: content analysis of jerusalem descriptions in jewish travel literature throughout the ages [EB/OL]. [2021-2-1].https://www.timemachine.eu/ltm-projects/a-journey-through-time-to-jerusalem-content-analysis-of-jerusalem-descriptions-in-jewish-travel-literature-throughout-the-ages.

[22]Li Weixuan. Imitation and emulation in Rembrandt’s neighborhood[EB/OL]. [2021-02-01]. https://amsterdamtimemachine.nl/581-2.

[23]LTM. Ajapaik [EB/OL]. [2021-2-1]. https://www.timemachine.eu/ltm-projects/ajapaik.

[24]赵宇翔.科研众包视角下公众科学项目刍议:概念解析、模式探索及学科机遇[J].中国图书馆学报,2017,43(0 5):42-56.(Zhao Yuxiang. A preliminary exploration on citizen science projects based on scientific crowdsourcing perspectives: conceptualization,pattern design and research opportunities[J]. Journal of Library Science in Chin a,2017,43(05):42-56.)

[25]LTM. The Budapest Time Machine online platform[EB/OL].[2021-04-03].https://www.timemachine.eu/ltm-projects/budapest-time-machine-online-platform.

[26]刘炜,谢蓉,张磊,等. 面向人文研究的国家数据基础设施建设[J]. 中国图书馆学报, 2016, 42(05): 29-39. (Liu Wei, Xie Rong, Zhang Lei, et al. Towards a national data infrastructure for digital humanities[J]. Journal of Library Science in China, 2016, 42(05): 29-39.)

[27]刘石,李飞跃.大数据技术与传统文献学的现代转型[J].中国社会科学,2021(02):63-81, 205-206.(Liu Shi, Li Feiyue. Big data technologies and the modern transformation of traditional philology [J].Social Sciences in Chin a,2021(02):63-81, 205-206.) [28]李纲.实施国家大数据战略,建设数字中国[N].光明日报,2018-01-28. (Li Gang. China must accelerate implementation of Big Data Strategy[N]. Guangming Daily,2018-01-28.)

[29]苏小燕. 通过文旅融合“让文化遗产活起来”[N]. 光明日报, 2019-11-14(06).(Su Xiaoyan. “make the cultural heritage alive” through the cultural and tourism integration[N]. Guangming Daily,2019-11-14(06).)

[30]黄永林,余欢.智能媒体技术在非物质文化遗产传播中的运用[J].华中师范大学学报(人文社会科学版),2019,5 8(06):122-129.(Huang Yonglin, Yu Huan. Application of intelligent media technology in the communication of Chinese intangible cultural heritages[J]. Journal of Central China Normal University (Humanities and Social Sciences) ,2019,58(06):122-129.)




转载声明&作者信息


本文转载《中国图书馆学报》2022年第1期文章《文化遗产智能计算的肇始与趋势 ——欧洲时光机案例分析》,已获授权。

作者王晓光,武汉大学信息管理学院教授、博士生导师 ;梁梦丽,武汉大学信息管理学院博士生;侯西龙,武汉大学信息管理学院博士后;宋宁远,南京大学信息管理学院博士后。



编辑 丨 詹雨婷



本篇文章来源于微信公众号:数字人文资讯

About the Author: DH