课堂案例分享 | 《数字捉鬼——编码教育、增强现实和沉浸式剧院的开创性融合》评介


      由中国人民大学信息资源管理学院冯惠玲教授、加小双副教授主讲的《数字人文导论》是中国人民大学本科生“数字人文荣誉辅修学位”系列课程之一,选课学生涵盖本、硕、博。课程内容包括数字人文导论(理论讲解、案例分享)和数字人文项目设计(实践操作)。


      本系列推文共12期,是该课程学生课堂展示的成果报道。第八期由信息资源管理学院2021级硕士生吴佳佳和新闻学院2019级本科生周泓杰共同完成,以King’s Digital Lab的Elliott Hall、基特剧院Tom Bowtell、数字艺术家Mary Krell、萨塞克斯大学的Carina Westling等共同合作完成的“The Digital Ghost Hunt: a ground-breaking fusion of augmented reality, coding education, and immersive theatre”(数字捉鬼:编码教育、增强现实和沉浸式剧院的开创性融合)项目为研究对象,对该项目的背景、内容、成果、特色等进行系统梳理,最后对该项目进行评析,总结对今后数字人文项目的启示。




The

Digital

Ghost

Hunt

数字

捉鬼


——

编码教育、

增强现实、

沉浸式剧院

开创性融合

游戏具备可以转变为数字人文教育的潜力。这种潜力基于许多不同的因素,但是其中有两个因素尤为突出。第一是其异常强大的处理能力和连接性。第二个是当前玩游戏长大的一代学生对游戏本身的文化适应性。

   ——《数字人文:改变知识创新与分享的游戏规则》


项目团队


ELLIOTT HALL

Concept, Co-Creator, 

and Co-Investigator


King’s Digital Lab的高级软件工程师。他是一位开发人员和小说家,在软件开发和数字研究方面拥有超过十五年的经验。


TOM BOWTELL

Co-creator and Director


BAFTA获奖创意教育公司KIT Theatre的总监,沉浸式剧院公司Coney的前联合总监。曾创建学习冒险系统,结合了沉浸式戏剧、数字互动和游戏机制。


MARY KRELL

Primary Investigator


数字艺术家和数字作家,曾任西雅图康沃尔艺术学院设计系主任。她的作品跨越了表演,互动性和叙事。



CARINA WESTLING

Co-Investigator


萨塞克斯大学名誉研究员,把交互设计和沉浸式美学方面的专业知识,以及在沟通设计、扩展方法、项目和生产管理方面的丰富经验带到项目中。


左右滑动查看项目团队


合作机构


“数字捉鬼”是在英国教育部关于编程教育的倡导下进行的自上而下的一个项目,在技术方面,得到了伦敦国王学院及其国王数字实验室、萨塞克斯大学等的支持;在研究/遗产方面,主要得到了BAC 巴特西艺术中心等剧院以及花园博物馆的支持;在创意产业方面,得到了playlines、brickwall、kit theatre等公司的支持。

图1 “数字捉鬼”项目合作机构分布图


资助方

AHRC

Arts&Humanities Research Council 

从艺术与人文研究理事会的“下一代沉浸式体验计划”获得的价值200万英镑的资助,使得该项目运行有充足的资金支持。




项目介绍


项目背景

|  年轻人的兴趣

年轻人对于数码产品越来越熟悉,然而学习其运行技术的兴趣弱(体现在英国本土计算机科学新普通中等教育证书的低拥有率)


|  编程教育问题

英国教育部提倡在学校进行编码教学,但学生通常将编码教育视为课堂作业,这与他们在商业数字应用中的直觉和创造性体验脱节。


|  现有工具的不足

目前有比较多的应用程序使用AR作为教学工具,但是这些应用多受制于屏幕,竭力将用户的注意力从物理环境转换到数字环境。



项目创作灵感

|  文化遗产的历史与记忆

数字捉鬼围绕建筑物的历史和记忆创造了全新的故事。


|  “密室逃脱”的启发

探索设计和技术之间的互动,对密室逃脱游戏的流行做一个回应。


|  “Theatre Machines”剧场机器框架

解决如何在与参与式观众的物理和数字场景交互中产生沉浸式体验,并为下一代沉浸式设计和交互式多媒体环境的场景设计提供了蓝图。


图2 “剧场机器”框架参考书



项目起源

霍尔的个人项目


最初是由高级开发者Elliott Hall利用实验室的个人研究计划创建的。

“第一次想出数字捉鬼,我原以为也会有一个VR组件……决定根本不想使用屏幕。我希望《数字捉鬼》能够成为一种不同于学生们多年来在智能手机上体验的体验——他们和大楼直接互动,而没有屏幕来调解互动。”

——Elliott Hall

受到TOM BOWTELL的戏剧背景知识以及Grace Boyle关于完全身临其境的多感官体验的书籍的启发。在完成了一些初步的技术工作后,Hall开始与团队合作共同完成这样一个编码教育、增强现实和沉浸式剧院相融合的项目。


项目实施

三次表演+一个最新成果


第一次表演


基本

情况

参与人员:

40位8-10岁的伦敦南部沙夫茨伯里公园小学学生


时间:

2018年11月14日至15日


地点:

巴特西艺术中心

表演

现场

课堂诱导:一个普通的五年级集会被来自“超自然卫生部”的副部长奎尔(KIT剧院主持人)的到来打断了,她请求学生们的帮助,招募学校的五年级班进入该部的“幽灵清除科”。她告诉他们,这是由于他们拥有看到及和鬼魂互动的独特能力。

编程教育:介绍简单的编程和电子技术,课堂体验包括对MORPH代理的培训活动,使用传统的、适合年龄的团队建设活动和简单的电子和编码来构建基于树莓派和Micro:Bits的“数字捉鬼”设备。

技术设备:制造了三种类型的设备并配备了传感器,用于在现场活动期间解决 “追踪外质”、感知“鬼”活动的距离以及解码来自“鬼”的通信。与之交互的信号安装在场馆内——简单且价格合理的智能家居技术、蓝牙信标(bluetooth beacons)和光疗胶(UV gel)。

沉浸式体验:经过近三周的课堂活动后,最终把他们带出了学习环境,带到了现场体验的表演场地。现场活动在伦敦南部的传统场所巴特西艺术中心(BAC)举行。该场地经过精心布置,并转化为沉浸式场景。


左右滑动解锁表演现场


第二次表演


基本

情况

参与人员:

混合年龄的家庭(年龄5-60岁)


时间:

2019年8月9日至11日


表演地点:

York Theatre Royal 


合作剧院:

Pilot Theatre 

表演

现场

项目团队认为课堂诱导阶段是耗时的,所以调整了招募流程,用电子邮件和广告的远程通信取代了课堂教育与诱导,只是在演出现场对MORPH(超自然卫生部)进行了简短的介绍。

该作品融合了特定于场地的剧场知识并融入了场景设计,采用与BAC类似的技术对其进行了改编和装备,场景设计使得成年人可以参与进去。由于缺少第一次表演那样的课堂诱导,父母不可避免地承担了对孩子指导和支持的任务。对工作人员来说增加了工作负担,不仅需要关注孩子,还需要关注父母。这也使得与第一次表演相比,工作人员更多地关注亲子关系而不是这一过程中出现的自发现象。


图5 第二次表演现场图


第三次表演


基本

情况

参与人员:

混合年龄的家庭(年龄8-65岁)


时间:

2019年11月1至3日


表演地点:

Garden Museum in London

表演

现场

特地针对8-13岁的观众进行适应性改编,由成年人陪同,使用了在第一次和第二次基础上迭代设计和开发的代码库和设备。剧本进行了改编,采用新的设置,并纳入了博物馆中的文物。技术上,MORPH训练是作为现场表演的一部分被进一步缩短。

场景设计成哥特式风格,大约一半的参与者是成年人,这反而增强了一种怪异的悬念感,当“鬼”出现在地面上方的塔楼上时,成人的声音和孩子们就证明了这一点。


图6 第三次表演现场图

借鉴建筑历史的展览中嵌入了线索和谜题,所有这些都包含了与博物馆有关系的历史人物。围绕布莱船长和海丝特·特拉德斯坎特两个真实人物展开了这个故事(他们的陵墓在博物馆内部庭院花园里)。装置邀请参与者探索这座建筑及其历史,以解开这一谜团。结局发生在主人公陵墓所在的内院,在地图的帮助下,一袋种子被发现了,里面有向日葵种子要分发给家庭种植,以“释放鬼魂”。


图7 花园博物馆场景图


最新成果


表演

地点

Leigh Spinners Mill

表演

现场

在这部作品中,使用了一百多年前的一次事故作为故事材料,当时纺纱厂的大蒸汽机发生了爆炸。团队取得了戏剧改编的许可证,讲述了工厂的故事,以及通过爆炸中一名工人的鬼魂展示在那里工作的人们的故事(事实上,没有人死亡)。

设计这个节目的过程中,项目组与当地大使保持联系,向他们询问有关这座建筑和这一地区的问题,甚至设法招募了两位大使和一名工厂董事会成员加入演员阵容,还在当地铸造了初级代理零件,以反映早期从业者及所在地区的特征,这都确保了项目组的工作扎根于现实。


图8&9 纺纱厂场景图

故事开始于登(Den)剧院,招募家庭观众来参加一个“培训”项目,但很快就变成了一场真正的寻鬼活动。调查的第一个地点是在附近精心建造的工业垃圾迷宫,发现引导着观众们进入磨坊,询问正在泡茶的志愿者(Leigh大使之一)关于一位名叫Stanley的工程师在事故中死亡的情况,直到发现了一个秘密的信件储藏库。“幽灵猎人们”一起改写了机舱事故展览,最终释放了鬼魂,打破了记录。




图10 最新表演团队合照



技术实现


总体

框架


建筑物或文物的数字化:将建筑物数字化嵌入编程中

游戏的故事背景:通过有趣、引人入胜的故事情节激发学生的学习兴趣

可交互式的编程体验:通过简单的编程,可以发现线索、解开谜底。

智能家居技术、蓝牙等:安装在建筑物中,向探测设备发送信号,增加沉浸式体验

主要

设备

Micro:bit 微型电脑连接到德卡波DWM1001-DEV超宽带无线电。


SEEK 幽灵探测器 充当学生可以编程的可访问控制器。通过使用超宽带无线电进行室内定位,探测器的功能包括:检测幽灵能量,在幽灵闪烁灯光时翻译莫尔斯电码以及翻译幽灵在紫外线外质中留下的符号。

图11 “数字捉鬼”项目设备图



未来构想


项目

构想

在未来一年,该项目计划与沉浸式剧场的早期从业者合作开展更多工作。

项目评估构想

项目评估

将使用学生和教育者关于如何使用软件库的反馈,以及体验期间的视频、音频和设备记录、访谈、问卷调查和他们创造的创造性材料。


教学价值评估

项目团队渴望与教育合作伙伴合作,在后续阶段探索这一指标。




项目成果


奖励获得

该项目以第一名的成绩获得了2019年数字人文奖“Best Use of DH For Fun”(数字人文最佳娱乐奖)



图12 数字人文奖


项目官网

https://digitalghosthunt.com/

内容主要包含项目介绍、近期成果、项目故事背景、往期成果、工具介绍、团队介绍(演职团队与项目团队)、合作方与资助方等信息


视频呈现

项目的介绍视频主要公布在Vimeo平台,包括了基础的项目介绍与项目运行期间的一些精彩片段。


图13 项目介绍视频截图


社交媒体平台互动

以推特平台为例,项目主要通过Tom Bowtell、Elliott Hall为代表的项目团队私人账号、Pilot Theatre、KIT Theatre等合作剧院账号、King’s Digital Lab、King’s Cultural Community等学校官方账号,以更为有趣的方式进行项目宣传。

图14 推特账号群


论文发表

目前该项目一共产出两篇论文,包括2018年数字人文会议论文《数字捉鬼:通过沉浸式剧场的编码教学新路径》和2021年在国际创意媒体研究杂志上发表的《反转技术的“黑匣子”:数字捉鬼》

左右滑动解锁论文



项目评价


“趣味性”

为什么有趣味?点这里!




“参与度高”

为什么参与度高?点这里!


“捉鬼者”和他们的父母爬上了一座有900年历史的螺旋楼梯,爬上了时钟塔的顶端,那里没有有线电源,团队不得不用电池驱动戏剧效果。其中一件被发现的文物是一张地图,引导参与者找到拼图最后一块的位置。


“个性化程度高”

为什么个性化程度高?点这里!


巴特西艺术中心的第一部作品以前巴特西市政厅的历史为蓝本,而皇家约克剧院的演出则以讲述的关于剧院的鬼故事。在花园博物馆,结局发生在主人公陵墓所在的内院。纺纱厂聚焦于该工厂一百多年前的一次事故。




项目启示


未来数字人文的呈现形式

+ 教育 + 计算机+ 物理 + 人文 + 艺术 + ?+ ……


该项目的目的是通过游戏扩展数字技术的想象力,编码元素(coding elements)是达到这一目的的手段。《数字捉鬼》试图改变人们对计算机科学背景的看法,从一种只适用于少数群体的技能转变为一种所有人都可以使用的创造力和游戏工具。


数字人文+技术哲学

对“黑箱”范式的挑战


该项目的宏伟目标:让技术空间的内部运作透明化,并通过人类的想象力和能动性将其表达出来——这些已出版的艺术品在可能的范围内进行了整合,将设计好的叙事弧作为一个框架,与运行现场体验中使用的设备的软件脚本相结合,以适应其他场馆和/或现场。


可借鉴性

可复制系统的设计为年轻观众提供身临其境的增强现实体验


脚本和开源代码库的制作和发布,供其他制作人使用并适应其他遗产场所和观众群体


项目不足


资源共享

数字资源少,没有在网站上演示或者链接相关演出资源;没有官方账号(推特、Youtube等)

公众参与

项目参与成员的招募局限于当地(BAC艺术中心的第一次表演找的是附近小学学生);项目的参与成员招募也鲜有在网上公布(多为实地招募、电话/邮件);实际参与人数较少


期待这个项目不断成长!



编辑 | 周泓杰 吴佳佳

排版 | 周泓杰 吴佳佳





公众号账号:rucdh2019

网址:http://dh.ruc.edu.cn

邮箱:rucdh@ruc.edu.cn



中心简介


中国人民大学数字人文研究中心集人民大学多学科优势,秉持融合文理、协同创新之理念,开展数字人文理论研究、实践探索、人才培养和学术交流。

本篇文章来源于微信公众号:数字人文研究

About the Author: DH