英国文化指标项目

新启文化绩效和体验品质评估

CULTURE METRICS

近年来，文化评估工作取得了一定进步，但制定评估指标的标准化方法还未取得实质性进展。越来越多的文化组织参与到寻找收集和分析数据之中，但由于行业相关专业知识的欠缺，以及对数据价值、关联性和实用性方面的了解有限，在收集和利用数据方面仍然存在着较为突出的困难。

针对这个问题，2014年由英国 20 座博物馆、美术馆，以及其他艺术和文化组织组成的联盟，联合澳大利亚“文化计量”公司（Culture  Counts）共同设计推出“文化指标”（Culture Metrics http://www. culturemetricsresearch.com/）。

一、文化指标项目概况

三个观点

文化指标的建立主要基于三个观点：

1、数据三角”（data  triangulation） 

数据三角是指三种不同类型的受众（自我评估、艺术同行和公众）从不同的语境和视角进行持续反馈，从而形成的三角形结构的数据来源。

2、跨界比较

利用跨组织的标准化指标可以进行比较，包括比较不同的事件，以及不同时段的事物；

3、文化组织在塑造文化的参与积极性方面，被认为是建设值得信赖和有代表性的评价体系的关键因素。

▲同行、公众和自我评分示例

两类指标

文化项目指标的评价维度从两方面展开：一类指标专注于“品质”——产品、体验、深度以及参与和创造性过程的质量；另一个则着眼于文化艺术团体的健康程度，包括财务指标、质量、文化领导力、社交关系，以及合作伙伴的品质。

项目合作组织联合进行指标体系细化（见下表），将指标与受众规模、档案、财务数据加以整合，更为全面地评估文化艺术组织是如何平衡创新、商业和受众目标。通过数据的生成、收集和分享，寻找可拓展且能有效控制成本的方式。

技术拓展

除了探讨理论，项目还开发了数字平台。通过它可以几近无缝地使用日常指标和数据。数字平台提供问卷调查的简单格式，可以下载到移动设备，并向仪表板提供报告。仪表板汇总不同调查反馈者的数据，数据包括响应速度、平均维度、人数特征，以及同行、公众和自我评分。调查数据的汇总页面，包含当前各维度的得分和响应计数的图表。重要的是，平台收集实时数据和结果，旨在作为在线服务的接口运作，使该接口能够提供一个自动的数据报告机制。虽然尚在测试阶段，技术合作伙伴一直在帮助文化合作伙伴设计调查方式，整理报告数据。具体而言，就是遵循“全服务”的模式。项目的长远目标，是让文化组织通过“自助”模式进行平台运作。

二、文化组织和（大）数据

指标的制定需要大量的数据支持。当下，文化组织对数据的收集和使用有很大的差异。一般来说，它们的处理方式有三种：

虽然文化组织大多有收集分析数据的习惯，但在具体操作上仍然存在一些问题。譬如：没有足够的数据来形成大数据；收集和分析数字文化数据在某种程度上受到资金不足的影响；缺乏相关的专业知识进行分析，在认识上也存在一定的偏差。

而如何提高文化组织与（大）数据互动，马特奥斯·加西亚（Mateos-Garcia）提出四种方式：扩大和深化与观众的关系；创造并评估价值；开发新的业务模式；鼓励创新实验。以不同方式创建和分析数据，可以为观众和文化组织本身提供丰富多样的机会，甚至创造更多的收益。这一点，在英国参与文化组织项目的成员中可以找到很好的例证。

三、文化指标项目的经验：从“大数据”到普通“数据”

大数据

近年来随着人们对大数据的了解，许多机构耗费大量的精力去编制大到足以被认为是“大数据”，而不是开发稳健的流程和方法，以利用和解读现有的数据和资源。数据的收集是无穷尽的，而数据的意义却并不在这里。数据的意义，在于通过它来促进人们对事件的理解并对行为进行改变。数据是有价值的，但人们对于如何衡量数据价值了解甚少。

新数据的产生

在文化指标项目中，对于合作组织而言最令人兴奋的并不是足够庞大的数据，而是把数据和数据资源进行整合、比较和对比。这就是在文章开头提到的“数据三角“——来自不同的数据集（自我、同行、观众）。通过”数据三角“，我们可以了解到文化绩效数据和受众体验数据之间的语境和内容的关系。换句话说，文化指标系统的价值在于其不仅是比较来自自我、同行和公众的评估数据，也允许文化组织去审视每个数据源语境是如何与文化活动/ 事件背后的动机和评价结果进行对比的。

这就意味人们需要对构成数据的内容和分析这些数据的方法持开放的态度，这不但可以回答关于文化活动的质量和人们体验品质的问题，而且能提供一个不同的方式来定义和明确这一品质。

数据并没告诉我们不知道的什么事情，但对我们而言，这样的价值总是在帮助文化组织和管理层做出更好的决策。在艺术语境中，你总是因为某种原因尝试做一些事情，这可能不是因为票房，可能是因为艺术上的突破，或为了某个艺术品牌，或是可能带来新鲜的东西。这些目标不尽相同，所以从某种意义上来说，文化指标项目运作的方式，在于你是否寻求做什么以及如何去做。

四、文化组织走向数据文化？

上述分析提出了一个问题：我们正在见证文化组织中用于表现评估、自我评估和数据驱动决策的数据文化的出现吗？我们正面临着文化领域的转变，数据的收集和分析正在向着标准化甚至职业化的方向发展。

文化指标项目的经验表明，文化组织“渴望”新的类型和数据来源，这可以让他们以更全面的方式反思自己的做法，并了解可能产生的影响。其中一位合作伙伴提到：“我们要看看那些‘数据三角’，这是我们第一次可以比较那些由实际承担展览项目的团队所提供的不同数据和更为详细的自我分析，通过这些数据来了解它能告诉我们什么，还有它是否能为我们提供更强大的或是不同形式的数据。”由此看来，与数据的系统化和智能化相比，开发一个完全成熟的数据驱动决策的方法更为重要。

但是目前看来，“让文化组织做出从以知情和经验为主的猜测决策，转向数字驱动的决策”在当下还未真正形成变革。针对文化绩效和质量评估的讨论，较少关乎审计和报告，更多则是涉及文化和创意实践。关于数据的讨论，在多大程度上成为对文化实践的讨论，这表明是否有可能在文化组织中形成一种数据文化。

五、总结

文化指标项目旨在通过标准化的指标体系，建立关于文化体验品质的高容量和高速度的数据，这些数据将对作为整体的公众、同行、赞助者和文化部门，以及政策制定者和学术界提供可信的和有用的信息。这个过程的目的是提出一个问题，即这种方法能否使文化表现和体验的评估，以更加系统和更加一致的方式对相关数据的产生、聚集、分析、比较进行实际化的操作。最终，指标和平台的目标是为了获得观众和利益相关者的反馈，以创造更多的机会，通过评论家所支持的“自上而下” 的定量绩效评估方式，让艺术部门向自我、公众和其他利益相关方更明确地阐明艺术的公共价值。由艺术和人文研究理事会为主导的文化价值工程的报告认为，“思考文化价值需要更重视人们同艺术文化的互动方式，重视植根于生产或消费的数据的意义，或是随着数字技术的日益进步，成为人们生活的一部分，并且两者兼顾”，此外，“面临的挑战是将学习转化为装置，在此可能使大数据在涉及评估和价值的更广泛的过程中得到更多信息，这可能需要让习惯了模拟世界的机构发生显著的变化 ”。

文化指标项目的收获虽然十分丰富，但同样发现一些问题亟待解决。例如，围绕数据的所有权和共享方式；是否同意以及在何种程度上同意这是“开放数据”；同时也有必要考虑收集的数据的元数据（例如关于技术失败之处的数据、人们跳过哪些问题、何时参加调查数据以及其中的分歧）；这些数据与其他相关数据（例如票房、人口统计、受众细分和社交媒体数据）的整合；当然还包括有关的数据分析技术和专业知识的分歧应该如何处理。如果数据文化能够物化、产生实际价值并加以利用的话，所有这些问题，甚至还有更多的问题需要处理。

参考文献

本论文的参考文献可以通过以下网址查询。

（http://mw2016.museumsandtheweb.com/paper/data-culture-and-organisational-practice/）