NetApp存储系统赋予《阿凡达》生命

《阿凡达》打破票房销售纪录，全球票房收入超过27 亿美元，而此数字仍在攀升。Weta Digital 是负责该部影片视觉特效的公司，在为《阿凡达》制作炫目三维效果时也必须打破自己的一些纪录。在《指环王》三部曲和最近其它影片的制作中，Weta Digital 在密集图形渲染方面已表现得相当纯熟，但《阿凡达》的制作仍是一项巨大的技术工程。

Weta Digital 挑战了自己的计算和存储基础结构的极限，其程度远超过以往任何时候。2006 年开始着手《阿凡达》方面的工作时，Weta Digital 刚刚完成《金刚》的制作。那时，Weta Digital 的“渲染墙”中大约包含 4,400 个 CPU 核心，存储大约有 100 TB。到《阿凡达》制作结束时，公司的渲染墙中大约有 35,000 个 CPU 核心，存储也达到 3000 TB。仅渲染墙中的 RAM 容量现在就已超过《金刚》制作完成时 Weta Digital 拥有的总磁盘存储容量。

我于2003 年开始作为系统管理员在 Weta Digital 工作，当时最后一部《指环王》影片将要制作完成。自那时起，我便主要担任 Weta Digital 基础结构小组的组长。我们的小组负责所有服务器、网络和存储方面的相关工作。我们的工作是构建使《阿凡达》得以成功制作的基础结构，以及解决随之而来的任何技术问题。

应对规模问题

尽管在制作《阿凡达》期间 Weta Digital 经历了巨大增长，但管理规模上的变化没有像我们所担心的那样具有挑战性。其中大部分原因是由于我们有一支经验丰富的团队，他们知道如何相互协作。我们的团队齐心协力，当出现问题时，我们会全身心地投入进去，解决问题。我们工作努力，绝大多数情况下，我们都设法做到积极主动，而不是消极被动。

我们很快就认识到，为了实现《阿凡达》所要求的目标，我们必须采取两大措施。

•建立新的数据中心。Weta Digital 一直使用分散在几座大楼中的几个小型机房。新数据中心提供一个中心位置来整合我们在从事《阿凡达》项目期间需要增加的新基础结构。
 
•实施高速光纤。Weta Digital 没有集中式园区。我们的园区由分散在惠灵顿郊区的几座独立的大楼组成。我们实施高速光纤环网将这几座大楼与新数据中心连接起来。每座大楼都具有最低 10Gbps 的冗余连接，同时配备 40Gbps 的以太通道干线，以备任何时候存储和渲染墙需要相互通信时使用。

这两个要素为我们提供了随数据增长对基础结构进行扩展的物理容量和在两个位置之间自由移动数据的带宽。更新的渲染墙的新服务器基础结构使用 HP 刀片服务器创建。由于每个刀片服务器包含 8 个核心和 24 GB 的 RAM，我们可为每个机架配置 1,024 个核心和 3 TB 的 RAM。新数据中心由多排机架构成，其中每排包含 10 个机架，因此，我们以 10 个机架或 10,240 个核心为单位来增扩我们的服务器。我们先放入 10,000 个核心，稍后，再增加另外 10,000 个核心，再等待稍长一点时间，再增加另外 10,000 个核心，之后放入最后 5,000 个核心完成该过程。

我们拥有多供应商存储基础结构，但存储核心由提供大约 1000 TB 容量的 NetApp存储系统组成。到《阿凡达》制作结束时，我们已经用 FAS6080 群集替换了所有旧的 FAS980 和 FAS3050 系统。在该项目的后八个月，我们还增加了四个 SA600 存储加速设备，以解决一个特别棘手的性能问题。

通过自适式高速缓存缩短纹理文件访问时间

在视觉特效行业，纹理是应用于三维模型以使其看起来更真实的图像。纹理将模型包裹起来，赋予其细节、颜色和阴影，使其看起来不只是一个光滑的灰色模型。“纹理集”是必须应用于特定模型以使其看起来像树、人或动物的所有不同图片。包含对象的大多数渲染操作也可将纹理应用于对象，因此，渲染墙对纹理的需求很高，纹理会被再三地使用。

随时可能有几千个核心需要一组指定纹理集， 而另外几千个核心可能需要一个重叠组内的贴图，诸如此类。我们为提高纹理提供速度所做的任何工作都会从总体上对渲染墙的性能产生巨大影响。 任何单一文件服务器都无法交付提供纹理集所必需的带宽，因此我们开发了一个发布流程，该流程专用于在创建新纹理集后为每个新纹理集创建副本。图 1 对此进行了说明。

 
图 1) 增加纹理集带宽的旧方法。

当在渲染墙上运行的作业需要访问纹理集时，它会随机选择一个文件服务器并从该副本访问纹理。此流程使我们可以将纹理负载分摊给多个文件服务器，从而极大地改善了性能。尽管该解决方案要优于依靠单一文件服务器，但发布和复制流程很复杂，并需要进行非常耗时的一致性检查来确保副本保持相同。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友