What Is Transparent Caching?

这是我们的系列文章的另一部分 "What Is...?" articles, designed to offer definitions, history, 以及围绕在线视频行业的重要术语和问题的背景. 

随着网络视频内容的爆炸式增长，包括病毒式传播的用户生成内容, 在相当短的时间内产生了大量的观看量——传统的视频商业模式已经显示出摇摇欲坠的迹象. Based on projected numbers, 到2013年，其中一些视频内容将占所有互联网流量的90%以上, 服务提供商已经开始认真考虑一些解决方案，这些解决方案允许在不占用宝贵的回程数据管道的情况下观看视频内容.

一个备受关注的解决方案是透明缓存的概念. 这个想法有两个主要原因，我们预计它将在未来几年内得到广泛应用.

Transparent Caching: An Overview

缓存这个术语指的是将对象存储在一个组中, 最理想的是接近那个物体的需要, 就像亚马逊仓库在全国各地的几个仓库中分别存放数百台Kindle Fire平板电脑一样，预计平板电脑在每个仓库发货后的几个小时内就会销售出去.

In the computing world, caching is similar, 但有一个变化:文件的副本存储在本地, 或者至少更接近终端用户设备, so that it is available for re-use. 重用部分是理解透明缓存的关键. 在边缘缓存所有视频内容当然是可行的, very close to each user, 这是至少一家大型公司的商业模式 content delivery network (CDN). It works for premium content, such as television shows or movies, 但是，边缘缓存网络上所有视频内容的想法——所有内容以相同的百分比被观看的可能性很小——既不实际，也不经济可行.

Still, 需要在缓存边缘的少量内容和缓存所有内容之间取得平衡. 这就是透明部分的用武之地. 其想法是设置业务规则，使内容从网络核心移动到网络边缘的过程自动化, 无需人为干预任何特定的视频文件. 这样做允许边缘缓存自我刷新, 基于观看偏好的变化，在更细粒度的层面上，甚至比一大群人工操作人员所能完成的还要多. To both the end user, whose video starts faster, and the network operator, 谁没有热门视频在网络上不断传播呢, 透明缓存的想法带来了希望.

那么透明缓存优点的两个关键原因是什么? First, it's been around for quite some time; second, streaming 正在朝着增强透明缓存好处的模型发展吗.

The History of Transparent Caching

在早期，缓存是网站托管和服务的唯一领域. 内容可以缓存在本地计算机上, in the form of cookies or images, 大多数用户都理解“清除缓存”的概念，以确保他们的浏览器可以使用最新的内容. ISP网络上的缓存设备也保存了更受欢迎的网站, such as news sites, 但这些缓存也必须经常清理，以保持头条新闻的新鲜.

缓存不能很好地处理的一个领域是动态内容. Think of a webpage like Kayak.com, 它从众多航空公司的定价数据库中收集数据:每时每刻, seat availability and pricing changes, 因此，缓存大部分内容并不实际.

这对流媒体视频世界来说是幸运的, 哪里95%以上的视频都是点播和静态的, 缓存的工作方式与网站缓存的工作方式相同. Yet the files are significantly bigger, 这意味着缓存最常发生在网络上而不是本地设备上.

透明缓存也进入了主流计算领域, beyond just websites, 甚至集成到最新的操作系统中. 让我们使用一个非视频计算示例来说明这一点:一个标准的办公服务器, 远程用户通过瘦连接登录.

每一个经常出差的人都知道从办公服务器将一份大的PowerPoint文档检索到远程笔记本电脑的痛苦, 进行更改，然后再次上传演示文稿. 如果你想做的只是查看内容，如果笔记本电脑离开了VPN或网络，情况也不会更好, even for a short period of time, the process has to begin all over again. 这个过程浪费了宝贵的时间和百家乐软件，即使是最近查看的文件.

When Microsoft announced Windows 7, 它增加的特性之一是透明缓存的概念. According to Microsoft, with Windows 7, 客户端计算机更积极地缓存远程文件, 减少客户端计算机从服务器计算机检索相同数据的次数。.

微软处理这一过程的方式与YouTube视频暂时缓存到本地桌面的方式大致相同:用户第一次从共享文件夹打开文件, Windows 7机器从服务器计算机读取文件，然后将其存储在本地磁盘的缓存中. 在随后访问内容的尝试中, Windows 7本地机将从本地磁盘检索文件，而不是从服务器计算机读取.

当我们讨论流的透明缓存时, the process is very similar, 尽管缓存发生在靠近服务提供商网络边缘的设备上，而不是在本地硬盘上.

实现透明缓存的一个关键领域是数据完整性. Dynamic content was mentioned earlier, 看看微软如何在Windows 7中平衡透明缓存和数据完整性是很有趣的.

“Windows 7总是与服务器计算机联系，以确保缓存副本是最新的," the company's website notes. "如果服务器计算机不可用，则永远不会访问缓存, 对文件的更新总是直接写入服务器计算机."

速度(和交付协议)很重要

For the Windows 7 example, above, 微软指出，在高速网络上，透明缓存默认情况下是不启用的. 这适用于小于10MB的文件, say, 因为服务器可以在几秒钟内下载这些文件, 但对于几百兆或几千兆大小的视频文件，它实际上并不适用.

以视频为中心的透明缓存需要工作, 无论内容交付给最终用户的速度如何. For adaptive bitrate content, 这意味着不仅可以透明地缓存特定视频文件的初始请求比特率，还可以缓存该文件的所有可用比特率.

In addition, 一个健壮的透明缓存系统还具有改进缓存的能力, 包括缓存使用的磁盘空间数量的配置以及阻止特定类型的视频文件被缓存的能力, 无论是通过格式或文件大小或流行.

Besides speed, the delivery protocol also matters, 这是一个流媒体更倾向于传统网站缓存的领域, especially for on-demand content.

The ratification of MPEG DASH (基于HTTP的动态自适应流)作为Adobe和Microsoft自适应流技术的衍生产品, as well as Apple's HTTP Live Streaming (HLS), 在将流传输从专门的协议转移到web服务协议的鼻祖:HTTP上是否有坚实的步骤, or the Hypertext Transfer Protocol.

考虑到HTTP缓存已有近20年的历史, 通过HTTP服务器而不是专门的视频服务器传输小片段/片段的流媒体内容只会增加透明缓存的好处.

Other Benefits of Transparent Caching

除了上面指出的两个好处之外，透明缓存还有两个额外的好处.

简单地说，一个额外的好处是加速原始缓存. 一些公司声称原始缓存的性能提高了10倍, 具有透明缓存收集音乐, video, 并将web内容放入专用的原始缓存盒中，然后与边缘服务器和基于边缘的透明代理缓存进行协商.

第二个额外的好处是将透明缓存移到中间, 而不是在边缘或网络核心. 这允许将夹层内容卸载到专用媒体服务器，以便随后转换为自适应比特率以进行自适应交付. 当然，有些编码系统有自己的分割, 然后可以存储为标准的HTTP代理缓存, 但其他人只是将其编码为夹层文件, 那么谁会从网络中间透明缓存中受益呢.

Conclusion

透明缓存的主要受益者是终端用户和互联网服务提供商. From a financial standpoint, 即使服务提供商使用CDN来提供内容, 内容仍然必须通过ISP主干的一部分, 为每个视频服务增加额外的运输费用. In a transparent caching scenario, however, ISP的特定用户群感兴趣的大部分内容都是可用的.

随着越来越多的内容变得可用, 我们期望在大型ISP的网络中看到透明的缓存呈现出一种地理定位的味道——就像当地附属电视广播公司迎合当地市场的方式一样——这将允许ISP与视频广告网络合作，通过ISP网络将视频货币化, 扭转从业务成本中心到利润中心的趋势.