前言
前文（下一代内容分发网络的模型，CDN还是ICN？）中，在未来内容分发的模型架构中，随着流量爆发以及流量加密的存在，传统节点模式的CDN模型可能存在的瓶颈，对于ISP，尤其是IAPs在未来内容分发网络如何采取ICN模型，也成为一个探索的话题，为了让商业模式成立，并不至于对目前CDN模型的各个利益方带来损失，使其在商业模式上就成为一个否命题，Vodafone研究院Stefano Iellamo提出在ICN模型中加入Broker（其对于代理商的定义是第三方CDN服务提供商）。
尽管对于代理商的理解并不相同，但对于代理在未来分发网络中所可能引起的作用却已有共鸣，无独有偶的是，针对于未来内容分发体系中的代理影响，来自于卡内基梅隆大学的Matthew K.Mukerjee联合杜克大学，Akamai公司以及Conviva公司共同发表了“未来Broker对于内容分发的冲击和影响”的论文，对于未来分发网络中的整合混合CDN的代理商给出了高度的重视并提出课题研究。
在文中，Matthew表示，互联网的多种趋势正在逐步重塑内容分发网络的形态，视频流量正引起流量爆炸；用户日益提高的高QoE需求；多种不同来源的服务器扩容要求（例如，云计算服务、CP数据中心、第三方CDNs以及ISP的CDNs）。为了满足用户规模以及要求质量的进一步需求，CP们已经开始着手通过代理，将需求转变到一个混合CDN的网络中。Broker正在进一步打破很多传统CDN的定论（例如不可预期的流量偏离以及在短时间内的要求响应）。通过对于某些顶尖的代理商以及顶尖CDN服务提供商的数据分析，我们能够发现CDN代理的确具有潜在的能力，并将有可能会成为竞争格局中有力的威胁。所以首先需要做的，就是重定义代理CDN的接口。
互联网上的内容分发已经形成了更大规模的演进，适应了新的负载能力（例如，流媒体），加入了新的玩家（CDN服务提供商），并且采用新的协议（HTTP的chunk结构视频）以及新的算法（视频速率适配）。每一种新的内容分发技术的介入，对于网络堆栈中所有层的流而言都意义深远。举例来说，CDNs的引入显然改变了原来ISPs的网络样式，改变了用户对于体验的期望值，更直接的一点是，改变了能够传输到用户端的数据量。
在过去，大的CP无非就是和以下的单个大型CDN服务提供商合作：Akamai，Level3，CloudFront，或者自建CDN，例如，Google和Netflix。近期，随着CDN管理服务（CDN代理）的兴起，例如Conviva，以及CDN整合技术的推出，正在推动CP积极参与到混合CDN中。代理商或者整合技术提供了一条路径，让多个CDN服务提供商能够融合在一起，提供更好的性能，提供最低的成本，或者在某些特定领域制定特有的策略。
从第一眼来看，代理商的加入，对于整个CDN市场而言是一种微小的变化。然而，整合这事儿却是一个异常复杂的工作。例如，将多个独立运营IP网络整合在一起，这就将推动超过十年研究时间的路由协议。如同IP整合一样，代理也将推动小规模模型（区域CDN，城市中心CDN等）的新形态，但差异是天翻地覆的，IP网络整合专注于可达性，而CDN整合则会更进一步被特定的性能以及成本目标所限制。代理需要具有能够面对CDN负载不可预测的潜力，利用当前CDN的定价方案，并利用不寻常的方式偏向CDN流量特征。
本文就是希望通过对CDN领域的整合作出研究，让读者了解到，混合CDN的整合及代理商业模式正在发生，但对于市场及学者却很少有在这方面的研究，本文的目的，是让读者认识到在这个领域，无论是代理商还是CDN厂商都在面对什么样的问题。通过对于代理以及CDN服务提供商的现存数据，理解代理与CDN厂商之间狭隘的接口关系，我们将建议改变这种交互的过程，减少负面的一些影响。相信这会作出一些改变：1）、提升代理对于CDN资源的利用，可以提供更好的性能，或者能让CP在服务中获得一定的取舍空间；2）、提高CDN服务提供商的负载稳定度；3）、提高CDN与代理之间的稳定性，当接口改变的时候，可能会立刻解决一些棘手的问题，而解决多个代理以及高度专业的CDN网络，可能会需要更为复杂的解决方案，这就给这部分的解决方案提供了一个基础。
所以总结来看，论文作出了以下贡献：
1、安排了一组负载挑战，通过对代理和CDN提供商的数据进行分析，认知代理为CDN服务提供商做了什么
2、找出一些目前的CDN服务提供商接口会限制代理的行为
3、基于广告交互定义了一个备选接口，能让CDNs更均衡地管理负载能力，并给予代理细粒度级的控制
内容分发网络的过去与现在
互联网的现状由于CDN的到来发生了翻天覆地的变化，论文的这一部分会首先针对传统CDN服务提供商提供流量服务，以及在代理人加入之后对整个CDN行业带来的变化。
传统内容交付模式——为了更好地内容分发，我们将链条中各个参与方拆分，分析是什么原因让他们整合到一起：
1、CPs（ESPN，Netflix，HBO等）：一批制作或者授权内容给消费者的单位，在服务器提供满足用户QoE的内容，这个过程需要大量的基础设施投入，对此，大部分CP采用CDN来取代自身所需要的基建，CP通过订阅，广告并降低自己在分发上的成本来获得收益。CDN价格模型不尽相同，但CP们经常根据95/5的带宽原则，给CDN服务提供商支付费用。
2、CDN服务提供商专注于减少延迟并提高从世界各地的数据中心、节点、高校、商业中心乃至ISP网络向客户端分发的数据吞吐量，CDN部署的模式不尽相同，一些CDNs通过在不同的地理位置部署大量的服务器（Akamai以及Google）;一些则专注于在重要战略位置部署(Level3以及CloudFront);而另一些，则是ISP CDN（Comcast），只为了ISP服务的受众提供CDN服务。CDN服务提供商会监测到集群到服务器的用户请求，CDN服务提供商希望为每个用户提供尽可能合理的性能，并减少他们对于带宽以及能源的消耗量。CDN服务提供商给CP的价格往往映射着其CDN服务器的位置，但并不是精准位，粗略地区，不考虑实际交付的成本。与CDN服务提供商签订的合同也往往需要很长时间的协议过程。
在传统的定义上（见上图），CP与单个CDN服务提供商签订合同，并且获得一个非常宽泛的权限（例如，什么内容能够被CDN服务器分发），内容被放置在不同地理环境的前端CDN服务器中，让用户能够就近获得内容。客户端通过Html页面或者Video Manifest从客户端了解到哪些内容可以被拉取，通过一些机制（例如，DNS），客户端抵达CDN服务器。CDN基于测量基础以及静态任务等选择服务器，让用户能够通过服务器检索到内容。
如今的代理CDN模式
如今，许多大型CP使用混合CDN，由于CDN的价格以及性能是基于时间以及空间上的变量，这就要求，CDN必须通过一种动态的选择满足用户的QoE保障。代理（例如Conviva）预估用户对于QoE的需求，建立预测模型，通过多种因素（用户的位置，ISP等）选择最佳性能的CDN。代理扮演了一个重要的角色，因为它能够代表CP的CDN选择以及QoE评估，实时地切换不同CDN，对于代理商而言，就是要为客户端在全球范围内寻找到最能满足用户QoE以及消费成本最低的选择。
如上图所示，基本解释了CP选择混合CDN进行分发，以及代理商在其中的协调作用。代理在中间作为间接层选择CDN，取代了原来询问CDN的DNS服务器，客户端首先会询问Broker合适的CDN。
潜在的问题与机遇
尽管从上述流程图来看，Broker仅仅是在CP以及CDN之间简单的加了一层，但代理商模式的确很大程度复杂了整个内容分发系统。尽管代理商以及CDN服务提供商都希望能够在合作中实现自己价值的最大化，但他们彼此之间的每一个决定又都会影响到合作的对方，这就可能隐性地导致双方的不共识。代理商对于其用户的QoE有一个全域的认知，但只能驱动其选择一个不同的CDN。CDN尽管在广域范围内有可供选择的服务器，但只能基于用户所能观测到的范围被选择。数据富裕（代理商）和选择富裕（CDNs）是目前合作产生的契机，同时也是潜在问题的根本。
所以在本节中，会探索这些潜在的问题，是使用一家领先的CDN服务提供商还是选择一家领先的代理商。论文作者通过调查代理商去理解在什么时候他们会切到不同的CDN，并且通过CDN服务商的调查去了解其服务器集群。最终得出结论，对于市场而言，这可能并不是一种潜在的矛盾，而是一种能够帮助CDNs实现定价策略以及完善配置，能够让代理商提高用户体验质量以及降低CPs的机遇。
1）、数据采集
代理商部分：论文中，作者通过对视频分发数据进行跟踪并采集数据，数据包括每个用户的入口信息，其中包括，请求到达时间、平均比特率、持续时间、用户城市、AS、首连接CDN、CDN分发视频状况。针对于某一个CP（音乐视频流），数据粗略包含了一个小时的非高峰请求（总计33.4K）。
数据表现出与其他工作组完成的项目类似的趋势：视频的热度基本遵循幂定律，和请求城市的分布一样，大部分的用户会立即放弃（大约78%）。比特率的分布是一个双峰的结构，在最低和最高的时候达到峰值。通过三个CDN样本，姑且命名为CDN-A，CDN-B，CDN-C，其余统计的列为其他，CDN-A在许多地方有服务器群落，而B和C的部署能力集中在少量且核心的位置。
CDN部分：通过对一个核心CDN在北美的集群性能比较，论文搜集了一部分互联网地图数据，数据提供了在IP地址的拦截以及候选CDN集群的性能评估，分数作为延迟和丢包的变量，通过大型网络客户端从集群到路由的ping，使评估具有一定频率的周期性。
从同一家CDN采集的数据中，论文对不同的20个国家进行了每字节成本统计，在多个城市使用客户端地理定位请求bin。然后比较其平均的交付成本，论文将这组数据放在了上表中，并对采集数据的地址进行了保密。
CDN潜在的问题
代理商给CDN服务提供商带来的问题主要包括两个：
1）、由于时间的持续，代理商以一种潜在的偏见方式划分CDN负载（比如，将大多数小城市的流量迁到一个CDN）
2）、代理商会提升更小的CDN厂商业务可行性，为原来不具有覆盖能力的CDN厂商参与到竞争格局中，增加竞争性。这是问题存在的核心
影响CDN定价：如上图所带来的场景，CDNY能够提供足够的性能（以低成本）给到除了最左边所有的客户端，于是没有人愿意用CDN X的服务。对于最左边的客户端而言，他就需要承担昂贵的集群成本，CDN X其实可以为这些用户提供更便宜的集群，但他们会选择保有，通过代理商提供给CDN Y，继续提供贵的给到左边。
我们能够发现潜在的定价问题，上图表明了在代理商的追踪中，对于CDN的利用，剩下的一部分用户比例则由更小的CDN厂商提供。根据跟踪的100个甚至更多的请求，以随机数进行排列，能够发现一些显著的特征：比如说，CDN B很少服务于7，但几乎覆盖了8，CDN-A在8,11,15中很少被使用。根据世界各国的不同国家，分发带宽的价格是被不同定义的，CloudFlare声称，相对于美国和欧洲，亚洲、拉丁美洲、澳洲等地的成本相对会提升7倍，8倍乃至20倍。在前面表3中所示，CDN的费用差距甚至可能到达30倍。
大多数CDN服务提供商允许CP通过一定固定的流量比例来支付费用（基于95/5模型），可能价格的定义也是基于一个比较粗糙的定位。通过这种统一的比例，为CDN提高最大的利益，最小化传输成本，如果一个代理商在较贵的地区并且没有其他服务提供商提供CDN服务，那么这个区域将显著推高CDN的可盈利性，也将驱动代理商转移这部分原先CP需要承担的价格成本。
不可预期的负载：上图展示的时序图，通过每10秒间隔统计用户sessions从一个CDN转向另一个midstream。我们能够发现这个数值非常的高（几乎超过40%），但有时也会在20%和60%的区域内，这表明，代理商不仅经常转移流量，并且这个比例在其自身也是高可变化的，这就可能使其在负载均衡以及为CDN供应的可持续性上存在一定困难。
具有主观偏向的流量模式：上图显示了跟踪的CDN服务提供商的利用率，绘制了一个基于城市请求数的函数，圆点组成的线条是最佳拟合线，我们能够看到，无论城市的请求大小，CDN-B以及CDN-C的利用并没有发生变化，但CDN-A却显然更倾向于小城市，由于CDN的广泛部署，这个问题可能不足为奇。CDN-A也通常会比CDN-B和CDN-C更昂贵，这就意味着代理商会尽可能避免在有其他可选择范围内选择CDN-A。简单地说，代理商不只是将流量均匀地分布在各个CDN节点上，流量可以被任意地根据地理环境和时间进行变化。
这使得我们相信，代理商和其他CDN服务提供商可能会使单个CDN厂商的规划以及长期运作出现问题（集群的位置和规模）。例如，如果代理商决定在大城市停用CDN-A（因为CDN-B在那里有可选择的空间），这就会影响到CDN-A的整体部署。同样的，当CDN-B价格提升了，代理商又会将流量切回到CDN-A（一样影响到部署）。
来自于定制化的价格压力：在传统意义上，CDN服务提供商需要在全球的覆盖范围里，提供给用户充足的性能要求，代理商允许CP使用很多更小的CDN，但只要融合起来，也可以实现全球范围的覆盖。代理商让专业定制化的CDN服务变成可能，例如，一个可以将重点放在偏远地区，或者作为最好的某个城市CDN，尽管随着选择的多样性，CPs会享受更低的价格空间，但对于CDN而言，则意味着更低的利润率。
代理模式的潜在问题
CDN服务提供商给代理商带来的压力主要来源于两个原因：1）、CDN服务提供商所作出的端到端的传输决定是不通过代理商所获得的客户端信息的，2）、CDN服务提供商几乎不会给代理商提供一些信息。这是重点存在的问题。
粗略的资源选择：CDN服务提供商与代理商必须之间的交互只通过狭隘的接口，客户端（代表代理）给DNS发送请求以定位服务器集群。CDN的DNS响应用户抵达一个小数量的集群。然而不幸的是，根据CP的要求，当性能不足够时，代理商所做的事情就是切换CDN（尽管现有的CDN中也有更好的选择），见上图，表格中显示了替代集群与相似的性能估算导致的更换频率（主要基于延迟和丢包）。大概有4个服务器群落（其余三个为补充）具有类似的表现（相差25%以内），但通常只有一个选择是返回的。这个数据表明了一个潜在的机会，如果存在一个短暂的失败或者性能问题，代理商能够可以联系到CDN服务提供商接入备用集群。目前来看，代理商代理商会通过将流量转移到其他CDN中，这是并不必要的极端选择，通过CDN找到交替集群，可以使负载均衡更加轻松。
不准确的评估：对于代理和CDN服务提供商而言，都会花很多功夫在互联网映射上，以评估客户端以及服务器端的性能。这并不是一个小任务，在近期的工作中，一个代理商声称他们获得了1个亿每天的用户session，300万用户同时出现在高峰时段，每分钟数万级的用户进进出出。他们同时还暗示，这将导致每分钟处理50-100GB的样本数据，共享映射信息可以大大增加数据的准确度，让代理商和CDN服务提供商都获得一些网络优势。拿Akamai来说，通常他会计算集群到网关服务器，而代理商会评估用户到服务器。
困难的调试：当用户获得了一个差的QoE，CP寻找到代理商。希望弄清楚究竟是什么导致了体验的糟糕，问题可能会出在代理的软件、CDN服务提供商、甚至是ISP上，这就让调试变得异常困难，代理只能用最简单的方式，切走，从而让表现不佳的CDN不会再看到有问题的客户端。由于代理商和CDN服务提供商之间几乎不共享任何信息，所以，通过日志让代理和CDN找到根本原因也就变得不现实。
这种险隘的代理商与CDN的互动关系可能会使情况进一步恶化。由于可共享信息目前处于最小化的状态，代理商不能明确为CDN服务提供商作出决定，同时CDN服务提供商也不会给代理商做决定的机会。工作小组首先做的是扩宽两者之间的交互，基于广告交换的基础。
如何进一步的改善
工作组提出以下的交互过程，能够允许CDN服务提供商和代理商之间的信息分享更为自由，允许双方合作决定用户分配给哪个集群，工作组利用了类似于在线广告交互的技术，通过这种交互过程中，代理商推广了CDN服务提供商，这让整个CDN服务变成了一种竞标的模式。CDN表现出的策略、性能以及成本都会直接考虑到这种竞争，代理商也能利用许多CDN服务提供商满足CP的QoE需求以及成本目标。
整个代理商-CDN服务提供商的协议主要分为八步：
1）、评估：CDN代理商评估给用户的候选集群性能
2）、搜集：代理商在每个地区统计用户数
3）、公告：代理商推广CDN广告给到他们的用户
4）、匹配：CDN服务提供商为用户匹配适合的集群
5）、竞标：CDN服务提供商给代理商提供用户竞标
6）、优化：代理商决定哪个“标”被采用
7）、采用：代理商告知CDN服务提供商合作达成
8）、设置：代理商明示用户哪个CDN被接入了
尽管设计的形式依然是初步阶段，但目的就是为了解决上述中所存在的一些问题。即，本文专注于对CDN集群的细粒度进行选择并明确资源的分配。（这将解决定价、不可预测性、偏差定价、定制化更明显）。一个外置的长期控制协议能够用以解决共享测量数据和日志的问题。
举例说明一下这种设计带来的优势，考虑到Figure4中间的场景，回忆一下，CDN X给到的昂贵的服务费用，同时其为另外两组用户所储备的冗余资源。CDN X从未认知到有这些客户端，代理商就将CDN Y提供给了这两个组的用户（以更低的成本）。基于上述的设计，CDN X会呈现出一个更积极的作用，它将通过被代理商告知的模式，明确分配客户端给到集群。通过招标，CDN X也会警惕代理商通过告知的形式，将最左边的客户分配给其他更便宜的集群。其他在Figure3中间的问题也能被类似地解决。一旦出现交互，那么转移的流量（Figure6）也可以由于提前告知的原因，尽可能减少。
可行性讨论分析
这种类似于“拍卖”的合作风格相比复杂的CDN服务提供商给到CPs的动态定价会更为直观，然而动态定价有一套属于自己的复杂定义（收敛性、平衡性、稳定性等因素），而这一些会在新的规则中重新定义。此外，拍卖式的系统能够允许CDN服务提供商直接通过利用的时间调整资源并通过提供一个简单的解决方案实现整合一整套混合CDN满足一组请求的可能。这样的互动对于代理商而言显然更友好，对于CDN服务提供商的激励也会很微妙。特别值得一提的是，是否有必要放弃把内部CDN的信息透露给代理商，一些好处是直截了当的，CDN服务提供商类似于CDN B，能够在更小的城市与其他CDN服务提供商在小城市中产生竞争，因为在之前代理商已经介入了，同样的，CDN服务提供商也能够适当改变其本来难以触及的客户端的状态。
所需要争论的是，大型CDN可能并不会产生这样的想法，他们的CP已经在运用混合CDN以达到他们的QoE预期，同时成本也达到目标。如果CPs将很多小CDN列为选择目标，大型CDN厂商就会出现竞争的情况，解决的方式，就是通过定制化。这种合作形式允许大型CDN厂商保持特定用户的竞争力，并让这种定制化优势在代理商和其他CDN面前更为透明。（从竞标中出现的CDN意味着某个地区的QoE更高要求，或者成本要求更低）。类似于CDN-ISP以及ISP-P2P合作的失败案例，如今代理商和CDN却并不相同，他们同跑于应用层，同时面对着相同的一些用户。（CPs）
针对此内容，最相关的一系列作用，是扩大CDNs的交互，这包括提供了一些可选择的CDN设计，联合电信CDN网络或者P2P-CDN混合或者一些潜在的CDN/ISP合作，ENOA曾提出，内容所有者应当与基础设施拥有者合作以改善终端用户的QoE体验，而与此类似的，这份论文就尝试通过一些数据，分析了CDN与代理商之间的合作关系。
【结论】CDN服务提供商与代理商之间有限的互动导致了双方许多矛盾的产生，通过一个好的互动形式就能尽可能改变现状。然而这篇论文仅仅是触及到表面，这也给专注在单一的代理商系统带来一定的空间，内容分发生态系统包括多个代理商和专有的CDN服务提供商，新的复杂的交互需要更多的分析，并且将会带来更多新的合作形式产生。
CDN Asia Summit-2017亚太CDN峰会
New era，
new challenges ，
new opportunities！
CDN Asia Summit 是GFIC系列峰会中，围绕CDN如何为“宽带中国战略”做好基础服务，为电子政务，移动直播，在线视频，虚拟现实，智慧城市，人工智能，互联网金融行业等提供加速传输，云计算，云存储，大数据，安全防护，应用推广，流量变现等专业服务为主题的亚太区最大规模年度盛会。
自“亚太CDN峰会”于2013年首次举办以来，活动汇聚了全球多个国家、参与企业达500多个，已成为CDN行业精英荟萃的盛典。在云计算的格局下，往届“亚太CDN峰会”聚焦内容分发领域，邀请来自Akamai、Fastly、Level3、Limelight、Telefonica、Orange、网宿、蓝汛、帝联、阿里云、腾讯云、百度开放云、乐视、爱奇艺、PPTV聚力、高德地图、东方明珠、芒果TV、华数传媒等行业内的领袖企业，共同探索下一个互联网时代的内容分发新格局。
2017亚太CDN峰会将由9个组成部分构成，“亚太CDN领袖峰会、新媒体发展需求与流媒体架构、移动直播与移动互联网专场、网站基础架构与云安全专场、视频云与编解码专场、互联网新技术发展与架构专场、运营商CDN架构专场、云计算与大数据专场、亚太CDN投融资专场”,通过对多渠道视频行业的运维架构分析与运营经验分享，形成具有互联网特色的CDN系列活动。
在此，特邀请您与您的合作伙伴一起参与到此次盛会，本次活动初步时间定于4月12~13日在北京的四季酒店举办。
201７年0４月１２日 震撼开始！
Venue：Four Seasons Hotel Beijing·China
| 中国·北京
Wednesday ,April 12th, 2016
赞助合作请联系 / For Cooperating&Sponsorship
Baohui.Song
+86-
Email：[email protected]
报名地址 | Registration address