应用和服务层
在过去的25年里,随着技术能力的不断提高和消费者需求的不断增长,应用和服务层也发生了相当深刻的变化。20世纪90年代末,互联网正处于门户网站狂热的风口浪尖,LookSmart目录搜索引擎是彼时互联网热潮的宠儿,每个人都在努力推广自己喜爱的“一站式服务”,以满足用户所有的互联网需求。
1998年,AltaVista搜索引擎首次亮相,因此那些整理内容的门户网站已经过时。从汇编目录和列表到主动搜索,这个变化彻底改变了互联网。如今,我们只是简单地认为,我们可以在搜索引擎中输入任何我们想要的查询,搜索机器就会提供一系列指向相关文档的指针。每当这个时候,我们对搜索引擎的质量和效用的期望就会得到加强。
内容也随之发生变化,因为用户不再停留在一个网站并浏览该网站上的所有网页。相反,用户驱动搜索引擎,在不参考任何其他资料的情况下拉取相关网页。但这并不是终点。搜索引擎正在蜕变为“即时的问答机器”,它试图从来源中提取材料,并显示其认为搜索词中隐含问题的答案,而不再是提供一组指向高相关性材料来源页面的指针。
而这也只是互联网发展漫长旅程的一个航路点。今天,我们看到人工智能(AI)聊天机器人的出现,曾经被搜索机器索引的底层数据被用作驱动AI聊天引擎的数据语料库。交互基于自然语言模型。
如果你认为互联网是一种信息资源,那么以这种方式使用人工智能迈出了令人不安的一步。在这种AI模型中,应答系统会针对查询请求中隐含的问题生成似是而非、但不一定符合事实的自然语言应答。
从为数据源编制索引并将查询关键字与原始资料使用的关键字相匹配,到自然语言生成器生成既无事实根据也不一定源自原始资料的文本回复,将这一路径视为进步是极具挑战性的!尽管人们对互联网作为信息资源的质量降低感到担忧,但这一转变确实更符合互联网向大众娱乐工具转变的大背景,而这正是当今内容世界的主要驱动力。
一个相关的深刻变革的领域是社交媒体的兴起。电视、广播、电影和印刷行业已经发展到使用内容中介、编译者和编辑来策划其内容,而高性能的用户设备的广泛部署使终端用户无需与中介或制作人接触即可直接进行内容制作。这一变革造成了很大影响,包括YouTube、Flickr、Facebook、Instagram和TikTok在内的社交媒体平台一跃成为社会焦点,引发了关于这些平台的作用以及此类平台所能产生的社会影响程度的广泛讨论。
这些变化的背后是另一个重大发展,即内容经济的变化。1998年,内容提供商和互联网服务提供商(ISP)关于用户收入的争斗进入白热化阶段。内容提供商无法使用户按访问次数付费,或与用户建立起其他形式的直接经济关系,因此他们主张ISP应为内容提供资金支持。内容提供商认为,用户付费上网的唯一原因是他们认为互联网上的内容有价值。
另一方面,ISP则认为,内容提供商免费搭了ISP筹资建设的基础设施的便车,因此内容提供商应分担网络成本。由于这种悬而未决的矛盾,广告付费为内容服务筹资的模式逐渐占据上风。这种模式能够维持一个更加丰富、庞大和引人注目的内容环境。
然而,这是有代价的。在此情况下,代价隐含在广告投放平台的动机中。现在的关键目标是让用户更长时间参与,以便展示更多的广告,收集更多的用户信息。仅仅为用户提供信息在很大程度上是一种交易性的互动,而娱乐用户则能带来更多的广告收入,因为用户的注意力持续时间更长。
对一些内容提供商来说,这一策略非常成功,尤其是目前的流媒体内容巨头。因此毫不奇怪,内容领域最大的实体,如Alphabet、微软、亚马逊和苹果的市值远高于他们在数据传输领域的同行。我们现在看到的是内容和传输之间的下一轮摩擦,网络运营商认为内容提供商应该分担接入网络的传输成本。
DNS
域名系统(Domain Name System,DNS)也值得一提。从某种角度看,该领域几乎没什么变化,DNS域名解析协议也没有发生任何明显的变化。从某种意义上说确实如此,但同时,也有一些重大的改变正在发生。
其中第一项变化是采用了域名系统安全扩展(Domain Name System Security Extensions,DNSSEC),这是一个允许DNS客户端验证从DNS收到应答的框架。DNS一直是互联网上的一个安全漏洞,因为它很容易受到各种形式的攻击,导致仿造的应答被当作真实的应答。
DNSSEC为每条正常记录提供一个数字签名记录,并实现签名锁链,将域链接到与根区域相关的密钥。客户端可请求在正常响应中提供签名记录,然后进一步请求以构建一直到根区的验证链。成功的验证可向客户端保证原始响应中提供的数据是真实的和最新的。
DNS根区于2010年被首次签名,但DNSSEC被采用的速度一直很慢。虽然增加这种验证机制,无疑在保护用户免受各种形式域名的干扰方面向前迈进了一步,但代价是增加了DNS的脆弱性和解析时间。一个潜在的问题是,在DNS响应中添加数字签名极有可能导致DNS发送大量的响应,而通过基于UDP传输的方式发送大量响应很容易造成分片的不可靠。此外,改用TCP也需要时间。这意味着,尽管DNSSEC可以为DNS可能受到的篡改提供明显的保护,但采用DNSSEC的进程却十分缓慢。
DNS变化的第二大主题涉及DNS遭受大规模监控这一更大的问题,2013年斯诺登的爆料凸显了这一点。大多数互联网事务都从调用DNS开始,DNS查询和响应中包含的元数据提供了丰富的用户活动实施情况,不论是对总体情况还是单个用户都是如此。这促使人们齐心协力改善DNS作为协议的隐私层面。
一种方法是在TCP会话中运行现有的DNS,并在TCP会话中添加TLS,这样客户端与DNS服务器之间的交互内容就不会受到第三方检查或操纵。DNS over HTTPS/2则更进一步,除了TLS之外,DNS有效载荷还有一个轻量级HTTP封装。这样,DNS流量就可以与所有其他HTTP流量融合在一起,从而进一步掩盖DNS交互事务。
最近,我们看到了DNS-over-QUIC,它利用QUIC(快速UDP网络连接)更快的会话启动时间和快速打开功能来提高性能;我们还看到了DNS-over-HTTPS/3,它将QUIC与HTTP对象语义相结合。这项工作的主要重点是DNS中客户端Stub解析器与递归解析器交互的部分,因为这种情景会导致客户端被识别。DNS的这部分有用特性是重用相同的客户端/服务器设置,因此,无论是长期保持安全传输会话还是快速重开会话,都可以将建立可靠安全会话的高昂成本平摊到随后的多次查询中,从而使此类安全传输的总体成本更加合理。
这些措施仍然存在一些安全问题,因为递归解析器既知道客户端的身份,也知道他们正在进行的DNS查询。最近的工作是研究DNS运营的“遗忘”模式,将递归解析器功能一分为二,并使用两层加密。客户端通过加密会话与第一方,即一个DNS中继对话,并向其传递使用第二方,也就是递归解析器的公开密钥加密的查询。DNS中继将加密的DNS查询重新发送给递归解析器进行解析。第一方知道客户端的身份,但不知道正在进行的DNS查询;第二方知道DNS查询,但不知道客户端的身份。
有关DNS隐私的工作已扩展到递归解析器与权威名称服务器对话的场景,但目前还不清楚其安全优势有多大(因为在此类查询中终端用户无法被直接识别),也不清楚在该场景下会话重用是否可行。
云
在许多方面,应用程序和服务是这一时期互联网创新的最前沿。在内容元素的开放互联方面发生了一场革命,内容现在是一个可塑性很强的概念。它不再是“我的电脑、我的应用程序、我的工作空间”或“你的服务器、你的内容”。
取而代之的是一种新兴的模式,在这种模式中,不仅每个用户的工作空间都在网络中,应用程序和服务本身也是网络的一部分,而且所有内容都可以通过基于HTTPS访问模式排列组合的通用机制进行访问。
这就是所谓的“云服务”世界。云服务世界利用丰富的计算、存储和通信资源,而不是一张方便用户连接到服务供应点的网络——它颠倒了模型,试图将内容和服务的副本带到用户身边。
如果说网络世界中的距离等同于成本和性能,那么云模式则大大缩短了消费者与内容之间的距离,在降低成本和性能方面具有显而易见的意义。云互联网能够实现极具挑战性的性能和成本目标,方法是改变内容和服务的供应模式,从“即时”(JIT)式的按需服务转变为“以防万一”(JIC)式的预先供应本地缓存,以便在本地客户端访问服务时,本地缓存已准备就绪。
网络恶意行为
互联网仍然受到各个层面的攻击。我们的数据被泄露、被监视、被识别,也被破坏和勒索所困扰。
攻击现在已经司空见惯。其中许多攻击非常简单粗暴,依靠的是大量潜在僵尸设备,这些设备很容易被攻陷,然后被利用来协助攻击。例如UDP反射放大攻击,在这种攻击中,单个UDP查询会产生大量的响应。查询的源地址会被伪造成预期攻击受害者的地址,并且不需要做更多的事就可以达成攻击。一个小的查询流就能导致大规模的攻击。
UDP相关协议,如简单网络管理协议(Simple Network Management Protocol,SNMP)、网络时间协议(Network Time Protocol,NTP)、DNS和Memcached协议,过去曾被利用来攻击,今后毫无疑问将再次被利用。
为什么我们不能解决这个问题呢?几十年来我们一直在努力,但似乎就是无法战胜攻击。早在2000年,网络运营商就发布了防止伪造源地址数据包泄漏的建议。然而,基于UDP的大规模伪造源地址攻击至今依然存在。存在已知漏洞的老旧计算机继续连接到互联网,很容易被转化为攻击僵尸。
攻击的情况也越来越不乐观。尽管我们以前将这些恶意的攻击归咎于“黑客”,但我们很快就意识到,其中很大一部分都有犯罪动机。我们看到,随着对各种形式的漏洞利用进行投资,这种网络战正在升级。
现在看起来,主要问题在于,我们总体上不愿意对有效防御或威慑进行任何实质性的投资。我们过度信任了互联网上的系统。例如,用于确保网页事务安全的公钥认证系统一再被证明完全不可信,但我们还是只相信它。个人数据不断遭到破坏和泄露,但我们想做的似乎只是增加法规的数量和复杂性,而不是使用更好的工具来有效保护用户。
恶意攻击的总体情况并没有变好。事实上,情况正变得越来越糟。如果任何企业有业务需求,需要维护一个始终可用的服务,那么组织内部任何形式的预先准备都不足以抵御攻击。如今,只有少数几个平台可以提供弹性服务,即便如此,它们能否抵御最极端的攻击还是未知数。
网络中持续不断地进行着背景式的扫描和探测,任何形式的可见漏洞都会被无情利用。人们可以把今天的互联网形容为一片有毒的废土,偶尔会出现一些防御严密的堡垒。那些有能力在这些堡垒中提供服务的人,可以从这种持续不断的恶意攻击中获得一定程度的喘息机会,而所有其他人则不得不努力隐藏自己,以躲避这种恶劣的有毒环境,同时意识到他们将被任何大规模的攻击彻底淹没。
令人警醒的是,现在全球约有二分之一的人口处于这种数字环境中。更令人警醒的是,当今的许多控制系统,如发电和配电系统、供水系统和道路交通控制系统都暴露在互联网上。
IoT
令人更加沮丧的是所谓的物联网(Internet of Things,IoT)。在互联网预测泛滥、决策者蜂拥而至聆听未来宏大愿景的圈子里,我们经常听到物联网所代表的无限未来。这句话涵盖了计算机行业几十年的发展历程,计算机从只有国家才能负担得起的深奥工程杰作,到大型机、台式机、笔记本电脑、手持设备,再到现在的腕式电脑。
下一步是什么?在物联网的愿景中,我们将把互联网扩展到人类之外,在世界的方方面面使用数十亿“喋喋不休”的设备。我们对已经连接到互联网的“物件”了解多少?其中有些并不是很好。事实上,还有一些非常愚蠢。因为它们有时不适当的操作和安全模式会以潜在的恶意方式影响其他物件。
如果设备被经常检查和管理,我们可能会发现异常行为的证据并加以纠正。但这些设备实际上不受管理,几乎不可见。例如,网络摄像头的控制器、智能电视中所谓“智能”的部分,或者从洗衣机到货车的各类控制器。这些设备无人看管。一提到物联网,我们就会联想到气象站、网络摄像头、“智能”汽车、个人健身监测器以及类似的东西构成的世界。
但我们往往会忘记,所有这些设备都是建立在别人的软件基础上,以尽可能低廉的价格组装成产品的。当你意识到你刚安装的网络摄像头的安全模式可以用“毫无安全可言”来概括时,你可能会感到不安,因为它向整个互联网提供了你家的全貌。
可能更令人感到不安的是,你的电子钱包所在的设备使用了大量来源不明的开源软件,其安全模式尚不完全清楚,似乎很容易被迫成为一个“没问题随便拿”的设备。如果认为人们已经不会再在代码上犯错,从现在起软件都将是完美无缺的,那该有多好。但这是一种无可救药的理想主义。这是不可能的。软件永远不会完美。它将继续存在漏洞。
如果认为物联网正在逐步形成一个质量至上的市场,这里消费者会选择更加昂贵的产品,即使其功能表现与未经基本安全漏洞严格测试的廉价产品完全相同。但这种想法也是无可救药的天真。
物联网仍将是这样一个市场,价格和质量之间的妥协将继续把我们推向廉价而非安全的一边。有什么办法能阻止人们进一步污染环境,让大量不同的、未受管理的、带有内置漏洞的编程设备集合在一起,而这些漏洞很容易就被利用?我们能做些什么,让这个充斥着廉价的、危险的设备的世界变得不那么危险?到目前为止,我们还没有找到可行的答案。
总体而言,我们有效地保护网络及其连接主机的能力仍然没那么有效。任何人如果仍然相信构成数字世界的系统的完整性,那都是无可救药的天真。这是一个充满恶意的空间,我们仍然不知道如何才能将其转变为能够抵御这种侵蚀性攻击的形态。但不知何故,我们显然没有被这一切吓倒。我们都找到了让互联网为我们每个人服务的方法。
互联网商业
在过去的25年里,互联网的应用环境经历了狂飙突进的过程,商业环境也经历了同样的过山车之旅,在商业赢家和输家的名单上,既有电信世界的一些历史巨头,也有互联网孕育的新一波参与者。
1998年,尽管公众对互联网的认知度不断提高,但互联网在很大程度上仍是一种新奇的东西。极客、游戏玩家和学者在互联网上逍遥自在,而他们的“入门仪式”非常晦涩难懂。作为数据网络行业的一部分,互联网只是众多活动中的一项,主流电信公司对它的关注程度还相对较低。
ISP
大多数互联网用户都是独立ISP的客户,而ISP与电信公司之间的业务关系紧张而尖锐。ISP被视为电信业机会主义的吸血鬼;他们订购了大量电话线,但从未打过任何电话;他们的客户不会在三分钟后挂断电话,而是会保持电话畅通数小时甚至数天;他们不断订购越来越大的数据传输容量,但他们的商业计划书却让信封背面的涂鸦相比起来都显得更专业。
ISP不愿意在额外的通信基础设施上进行大规模的长期资本投资,以迎合互联网投机者及其同行的奢侈要求。
电信公司
另一方面,电信公司的业务发展缓慢、成本高昂、前后不一、信息不灵,而且对ISP的业务充满敌意。电信公司希望进行财务结算和比特级的核算,而另一方面ISP行业似乎过得不错,他们依靠一个简单得多的对等和分层系统,避免对单个数据包或流量进行估值。
这种关系根本不可能持久,其解决方式在现在看来也是可以预料的。从电信公司的角度来看,人们很快就会发现,促使电信公司不断增加网络容量的唯一原因是ISP。从ISP的角度来看,要想以与客户需求相匹配的速度增长,唯一的办法就是成为自己的运营商,并接管基础设施投资。而这两种结果都以不同的方式出现了。电信公司收购了ISP,而ISP则成为了基础设施运营商。
所有这些活动都引起了投资者的浓厚兴趣,ISP行业的价值迅速攀升,随后整个互联网行业都出现了过度繁荣时期才会出现的盲目乐观情绪。到了2000年,几乎所有与互联网有关的事物,无论是简单的门户网站,新开发的浏览器,搜索引擎,还是ISP,都吸引了投资者的关注,互联网创业公司的估值达到了令人眩目的高度。
当然,经济史的基本教训之一是,每一次的繁荣都会伴有随之而来的萧条,2001年,互联网大崩溃发生了。萧条是不可避免的,也是残酷的,就像之前的繁荣是令人兴奋的一样。但是,就像1840年代铁路的繁荣与萧条一样,一旦残骸被清理干净,剩下的就是一个有生命力、有价值的行业。
到2003年,独立零售ISP的时代实际上已经结束。但随着移动服务的推出,这一时代发生了巨大的变化。在2000年代初的竞购战中,老牌的电信公司获得了频谱分配,虽然他们曾认为移动语音是这些投资具有意义的原因,但事实证明,移动互联网服务才是持久的服务模式。在这一时期,互联网大体上是原始的ISP、转型后的有线电视运营商和移动服务提供商的综合体。每个国家都有三到五家主要服务提供商,业务开始围绕这一模式稳定发展。
内容提供商
互联网内容世界进入了这一领域,利用基于云的服务交付模式规避长途中转领域的通信瓶颈。内容提供商所采用的服务模式包括由广告商出资的内容生成和交付模式以及直接订阅模式,其结果非常有效,这一领域的价值远远超过了传统的互联网服务提供商和通信服务提供商的领域。内容领域现在是海底光缆系统的主要资助者,而通信服务则因此被很不情愿地推到了一个无足轻重的商品角色上。
这反映了更广泛的技术渗透过程。电话世界将网络作为技术和投资的主要重点。边缘设备——手机——是简单而廉价的设备,而网络交换机和数据传输元组件则是按照严格而昂贵的标准制造的。当我们将计算机连接到网络边缘时,这些设备能够容忍更广泛的网络行为,对行为的基本要求也更低。因此,价值已从网络核心转移到网络边缘。
但这一过程也反映在这些边缘设备中。我们最初采用的模式是功能强大而复杂的操作系统平台,以及利用平台服务的相对简单的应用程序。正是在此背景下,大约25年前,Windows98发布,这是件大事。
随着这些边缘设备的功能越来越强大,处理能力越来越高,本地存储应用越来越多,这些应用选择在用户体验方面承担更多责任。这样一来,他们就不再依赖平台提供商的发布时间表,不再担心平台提供商的控制水平,并获得了必要的自我控制能力。
现代浏览器(Chrome以及一些规模较小的浏览器)比大多数操作系统都要复杂得多,并不断取代以前由平台承担的功能和角色。通过DNS-over-HTTPS,DNS域名解析任务可以转化为应用程序的功能,而不是通用的平台功能。有了QUIC,传输层协议本身已被纳入应用层空间。
在过去的25年里,我们不仅看到了网络的商品化,也看到了终端设备平台和这些设备上使用的操作系统面临着类似的商品化压力。甚至浏览器领域也已经在被商品化。
互联网行业的差异化竞争已经从协议栈被推向了内容和服务经济。我们可以明显感觉到,在这个领域,差异化竞争也许也是名不副实的。我们所面临的是少数几个数字巨头之间的综合竞争,在任何其他时间和背景下,他们也许会被称为卡特尔垄断集团。
现在呢?
对我们所有人来说,这是革命性的25年,互联网直接或间接地影响了地球上几乎每个人的生活。据估计,当前,经常使用互联网的人数占世界总人口的二分之一。
在这段时间里,我们的一些期望实现了,然后又轻而易举地被超越,而另一些期望却仍然难以实现。有些事情的发生完全出乎我们的意料。与此同时,我们今天所拥有的互联网在1998年几乎没有被自信地预测到,而我们在1998年看到的许多问题到今天却仍然存在。
这是一项正在进行的工作,在未来的25年里,全球通信行业可能会发生同样程度的结构性变化。考虑到我们在未来几十年中面临的一系列其他挑战,这种前景多少有些可怕。与此同时,我认为最好相信,互联网在世界的首次亮相已经彻底改写了沟通的意义,改写了分享经验和知识的方式,并有望改写我们共同应对这些挑战的方式。