人工智能管理无线频谱——开创无线通信新时代

主页（http://www.pttcn.net）：人工智能管理无线频谱——开创无线通信新时代

━━ ━━

21世纪初，蓝牙差点被不合时宜地终结。第一批蓝牙设备曾竭力避免与无线路由器产生冲突。（无线路由器是无线频谱上功率更高、更稳定的一类设备，蓝牙设备与其共享频率。）最终，蓝牙工程师们修改了标准，为蓝牙设备开发了跳频技术，根据对无线信号的探测，将蓝牙操作切换到未被占用的频段，从而避免了蓝牙技术早早夭折。

频率跳频只是避免干扰的一种方法，这个问题从一开始就困扰着无线电。监管机构从很久以前就开始管理频谱，使得新兴的无线生态系统中不同的无线电用户能够分配到不同的专用频率。虽然这种做法避免了在使用中检测传输状况和变换频率的问题，但由于部分频谱被闲置，因此频谱利用率非常低。

如今，对有限的无线电频谱资源的需求正在高涨。在过去几年里，无线数据传输以每年约50%的速度增长，主要原因是人们越来越多地在智能手机上观看视频和浏览社交媒体。为了满足这一需求，我们必须尽可能有效地分配频谱，这也就意味着无线技术不能有独占频率，必须共享可用频谱。解决方案中将包括蓝牙所使用的跳频技术，但为了应对激增的需求，我们还需要做更多。

━━ ━━

为了解决频谱稀缺问题，我在美国国防部高级研究计划局（DARPA）创办了频谱协作挑战赛（SC2），并担任项目经理。SC2是一个为期3年的公开赛，来自世界各地的团队将重新思考频谱管理问题。各团队正在设计新的无线电，使用人工智能来学习如何与竞争对手共享频谱，最终目标则是提高总体数据吞吐量。这些队伍正在争夺今年10月在洛杉矶举行的SC2锦标赛中将近400万美元的奖金。两年的竞争让我们第一次目睹了自主无线电集体共享无线频谱，传输的数据远远超过了为每个无线电分配专用频率所能传输的数据。

在SC2之前，DARPA的多个项目已经证明，少数无线电可以像蓝牙一样，通过跳频技术来自主管理频谱，从而避免彼此干扰。那么，我们为什么不把跳频技术应用到更广泛的无线电领域，用这种方法来解决频谱有限的问题呢？

可惜跳频只能在一定程度上起作用，其有效性取决于未使用频谱的数量，如果试图发送信号的无线电设备太多，就不会有太多（如果有的话）未使用的频谱可用。为了达到SC2竞赛的目的，我们意识到，需要在多个场景下测试相互竞争的团队，这些场景中将有几十台无线电设备试图同时共享一个频段。这样一来，我们就可以确保每台无线电广播设备都不会有自己的专用频道，因为没有足够的频谱可供使用。

考虑到这一点，我们开发了一系列循环比赛的场景，在大约1平方公里的区域内，3个、4个或5个独立的无线网络一起广播。无线网络将被允许访问相同的频率，每个网络会使用一个人工智能系统来解决如何与其他网络共享这些频率的问题。我们将根据完成的任务（如电话和视频流）数量来确定比赛的成功程度。假如某组的无线网络比另一组完成了更多任务，那该组将在比赛中获胜。我们的主要目标是让团队开发出人工智能管理的无线电网络，使这种网络能够共同完成更多的任务，而不是每个无线电都使用一个专用频段。

我们很快发现，把这些无线电设备放在现实世界中是不切实际的。我们无法保证每个参赛队伍的无线条件始终是一样的。此外，移动一个个无线电设备来设置每个场景和每场比赛非常复杂和耗时。

于是我们建造了世界上最大的射频仿真试验台——Colosseum。Colosseum目前位于马里兰州劳雷尔市约翰霍普金斯大学的应用物理实验室。它包含了21个服务器机架，功率为65千瓦，需要的制冷量与10套大型住宅相当。它可以同时在128台无线电设备之间模拟超过6.5万种独特的交互场景，比如短信或视频流。此外还有64个现场可编程门阵列，可通过一起执行超过150万亿浮点运算（teraflops）来处理模拟演练。

每一场比赛中，我们都会插上无线电，这样他们就可以直接向Colosseum“广播”射频信号。该试验台具有足够的计算能力，可以根据给定环境的详细数学模型计算这些信号的行为。例如，Colosseum内部有模拟墙，可以“反射”信号。还有模拟的暴风雨和池塘，其中的信号会被部分“吸收”。

模拟演练会为团队的人工智能提供所有必备信息，以便其在每个模拟场景中根据观察结果做出适当决策。例如，面对一个充斥着无意义噪声的手机干扰器，人工智能可能会选择将其频率更改为不受干扰器影响的频率。

━━ ━━

为人工智能构建一个协作管理频谱的环境是一回事，而创造这些人工智能则完全是另一回事。要了解在SC2中竞争的团队如何构建这些人工智能系统，你需要了解人工智能在过去几十年中的发展情况。

概括来说，研究人员在几次“浪潮”中推进了人工智能的发展，重新定义了这些系统的学习方式。人工智能的第一波浪潮是专家系统。这些人工智能是通过采访特定领域的专家，并从中派生出一组规则来创建的，自主系统在试图完成某件事时，可以根据这些规则来做出决策。这些人工智能擅长解决问题，比如国际象棋，这些问题的规则可以用一种直截了当的方式写下来。事实上，第一代人工智能最著名的例子之一就是IBM的“深蓝”（Deep Blue），它在1997年首次击败了国际象棋大师加里卡斯帕罗夫。

更新潮的第二代人工智能依靠的则是大量的数据而非人类的专业知识，从而学习有关给定任务的规则。人类很难把所有细微之处都记下来，而且例外情况往往多于规则的那些问题，是第二代人工智能尤其擅长解决的。语音识别就是一个例子。这些系统能够接收复杂的原始数据，比如音频信号，然后对数据做出决策，比如说了什么词。在Siri和Alexa等数字助理所使用的语音识别系统中，我们就能了解到第二代人工智能。

如今，第一代和第二代人工智能都没有用于管理无线频谱。这意味着我们可以同时考虑这两代人工智能，以及研究人员在教这些人工智能解决问题时所采用的方式，从而找到解决我们问题的最佳方案。最终，将频谱管理视为强化学习问题是最容易的，即我们在人工智能成功时奖励它，在它失败时惩罚它。例如，人工智能可能会因为成功传输数据而得1分，或者因为传输失败而丢1分。通过在训练期间积累分数，人工智能会记住成功的方式并试图重复它们，同时也会放弃失败的战术。

在我们的比赛中，其他无线电广播设备的传输干扰常常会造成传输中断，所以我们也必须把无线管理视为一项协作挑战，因为同时会有多个无线电广播。人工智能管理的无线电性能优于传统的静态分配，其关键是开发人工智能，使自己的分数最大化，同时为其他人工智能留下空间。当团队在追求可用频谱的过程中尽可能多地成功传输数据且避免了不断的相互碰撞时，他们就会得到奖励，这将预防他们最大限度地利用频谱。

这样的难度似乎并不大，还有另外一重难题使得频谱协作比许多类似的问题更加难以解决。比如，如果你和从未见过的人一起打篮球，这样组成的球队一起协同参赛的能力肯定不如一起训练多年的队伍。迄今为止，涉及多个代理的最成功的挑战是人w工智能参与接受培训的挑战。最近的一个案例是2018年的一个项目，在该项目中，非营利性人工智能研究公司OpenAI证明，在电子游戏Dota 2中，一支由5个人工智能组成的团队可以打败一支人类玩家战队。

━━ ━━

2018年12月9日，我和DARPA的同事终于有机会知道一组人工智能能否成功解决如此复杂的多主体问题。我们挤在酒店会议室里的一组电脑旁，离Colosseum的安装地点只有一个街区。一个星期以来，酒店一直是我们的指挥中心，我们分析了300多场比赛以确定得分最高的队伍。我们希望在3天内颁发多达8个75万美元的奖项，每组顶尖团队都有一个获奖。不过直到那一刻，我们都还不知道要颁发多少个奖项。

在一年前举行的第一次资格赛中，评判队伍的标准仅仅是它们的相对排名，而这一次要想获奖，顶尖团队还必须证明他们的无线电能够比传统的专用频道更好地管理频谱。

为了比较自主无线电和专用频率管理，我们设计了最后一组比赛。首先，我们采用了一个基线，为每个团队分配了专用频率来了解他们能够传输多少数据，然后我们取消了限制，看看一个团队的网络是否可以在不妨碍共享频谱中其他4个无线网络的情况下传输更多数据。

我们在酒店房间里焦急地等待着最后一组比赛的结束。如果没有人能越过我们为他们设立的门槛，两年的努力就可能付之东流。我们突然发现，一腔热情之下的我们没有考虑到，如果所有人都失败了，我们并没有后备计划。SC2走到这一步的时候，我们已经开始看到一些方法的局限性，但这并不能安抚我们的紧张情绪。

幸运的是，我们也开始发现一些成功的关键点。比赛开始时，几乎所有的团队都采用了第一代人工智能方法。在开始的时候，这种方法是有用的，因为还没有用于管理频谱的人工智能系统。在第一代方法中，团队正试图编写协作使用频谱的一般规则。

当然，每个团队编写的规则略有不同，不过他们开发的每个系统都有一些通用的原则。首先，系统应该监听每个网络要求使用的频率。第二，在剩下的频段中，每个频段只能分配一台无线电设备，而且每个团队都不得要求超过其公平份额。第三，如果没有空闲频段，无线电应该选择干扰最小的频段。

可惜这些规则未能捕捉到无线管理的所有特性，这导致了意想不到的后果，影响了无线电协同工作的能力。在SC2中，我们目睹了许多这样的例子，这些看似简单的规则失败了。

例如，第二条规则——做一个好邻居而不是独占频率。原则上，如果其他无线电需要，这种合作方式应该为它们提供更多使用频谱的机会。在实践中，我们看到了这种策略的错误之处，有一次，3个团队留下了大量完全未使用的频谱。

通过这些结果，我们发现有一个团队坚持使用不超过1/3的频谱。虽然这种策略非常无私，但也限制了他们为完成自己的任务而建立的连接，从而局限了他们的分数。当另一个系统注意到第一个系统没有得到足够的分数时，情况变得更糟了，它因此限制了自己的频谱使用，允许第一个系统使用更多的频谱，而这是第一个系统永远也不会做的事。基本上，这些系统过于恭顺，结果就是频谱浪费。

要用第一代人工智能解决这个问题，团队必须编写另一条规则。当新规则导致另一个意想不到的结果时，他们又编写另一条规则来应对。诸如此类。这些不断出现的“惊喜”和随之而来的新规则是第一代人工智能的主要缺点。一个看似简单的问题，到头来可能比看上去要麻烦得多。

与依赖一些硬性的规则相比，让每台无线电广播设备根据共享频谱的其他无线电来调整策略似乎是更好的方法。实际上，无线电广播设备应该从大量数据（Colosseum擅长生成的数据）中挖掘出一系列不断增长的规则。因此，我们在2018年12月9日的实验中看到有一些团队转向第二代人工智能方法。几支团队已经建立了初具雏形的第二代人工智能网络，该网络可以快速识别其他网络的比赛情况，并利用这些信息动态地改变各自无线电的规则。

当SC2开始时，我们猜想许多团队会采用一种简单的方法，即使用“感知并避免”策略。当蓝牙设备发现它想要的频谱被无线路由器使用了，它就会跳到一个新的频率。蓝牙的跳频功能之所以能够发挥作用，部分原因在于无线网是以一种可预测的方式工作（也就是说，它以特定的频率广播，并且不会改变这种行为）。在我们的比赛中，每支队伍的无线电的行为都非常不同，而且完全无法预测，这使得“感知并避免”的策略毫无意义。

相反，我们看到了一个更好的方法，也就是预测未来的频谱。预测之后，一台无线电广播设备就可以利用这些预测结果来决定哪些频率可能会打开，即使时间很短暂，也足以传输少量的数据。更精确的预测将使相互合作的无线电能够利用每一个机会去传输更多数据，而不会因为在同一时间获取相同的频率而受到干扰。现在我们希望，第二代人工智能能够学习以足够高的精度预测频谱环境，而不浪费频谱。

━━ ━━

当然，如果人工智能管理的系统不能超越传统的分配方案，那么所有这些理论都是无用的。因此，当晚在酒店房间里，Colosseum的比赛结果公布后，得知前8名的队伍中有6支取得成功，我们非常高兴！这些团队证明，当他们合作共享频谱时，他们的无线电可以比使用专用频率时共同传输更多的数据。3周后，另外4个团队也做到了，获得成功的团队总数达到10个。

我们欣喜若狂。不过，尽管结果令人鼓舞，但现在说什么时候能积极使用人工智能来管理无线电频谱还为时过早。有关DARPA重大挑战赛很重要的一点是，它们与竞赛结束时的技术状况无关。相反，这些挑战旨在确定是否可能发生根本性转变。看看DARPA在2004年举办的“自动驾驶大挑战赛”吧！又过了10年，自动驾驶技术才开始以非常有限的方式应用在商用汽车中。

总而言之，我们最初的比赛结果很鼓舞人心。到目前为止，我们已经发现，当3个无线电网络共享频谱时，其预测比4到5个团队试图共享相同的频谱时要好得多。不过，这不是终点，我们的团队正在构建更好的系统。也许，2019年10月23日，在洛杉矶世界移动通信大会美洲区的SC2锦标赛上，这些系统将比以往任何时候都能更成功地证明，人工智能操作的无线电可以合作开创一个无线通信的新时代。

作者：Paul Tilghman