YJ的科學筆記

這個月，我在一場國際學術研討會演講後，與一位來自美國加州大學聖地牙哥分校（UCSD）的博士生進行交流，他提到他正在研究大型語言模型（LLM）在6G中的應用。而恰巧最近，中國人工智慧公司深度求索（DeepSeek） 發布了其最新語言模型 DeepSeek-V3。該模型以僅約 558 萬美元的訓練成本，展現出與 GPT-4o 和 Claude-3.5-Sonnet 等頂尖模型相媲美的性能。儘管 LLM 在自然語言處理領域取得了驚人的進展，其在無線通訊網路領域的應用仍面臨不少挑戰與限制。作為一名無線通訊技術的研究者，我認為在未來五年內，LLM 對該領域帶來的技術突破可能相對有限，以下是我對這一議題的一些觀點。 1. LLMs 的特性與無線通訊需求的技術差異 LLMs 是基於大規模文字數據訓練的生成式模型，其核心功能是預測文字序列中的下一個單字或片段。然而，無線通訊網路的設計對於多層面技術需求的精準性與實時性提出了極高要求，包括頻譜效率、能量效率、超低延遲以及高可靠性。 (1) 頻譜效率挑戰 ： 現代無線通訊技術中，頻譜資源是一個極為有限且昂貴的資源。在毫米波（mmWave）以及太赫茲波（THz）頻段的應用中，系統需要極為複雜的信道估計與編碼技術來實現高頻譜效率。而 LLMs 缺乏處理物理通道訊息的能力，尤其是在需要基於 CSI（Channel State Information）或 RSS（Received Signal Strength）進行即時調度的場景中，無法有效參與。 (2) 延遲與實時性限制 ： 在 URLLC（Ultra-Reliable Low-Latency Communication）場景下，傳輸延遲需要被壓縮到微秒級別。LLMs 的推理時間由於模型規模巨大，通常難以滿足這一級別的即時性要求。此外，模型推理的算力需求可能導致邊緣設備上的功耗增加，與6G倡導的低功耗設計理念背道而馳。 2. 通訊技術的創新需要深厚的物理和數學基礎 (1) 通道建模與電磁波傳播的複雜性 ： 無線通訊中，通道建模是系統設計的基石，涉及多路徑效應、都普勒頻移、遮擋和干擾等因素的精確分析。這些現象通常需要基於物理規律和統計學的精細建模，而非基於自然語言數據的統計學特性來解決。例如，利用射線追蹤（Ray Tracing）技術來模擬電磁波在城市環境中的傳播特性是現有系統設計的主流方法，...

Transformer 模型近年來因其在自然語言處理和深度學習中的卓越表現而備受矚目，其靈活處理動態數據的能力使其在其他領域也開始展現潛力，今天我們根據一篇發表於 IEEE TMC 2025 的文章，來探討如何利用 Transformer 技術提升多無人機系統的自主控制與協調效率。 Reference: L. Yu, Z. Li, N. Ansari and X. Sun, "Hybrid Transformer Based Multi-Agent Reinforcement Learning for Multiple Unmanned Aerial Vehicle Coordination in Air Corridors," in IEEE Transactions on Mobile Computing, doi: 10.1109/TMC.2025.3532204.  1. 系統背景與研究目標 隨著無人機技術的快速發展，多無人機系統已被廣泛應用於物流配送、災害監控以及城市空中交通管理等領域。然而，如何在密集的空域中實現無人機的自主協調與高效控制，仍是一項極具挑戰的任務。在進入研究問題之前，先來介紹空中走廊的概念，它是一種設計於三維空間中的虛擬飛行通道，用來規範無人機的運行範圍，類似於地面交通中的高速公路。這些走廊通常建模為具有邊界限制的幾何結構，例如水平的截頭圓柱和連接不同高度層的部分圓環。空中走廊的主要功能是通過規範化的通道設計，降低無序飛行所導致的碰撞風險，並同時提升空域資源的利用效率，從而支持多無人機在高密度空間內的協作任務。 本論文聚焦於多無人機在三維空中走廊中的協調導航問題，致力於解決以下核心目標： 安全性 ：避免無人機間的碰撞，並保證飛行過程中不越界。 高效性 ：最小化無人機的總飛行時間，實現高效的資源調度與使用。 自主性 ：無人機基於局部感測數據進行分散式決策，而不依賴集中式控制。 由於無人機的觀測數據具有高動態性和混合結構的特性，這些目標的實現需要克服多數據處理與決策優化的技術難題。 2. 提出的方法與創新設計 為了解決多無人機協調中的挑戰，本論文提出了一個基於 Hybrid Transformer 的多智能體強化學習框架（HTransRL） ，這是一種專為多無人機系統設計的創新方法。主要包含以下關鍵設計： Transfor...