大型語言模型（LLMs）對無線通訊網路的影響與侷限性

-

這個月，我在一場國際學術研討會演講後，與一位來自美國加州大學聖地牙哥分校（UCSD）的博士生進行交流，他提到他正在研究大型語言模型（LLM）在6G中的應用。而恰巧最近，中國人工智慧公司深度求索（DeepSeek） 發布了其最新語言模型 DeepSeek-V3。該模型以僅約 558 萬美元的訓練成本，展現出與 GPT-4o 和 Claude-3.5-Sonnet 等頂尖模型相媲美的性能。儘管 LLM 在自然語言處理領域取得了驚人的進展，其在無線通訊網路領域的應用仍面臨不少挑戰與限制。作為一名無線通訊技術的研究者，我認為在未來五年內，LLM 對該領域帶來的技術突破可能相對有限，以下是我對這一議題的一些觀點。

1. LLMs 的特性與無線通訊需求的技術差異

LLMs 是基於大規模文字數據訓練的生成式模型，其核心功能是預測文字序列中的下一個單字或片段。然而，無線通訊網路的設計對於多層面技術需求的精準性與實時性提出了極高要求，包括頻譜效率、能量效率、超低延遲以及高可靠性。

(1) 頻譜效率挑戰：
現代無線通訊技術中，頻譜資源是一個極為有限且昂貴的資源。在毫米波（mmWave）以及太赫茲波（THz）頻段的應用中，系統需要極為複雜的信道估計與編碼技術來實現高頻譜效率。而 LLMs 缺乏處理物理通道訊息的能力，尤其是在需要基於 CSI（Channel State Information）或 RSS（Received Signal Strength）進行即時調度的場景中，無法有效參與。

(2) 延遲與實時性限制：
在 URLLC（Ultra-Reliable Low-Latency Communication）場景下，傳輸延遲需要被壓縮到微秒級別。LLMs 的推理時間由於模型規模巨大，通常難以滿足這一級別的即時性要求。此外，模型推理的算力需求可能導致邊緣設備上的功耗增加，與6G倡導的低功耗設計理念背道而馳。

2. 通訊技術的創新需要深厚的物理和數學基礎

(1) 通道建模與電磁波傳播的複雜性：
無線通訊中，通道建模是系統設計的基石，涉及多路徑效應、都普勒頻移、遮擋和干擾等因素的精確分析。這些現象通常需要基於物理規律和統計學的精細建模，而非基於自然語言數據的統計學特性來解決。例如，利用射線追蹤（Ray Tracing）技術來模擬電磁波在城市環境中的傳播特性是現有系統設計的主流方法，但這與 LLM 的訓練內容差異甚大。

(2) 協議設計的數學嚴謹性：
在 MAC（Medium Access Control）層和網路層協議設計中，演算法往往需要滿足嚴格的數學約束，例如基於賽局論的資源分配機制、凸優化問題求解以及馬爾可夫決策過程（MDP）。這些方法需要深厚的數學工具支持，而非基於語言生成的訓練模型。

結論

大型語言模型是人工智慧領域的重要進展，但其應用領域與無線通訊網路的需求存在本質差異。LLMs 的特性決定了它們在短期內無法在通訊技術的核心領域產生革命性影響。雖然 LLMs 在語意通訊（Semantic Communication）領域可能有一些應用，例如針對文本的壓縮、解碼或錯誤更正，但這些屬於特定的 Task-oriented 應用，範圍較為有限，研究者應該更加聚焦於基於物理環境和數學基礎的創新，同時對 LLMs 的輔助應用持審慎與開放的態度。這樣的平衡策略，既能確保研究資源的有效利用，也能避免因追逐科技熱點而忽視通訊技術的根本需求。

留言

張貼留言

這個網誌中的熱門文章

探索向量空間：線性代數的核心與應用

-
在多年的線性代數教學中，我發現很多同學在理解向量空間時經常遇到困難。所以這次我們要聊聊向量空間（Vector Space），這是一個在數學中非常重要且應用廣泛的概念。向量空間對於理解多維空間的各種現象非常關鍵，並且在很多工程和科學領域中都有重要的應用。 向量的基本概念 首先，來理解什麼是向量。向量是一種包含方向和大小的數學對象。在物理學中，向量經常用來描述物體的速度或作用力。廣義上，向量空間是一個集合，這個集合中的元素是向量，並且這些向量可以進行加法和數乘運算。也就是說，當你將兩個向量相加，或者用一個數字（純量）對它們進行縮放，結果依然會在這個向量空間內。 二維向量空間 例如，二維平面（例如 x-y 座標系）就是一個向量空間。在這個平面上，每一個點都可以看作是一個從原點（0, 0）到該點的向量。這些向量可以用來表示地圖上的位置。向量空間的特殊性在於它的封閉性，也就是說，對於平面上的任意兩個向量進行加法，結果仍然在這個平面內。同樣地，對向量進行純量乘法運算後的結果也會在同一空間內。 高維度向量空間 向量空間並不限於二維或三維空間，還可以擴展到更高的維度，甚至無限維度。在機器學習中，特徵空間往往是高維度的，每個樣本都可以表示為一個高維向量，這些特徵的組合形成了一個高維度的向量空間。這樣的高維結構可以幫助我們分析和建模複雜的資料，使得向量加法和純量乘法成為強大的資料處理工具。 向量空間的核心理念 向量空間的核心理念是它的封閉性和結構性：對於向量空間中的任意向量進行加法和數乘運算，結果依然在該空間內。這一特性使得向量空間在許多領域中都有著重要應用，例如在圖像處理中，我們利用向量空間對像素進行運算；在機器學習中，用向量空間表示資料集的特徵；在網路分析中，向量空間可以用來描述網路的拓撲結構。理解向量空間有助於我們更好地掌握線性代數工具，並在多維空間中進行有效的資料分析和建模。 向量空間在無線通訊和無線網路中的應用 向量空間在無線通訊和無線網路技術中有著重要的應用。例如，在現代無線通訊系統中，基站和設備之間需要高效地傳輸多個信號。這些信號可以看作是向量，並且它們組成了一個向量空間。在這個向量空間中，利用線性代數的方法可以幫助我們分離和優化這些信號，以提高傳輸效率。 另外，在無線網路中，向量空間的概念也被用於解決不同設備之間的干擾問題。比如在一個多用戶的環境中，不同用戶的設備可能同...
閱讀完整內容

理解線性代數中的正交性：從幾何概念到通訊應用

-
當我們談到線性代數中的「正交性」(Orthogonality) 時，其實是在談一種特別的「垂直」關係。這個概念聽起來可能有點抽象，但我們可以從日常生活中的幾何圖像來理解它。設想一下兩條互相垂直的直線或是兩個相交成直角的平面，這種「完全沒有重疊」的狀態，就是正交性的幾何意義。換句話說，如果兩個向量是正交的，這代表它們之間的內積 (Dot product) 為零，也就是說它們彼此之間沒有任何重疊的成分。 正交的物理意義：互不干擾的訊號 從幾何學的理解，我們可以延伸到物理世界中的應用。在通訊網路工程中，正交性的概念被廣泛地應用，尤其在訊號傳輸中具有極其重要的地位。正交性有一個直觀的物理意義—如果兩個訊號彼此正交，那麼它們在傳輸過程中就不會互相干擾。我們可以想像兩個人在同一個房間內說話，如果他們的語言互不相干，彼此之間的訊息就不會被對方影響。下面是一些正交基底在工程中的應用。 訊號處理 : 在訊號處理中，將訊號分解為正交基底的線性組合，例如傅立葉變換能夠將訊號分解為正交基底的線性組合，是因為傅立葉基底由一組不同頻率的正弦和餘弦函數組成。這些函數在整個定義域上是正交的，彼此之間的內積為零，這意味著訊號的不同頻率成分可以完全獨立地表示，這種分解方式讓我們能夠針對每個頻率成分進行獨立處理，從而更精確地對訊號進行過濾、壓縮或強化。 資料壓縮: 例如，主成分分析（PCA）利用正交基底來降低資料的維度，保留主要資訊，應用於圖像壓縮和機器學習。這樣的壓縮方式使我們可以去除資料中的冗餘部分，從而在保留關鍵特徵的同時顯著降低資料量，這對於提高計算效率和儲存空間利用率非常重要。 資料獨立性: 在統計學和機器學習中，正交基底確保資料的各個特徵之間相互獨立，避免冗餘資訊，提高模型的效能。例如，當我們在訓練一個機器學習模型時，正交基底有助於確保不同特徵之間沒有線性相關性，這可以避免模型過度擬合並提高泛化能力。 正交性在通訊技術中的應用：OFDM 技術 OFDM (Orthogonal Frequency Division Multiplexing) 是一種高效的資料傳輸技術，廣泛應用於 WiFi、4G、5G 等通訊技術中。在 OFDM 中，資料被分散到許多子載波 (sub-carriers) 上，每個子載波承載一部分資料。然而，這些子載波之間並非隨意排列，而是保持著嚴格的正交關係。這意...
閱讀完整內容

線性轉換與基底變換的應用

-
向量空間的變形魔法：線性轉換 線性轉換是線性代數的精髓之一，它就像是一種神奇的魔法，可以改變向量空間的結構。想像一下，我們在 Photoshop 裡對圖片進行放大、縮小、旋轉或拉伸，這些操作在數學上都可以用線性轉換精準地描述。圖片中的每個像素，就好比向量空間中的一個個向量，而這些變形操作，就像是對向量空間施展了線性轉換的魔法，讓空間中的關係變得更容易理解和應用。 舉個例子，當我們把圖片旋轉 90 度時，每個像素的位置都會跟著改變，但這些改變都遵循著一定的規律，這就是線性轉換的奧妙之處。 重新定義觀察的視角：基底變換 基底變換也是線性代數中一個很重要的概念，它就像是用不同的角度來看待同一個向量空間。基底就像是向量空間的座標系，當我們進行基底變換時，就像是在用不同的座標系來重新詮釋向量空間。 舉個生活化的例子，我們平常用 RGB 三原色（紅、綠、藍）來表示顏色，但有時候為了特殊的應用需求，我們可能會把 RGB 轉換成其他的顏色模型，例如強調亮度和色調的模型。這樣的基底變換，可以讓我們更有效地處理影像，例如調整顏色對比度或色調等等。 機器學習和無人機技術中的線性代數 線性轉換和基底變換在現代科技領域扮演著至關重要的角色。機器學習模型的核心在於理解和處理大量的數據，而這些數據通常以高維向量的形式存在於空間中。透過線性代數，我們可以對這些高維數據進行降維、整理和轉換，讓模型能夠以更快、更高效的方式進行學習和推論。 一個典型的例子是主成份分析（PCA），它是一種基於線性轉換的降維技術。PCA 透過找到數據集中變異數最大的方向來決定新的基底，將原始高維度的數據轉換為低維度的表示。這些低維度的表示保留了數據中最主要的變異資訊。這樣的降維過程不僅能夠減少計算複雜度，還能降低過度擬合的風險。PCA 中的降維實際上是一個線性轉換的過程，其中高維數據被投影到一個由主成份構成的新坐標系中。 在圖像識別中，我們使用卷積操作來提取圖片中的重要特徵。卷積操作本質上是對輸入數據進行線性運算，強調圖形中的關鍵細節，例如邊緣和紋理，這使得模型能夠更準確地理解和分類圖像中的內容。 線性代數在無人機技術中也扮演著關鍵角色。無人機的姿態控制和導航需要持續處理三維空間中的向量和矩陣，例如俯仰、滾轉和偏航角度等。這些參數在空間中的變化可以透過旋轉矩陣來描述。旋轉矩陣是一種常見的線性代數工具，用於表示物體在三維空間...
閱讀完整內容