YJ的科學筆記

近年來，大型語言模型（Large Language Models, LLM）如 ChatGPT 席捲全球，不僅能寫程式、生成文章，甚至能通過一些專業考試。很多人因此認為這就是「人工智慧」的終極形態。 但強化學習（Reinforcement Learning, RL）的奠基者之一 Richard Sutton 卻持不同看法——他認為 LLM 是一條「死胡同」，而真正的智慧必須回到 RL 的核心：和世界互動、嘗試、犯錯，並學會從後果中成長。 以下整理 Sutton 的觀點，以及我對這些觀點的延伸思考。 1. LLM 只是模仿，而 RL 在學習世界如何運作 LLM 的學習方式，本質上是「模仿」：它透過龐大的文本資料學習「人類在特定語境下會說什麼」，因此能很擅長接話或補完句子。 但這樣的學習過程並沒有觸及世界的因果規律。對 LLM 而言，重力、摩擦、推力、甚至「如果我推倒一個積木會發生什麼」這些，都只是文字裡的描述，而不是它透過經驗學到的真實規則。 相反地，RL 是一個 行動－回饋循環 ：它讓智能體（agent）在環境中採取行動，觀察結果，然後根據「獎勵」來調整策略。這種方式更接近人類與動物的學習方式。 2. 真正的智慧來自「與世界互動」 嬰兒學走路、學說話，並不是因為有人給他一個完整的「語料庫」；而是因為他們跌倒過、模仿過、嘗試過，最後才逐漸掌握規律。 智慧不是被動地「吸收」文字，而是來自主動的探索。 智慧 = 嘗試 + 觀察 + 修正 。 3. 目標智慧的核心 LLM 的唯一目標是「預測下一個詞」，這是一個 封閉的、與現實脫節的目標 。它沒有在真實世界中「成功」或「失敗」的概念。 相對的，RL 的目標是最大化獎勵，例如走迷宮要走到出口、打籃球要把球投進籃框。這些目標讓智能體有了明確的方向，能區分「好」與「壞」，並因此不斷改進。 就像籃球練習一樣： 模仿別人投籃的動作（LLM）不代表你能投進球，但透過一千次投籃並調整角度（RL），你才真正學會如何投進球。 4. LLM 與 RL 的關係：模仿 + 試錯 這並不是說 LLM 一無是處。LLM 可以幫助我們快速掌握知識、模仿專家語言，甚至在早期給 RL 提供參考的啟發。 但若要走向真正的智慧， RL 的試錯學習必不可少 。模仿只能給你一個起點，真正的進步來自與世界的互動。 5. 為什麼機器人是關鍵？ Sut...

AI正在取代入門工作：職涯的第一階不見了 我們正處於一個劇變的時代。人工智慧（AI）不再是科幻電影的場景，而是已經實實在在走入我們工作場域的夥伴，甚至是競爭者。它正以驚人的速度重塑產業樣貌，特別是對於那些剛要踏入職場的年輕人來說，這股浪潮的衝擊尤其猛烈。 過去，職涯發展就像一座有著清晰階梯的巨塔，我們從最底層的入門級工作開始，按部就班、累積經驗，一步步向上攀升。然而，AI的出現，正悄悄地拆解著這座階梯的第一階。 消失的第一階：當AI成為你的第一個同事 曾幾何時，審查合約細節、在成千上萬行程式碼中找出那微小的錯誤（debug）、或是處理日復一日的基礎客戶服務，這些是新鮮人踏入職場的「成年禮」。這些任務雖然基礎，卻是學習產業知識、熟悉工作流程、建立人際網絡的關鍵起點。 現在，情況不同了。 AI，特別是大型語言模型（LLM），已經能夠高效、甚至更精準地執行這些任務。AI可以24小時不間斷地審閱法律文件、在幾秒鐘內定位程式碼的 bug，並透過聊天機器人處理超過八成的客服問題。當這些傳統的入門級任務被自動化，那原本為新鮮人預留的「職涯第一階」，正在快速地消失。 這不僅僅是工作機會的減少，更是一種學習路徑的斷裂。如果沒有了這些基礎崗位的歷練，我們要如何獲得那些隱藏在繁瑣任務背後的寶貴經驗？ 技術驅動兩極化：要嘛平庸，要嘛卓越 AI的崛起，讓工作世界進一步朝向「M型社會」發展。 一個很好的例子是軟體工程師。過去，一位僅僅「水平一般」的工程師，或許憑藉著市場需求，仍能找到一份足以溫飽的工作。但在今天，當AI可以自動生成基礎程式碼、協助除錯時，這位工程師的價值就被大幅削弱。企業為什麼要聘用一個表現平平的人，而不去善用更高效、成本更低的AI工具？ 與此同時，一位「頂尖」的工程師，卻能將AI玩轉得出神入化。他利用AI作為思考的延伸、創意的輔助，自動化那些耗時的基礎工作，將所有精力專注於更高層次的系統架構、演算法優化和創新研發上。AI不是取代他，而是賦能他，讓他一個人的產出，能夠匹敵過去一個小型團隊。於是，他的收入和價值將呈現指數級的增長。 這並非新鮮事。回顧歷史，從石器時代的鋒利石斧，到工業革命的蒸汽機，再到資訊時代的電腦， 技術的革新總是不斷拉開個體回報的差距 。因為，收入的下限永遠是零，但技術卻一次次地為能力的上限提供了新的想像空間，讓頂尖人才的回報沒有天花板。 在AI時代，平庸的...

當人生遇上挫折、意外或低潮，我們常會問自己一句話： 「如果我當時不那麼做，是不是就不會發生這些事了？」 這種想法幾乎人人都曾有過。但某天我突然問了自己另一個更特別的問題： 「如果我真的能回到過去，能阻止那場意外發生嗎？」 這樣的思考，讓我走入了一個讓許多對科學有興趣的人都著迷的領域—— 時間旅行 。從物理的角度來看，時間旅行在某些理論框架中確實是可行的。但真正重要的問題是： 我們能靠時間旅行改變過去嗎？ 目前多數物理學的結論傾向於： 不能 。以下是兩個重要的理論依據： 一、歷史為什麼不能被改變？ ✦ 諾維科夫自洽性原則（Novikov Self-Consistency Principle） 這項理論是廣義相對論的延伸，主張只要是可能發生時間旅行的宇宙，所有事件都必須是 自洽的 。也就是說，你可以回到過去，但無法做出違反歷史既有發展的行為。 舉個例子：你想回到過去阻止自己受傷，但結果卻是因為你的介入，才導致那場傷害的發生。這時，你的「阻止行動」反而成了歷史的一部分。 換句話說，你可以參與過去，但 無法修改它 。 ✦ 量子統計力學的補充觀點 近年的研究從量子與熱力學的角度，進一步加強了這個想法： 在封閉類時曲線（CTC）中，時間與能量是離散化的，不是連續可調的。 系統的熵（亂度）有一個上限，這防止了時間的無限重複。 在過去的任何一個時間點，只會存在一個你，也只會發生一種歷史。 這意味著：即使你穿越時空，宇宙也會透過物理機制自動「修正」所有矛盾，使歷史保持一致。 沒有平行版本的你，也沒有另一次機會。 二、那未來呢？我的努力還有意義嗎？ 當過去已成定局，下一個讓人在意的問題是： 「那我的未來也是注定的嗎？我現在的努力還有意義嗎？」 這其實是個更難的問題，但也更貼近我們的生活與選擇。 目前物理學對「未來是否已被預設」 尚無定論 。但可以肯定的是， 沒有任何理論能證明未來是完全固定的 。這代表我們仍有希望——仍有可能主導自己的未來。 三、三種理論視角，重新思考「命運」 ✦ 相對論：現在不是絕對的 根據愛因斯坦的 相對論 ，時間並不是全宇宙統一的節奏。不同的觀察者，在不同的參考系中，對「現在」的定義都可能不同。 這暗示：未來並不是線性排好的車站時間表，而更像是一張路線圖，有許多交錯、岔路與選擇。 ✦ 多世界詮釋（Many-Worlds Inte...

人類對「外星生命」的好奇從未停止過。但我們是否太習慣以地球為模板，認為生命必須由碳構成、依賴水存活、具備細胞？如果我們換個角度，從能量與資訊的觀點出發，會不會打開另一扇探索宇宙的窗？ 🌌 引力波：宇宙中的另類通訊信號？ 近年來，引力波的發現讓我們首次「聽見」宇宙在時空層面的震動。這種現象不依靠光或電磁波，而是透過 時空本身的擾動 傳播訊息，源自黑洞、中子星等極端天體的劇烈活動。 這讓人產生一個發人深省的問題： 如果宇宙中存在外星文明，他們會使用什麼方式傳遞訊息？只有無線電波嗎？還是可能有我們未曾理解的通訊形式？ 在假設外星文明科技遠超我們的前提下，他們可能已經掌握或甚至創造出 操控或辨識引力波訊號 的能力，而這種訊號在人類尚未發展出相對應技術之前，自然難以察覺。 🔥 熵與生命：為何生命是宇宙中的異數？ 宇宙的自然趨勢是「熵增」──也就是無序化、不確定性提升。星體最終會熄滅，能量逐漸均勻擴散，整個宇宙朝著熱寂邁進。 但生命卻恰恰相反。 它吸收能量、排出雜亂物質，維持自身結構穩定。無論是一朵植物、一個細胞，還是一個人類社會， 生命都是在與熵增抗衡的系統 。 這種現象有幾個特徵： 能主動調整自身以適應外部環境。 維持有序結構並排除雜訊。 以最低的能耗完成複雜的資訊處理。 換句話說， 生命就像是一個持續在進行「局部熵減」的資訊處理機器 。 💻 資訊處理與生命行為：有意識的運算 將生命視為一種資訊系統，是當代科學中一個越來越受到重視的觀點。這樣的系統通常具備以下能力： 感知輸入 ：像是感覺器官、化學受體或天線。 處理與儲存 ：如神經網路、大腦或演算法。 作出反應 ：例如行為表現、生化反應或能量轉換。 這樣的模型，不僅適用於人類與動物，甚至也出現在某些非生物系統中，例如人工智慧或複雜的自動化裝置。 資訊輸入、處理與回饋的行為，是生命存在的一個潛在共通語言。 當我們未來在宇宙中觀測到某個系統展現出這樣的訊息處理行為時，即使它與我們完全不同，我們也許就可以合理推論它是「生命」的一種形式。 🧬 不同形式的生命與辨識方法 如果我們放棄生命必須長得像地球生命的想法，那麼我們該怎麼判斷一個系統是不是「活的」？ 以下是幾個可能的標準： 能持續處於非平衡狀態 ：表示它有內部能量與外部能量交換機制。 對環境...

在當今 AI 領域， 知識蒸餾（Distillation） 是一個重要的技術，它的核心概念來自於一個簡單的觀察： 可以將一個大型、複雜的模型（Teacher Model）所學習到的知識，壓縮並傳遞給一個較小的模型（Student Model），使其在效能上仍然表現優異。 這樣的技術不僅能夠降低運算成本，還能讓小模型在較少資源的情境下發揮高效的推理能力。例如，大型的 Transformer 模型如 GPT-4 或 BERT，可以透過知識蒸餾將精華萃取出來，轉移到更小、更輕量的模型，使其更容易部署在行動裝置或邊緣運算設備上。 然而，這個概念並不僅適用於 AI， 它與教育的本質驚人地相似 。 從知識蒸餾到教育傳承：教師與學生的互動 在教育現場，老師與學生的關係其實就像是 Teacher Model 與 Student Model 之間的知識蒸餾過程。 1. Teacher Model（老師）— 見識廣博但龐大 老師經歷了長年的學習與研究，閱讀過大量的文獻、參與過各種研究計畫，掌握龐大的知識與經驗。但這些知識如果不經過整理和提煉，直接傳授給學生，學生往往無法完全吸收。 2. Student Model（學生）— 學習並提煉精華 學生相較於老師，模型較小（經驗較少、知識較淺），但學生有一個優勢： 學生可以透過與老師的互動，學習老師的精華知識，並在內化後發展出自己的高效學習與研究方法。 在這個過程中，老師不只是單純地傳授知識，而是將知識提煉、轉化成學生能夠理解、內化的形式，這正是教育的價值所在。 AI 世代下的師生互動：如何讓知識傳承更有效？ 在 AI 世代，我們的學習方式正經歷轉變，師生互動的模式也應該適應新時代的需求。以下幾點是可以參考的做法： 1. 注重啟發式教學，而非單向灌輸 知識蒸餾的一個關鍵技巧是 軟標籤（Soft Labels） ，它能讓 Student Model 不只是學習最終答案，而是學會 如何 得出答案。同樣地，在教育中，老師不應只是單純地給學生標準答案，而是應該引導學生思考 為什麼這個答案是對的？如果條件改變，會產生什麼影響？ 2. 給學生適當的挑戰，促進自主學習 一個好的 Teacher Model 會讓 Student Model 在學習的過程中適度挑戰，讓它能夠成長。在教育中也是如此，老師需要根據學生的學習狀況，設計適當的問題與任務，讓學生在解...

當我們談到線性代數中的「正交性」(Orthogonality) 時，其實是在談一種特別的「垂直」關係。這個概念聽起來可能有點抽象，但我們可以從日常生活中的幾何圖像來理解它。設想一下兩條互相垂直的直線或是兩個相交成直角的平面，這種「完全沒有重疊」的狀態，就是正交性的幾何意義。換句話說，如果兩個向量是正交的，這代表它們之間的內積 (Dot product) 為零，也就是說它們彼此之間沒有任何重疊的成分。 正交的物理意義：互不干擾的訊號 從幾何學的理解，我們可以延伸到物理世界中的應用。在通訊網路工程中，正交性的概念被廣泛地應用，尤其在訊號傳輸中具有極其重要的地位。正交性有一個直觀的物理意義—如果兩個訊號彼此正交，那麼它們在傳輸過程中就不會互相干擾。我們可以想像兩個人在同一個房間內說話，如果他們的語言互不相干，彼此之間的訊息就不會被對方影響。下面是一些正交基底在工程中的應用。 訊號處理 : 在訊號處理中，將訊號分解為正交基底的線性組合，例如傅立葉變換能夠將訊號分解為正交基底的線性組合，是因為傅立葉基底由一組不同頻率的正弦和餘弦函數組成。這些函數在整個定義域上是正交的，彼此之間的內積為零，這意味著訊號的不同頻率成分可以完全獨立地表示，這種分解方式讓我們能夠針對每個頻率成分進行獨立處理，從而更精確地對訊號進行過濾、壓縮或強化。 資料壓縮: 例如，主成分分析（PCA）利用正交基底來降低資料的維度，保留主要資訊，應用於圖像壓縮和機器學習。這樣的壓縮方式使我們可以去除資料中的冗餘部分，從而在保留關鍵特徵的同時顯著降低資料量，這對於提高計算效率和儲存空間利用率非常重要。 資料獨立性: 在統計學和機器學習中，正交基底確保資料的各個特徵之間相互獨立，避免冗餘資訊，提高模型的效能。例如，當我們在訓練一個機器學習模型時，正交基底有助於確保不同特徵之間沒有線性相關性，這可以避免模型過度擬合並提高泛化能力。 正交性在通訊技術中的應用：OFDM 技術 OFDM (Orthogonal Frequency Division Multiplexing) 是一種高效的資料傳輸技術，廣泛應用於 WiFi、4G、5G 等通訊技術中。在 OFDM 中，資料被分散到許多子載波 (sub-carriers) 上，每個子載波承載一部分資料。然而，這些子載波之間並非隨意排列，而是保持著嚴格的正交關係。這意...

向量空間的變形魔法：線性轉換 線性轉換是線性代數的精髓之一，它就像是一種神奇的魔法，可以改變向量空間的結構。想像一下，我們在 Photoshop 裡對圖片進行放大、縮小、旋轉或拉伸，這些操作在數學上都可以用線性轉換精準地描述。圖片中的每個像素，就好比向量空間中的一個個向量，而這些變形操作，就像是對向量空間施展了線性轉換的魔法，讓空間中的關係變得更容易理解和應用。 舉個例子，當我們把圖片旋轉 90 度時，每個像素的位置都會跟著改變，但這些改變都遵循著一定的規律，這就是線性轉換的奧妙之處。 重新定義觀察的視角：基底變換 基底變換也是線性代數中一個很重要的概念，它就像是用不同的角度來看待同一個向量空間。基底就像是向量空間的座標系，當我們進行基底變換時，就像是在用不同的座標系來重新詮釋向量空間。 舉個生活化的例子，我們平常用 RGB 三原色（紅、綠、藍）來表示顏色，但有時候為了特殊的應用需求，我們可能會把 RGB 轉換成其他的顏色模型，例如強調亮度和色調的模型。這樣的基底變換，可以讓我們更有效地處理影像，例如調整顏色對比度或色調等等。 機器學習和無人機技術中的線性代數 線性轉換和基底變換在現代科技領域扮演著至關重要的角色。機器學習模型的核心在於理解和處理大量的數據，而這些數據通常以高維向量的形式存在於空間中。透過線性代數，我們可以對這些高維數據進行降維、整理和轉換，讓模型能夠以更快、更高效的方式進行學習和推論。 一個典型的例子是主成份分析（PCA），它是一種基於線性轉換的降維技術。PCA 透過找到數據集中變異數最大的方向來決定新的基底，將原始高維度的數據轉換為低維度的表示。這些低維度的表示保留了數據中最主要的變異資訊。這樣的降維過程不僅能夠減少計算複雜度，還能降低過度擬合的風險。PCA 中的降維實際上是一個線性轉換的過程，其中高維數據被投影到一個由主成份構成的新坐標系中。 在圖像識別中，我們使用卷積操作來提取圖片中的重要特徵。卷積操作本質上是對輸入數據進行線性運算，強調圖形中的關鍵細節，例如邊緣和紋理，這使得模型能夠更準確地理解和分類圖像中的內容。 線性代數在無人機技術中也扮演著關鍵角色。無人機的姿態控制和導航需要持續處理三維空間中的向量和矩陣，例如俯仰、滾轉和偏航角度等。這些參數在空間中的變化可以透過旋轉矩陣來描述。旋轉矩陣是一種常見的線性代數工具，用於表示物體在三維空間...

在多年的線性代數教學中，我發現很多同學在理解向量空間時經常遇到困難。所以這次我們要聊聊向量空間（Vector Space），這是一個在數學中非常重要且應用廣泛的概念。向量空間對於理解多維空間的各種現象非常關鍵，並且在很多工程和科學領域中都有重要的應用。 向量的基本概念 首先，來理解什麼是向量。向量是一種包含方向和大小的數學對象。在物理學中，向量經常用來描述物體的速度或作用力。廣義上，向量空間是一個集合，這個集合中的元素是向量，並且這些向量可以進行加法和數乘運算。也就是說，當你將兩個向量相加，或者用一個數字（純量）對它們進行縮放，結果依然會在這個向量空間內。 二維向量空間 例如，二維平面（例如 x-y 座標系）就是一個向量空間。在這個平面上，每一個點都可以看作是一個從原點（0, 0）到該點的向量。這些向量可以用來表示地圖上的位置。向量空間的特殊性在於它的封閉性，也就是說，對於平面上的任意兩個向量進行加法，結果仍然在這個平面內。同樣地，對向量進行純量乘法運算後的結果也會在同一空間內。 高維度向量空間 向量空間並不限於二維或三維空間，還可以擴展到更高的維度，甚至無限維度。在機器學習中，特徵空間往往是高維度的，每個樣本都可以表示為一個高維向量，這些特徵的組合形成了一個高維度的向量空間。這樣的高維結構可以幫助我們分析和建模複雜的資料，使得向量加法和純量乘法成為強大的資料處理工具。 向量空間的核心理念 向量空間的核心理念是它的封閉性和結構性：對於向量空間中的任意向量進行加法和數乘運算，結果依然在該空間內。這一特性使得向量空間在許多領域中都有著重要應用，例如在圖像處理中，我們利用向量空間對像素進行運算；在機器學習中，用向量空間表示資料集的特徵；在網路分析中，向量空間可以用來描述網路的拓撲結構。理解向量空間有助於我們更好地掌握線性代數工具，並在多維空間中進行有效的資料分析和建模。 向量空間在無線通訊和無線網路中的應用 向量空間在無線通訊和無線網路技術中有著重要的應用。例如，在現代無線通訊系統中，基站和設備之間需要高效地傳輸多個信號。這些信號可以看作是向量，並且它們組成了一個向量空間。在這個向量空間中，利用線性代數的方法可以幫助我們分離和優化這些信號，以提高傳輸效率。 另外，在無線網路中，向量空間的概念也被用於解決不同設備之間的干擾問題。比如在一個多用戶的環境中，不同用戶的設備可能同...

隨著科技的日新月異，6G 通訊技術正引領著未來的發展，其中最關鍵的概念之一就是「語意通訊」（Semantic Communication）。它不再只是單純提升資料傳輸速度，更是一場通訊方式的革命——焦點不再是精準傳遞每個位元或資料，而是訊息背後的「意涵」。 為了讓大家更容易理解這個概念，我們不妨來看看 6G 語意通訊和我們日常使用語言時，大腦運作模式之間的奇妙相似之處。 語言與大腦：編碼與解碼的藝術 試想一下，當你想跟朋友分享一個想法時，首先，這個想法會在你腦海中成形，這就是「語意」。但我們無法直接傳遞這個抽象的語意，而是會透過語言，將它編碼成具體的語言符號，例如中文或英文。這個過程就像是大腦中的「編碼器」（encoder），將想法轉換成他人能理解的語言符號。 而當你的朋友聽到或看到你的話語時，他的大腦就扮演了「解碼器」（decoder）的角色，依循語言規則將這些符號轉化為心中的意涵。有趣的是，朋友並不會執著於每個字句的表面意義，而是試圖理解你真正想表達的意涵。這和 6G 語意通訊的理念不謀而合。 6G 語意通訊：擺脫資料傳輸的束縛 6G 語意通訊致力於打破傳統通訊只重資料精確傳輸的限制。在現今的通訊系統中，我們追求的是傳遞每一個位元、每一個位元組，確保資料完整無誤。然而，這種方式在許多情況下反而造成資源浪費。舉例來說，如果雙方擁有相似的背景知識，發送端其實只需要傳遞足夠的資訊，讓接收端理解整體意涵即可，不必逐字逐句傳送。 這就如同我們與朋友交談一樣。當你和熟悉某個話題的朋友聊天時，你可能會省略一些細節，因為你知道對方可以憑藉自身的知識推斷出你想表達的意思。語意通訊正是基於這個原理：它著重於傳遞「有意義的訊息」，而非單純傳送資料。 語言編碼：殊途同歸 不同的語言，例如中文和英文，雖然語法結構和表達方式迥異，但它們的核心任務都是相同的：傳遞語意。這就像不同的「編碼方式」：中文是一種編碼系統，英文是另一種。無論使用哪種語言，我們的大腦都是將抽象的語意轉換為符號，並透過語言規則進行交流。 同樣地，6G 語意通訊系統中的編碼器和解碼器也負責將訊息的語意進行編碼與解碼。在這個過程中，編碼器不必鉅細靡遺地傳送每個細節，而是透過語意理解，讓接收端根據接收到的訊息片段和背景知識重建完整的語意。如此一來，不僅提升效率，還能節省大量的通訊資源。 結語 人類大腦處理語言的方式與 6G 語...