平行運算：加了核心為什麼沒變快｜記憶體｜多核心｜快取｜Stanford 公開課｜CS149｜上集

大家好，我是 Jim，這裡是 AI Notebook。今天這一集，帶你把史丹佛平行運算 CS149 的前六堂課一起上完，主講的是 Kayvon Fatahalian。這六堂課在回答同一個問題：你換了一台核心數更多的機器，程式為什麼沒有變快多少。第一堂課沒有從投影片開始，講台上放了十六張紙，一個人加完花了四十秒；換成兩個人，四十一點七秒。多出來的時間，都花在把一張紙條從教室這頭送到那頭。這一集從那張紙條出發，看硬體為什麼被逼著走上平行這條路，一顆晶片裡的核心長什麼樣子（超純量、SIMD、多核心、多執行緒），快取為什麼是車庫與書桌，頻寬為什麼是一條撐不起需求的水管，以及工作要怎麼分才不會有人站在旁邊等。真正決定成敗的，從來不是算，是搬。 📌 章節 00:00 開場：一個人四十秒，兩個人四十一點七秒 01:10 Kayvon Fatahalian（Stanford）：真正決定成敗的是搬東西 04:06 Kayvon：十核心只快兩倍，開除還是加薪 07:37 Kayvon：多核心是先做減法，再複製 09:47 Kayvon：SIMD，一個控制器配八個算術單元 12:49 Kayvon：快取是車庫與書桌，一次搬一整排 14:16 Kayvon：硬體多執行緒，卡住就換下一條 17:50 Kayvon：頻寬是水管，頂級卡只用到百分之一 20:03 Kayvon：ISPC，一次派出一整組 21:34 Kayvon：工作怎麼分，靜態切還是動態拿 23:58 Kayvon：Cilk，平行度一層一層長出來 24:45 Kayvon：固有通訊與人為通訊 25:29 總結：每一個想法都在處理搬東西 📎 資料來源 • Stanford CS149 Parallel Computing（2023 秋）課程影片播放清單    • Stanford CS149 I Parallel Computing I 2023...   • CS149 第 1 講（Kayvon Fatahalian）    • Stanford CS149 I Parallel Computing I 2023...   • CS149 第 2 講（Kayvon Fatahalian）    • Stanford CS149 I Parallel Computing I 2023...   • CS149 第 3 講（Kayvon Fatahalian）    • Stanford CS149 I 2023 I Lecture 3 - Multi-...   • CS149 第 4 講（Kayvon Fatahalian）    • Stanford CS149 I Parallel Computing I 2023...   • CS149 第 5 講（Kayvon Fatahalian）    • Stanford CS149 I 2023 I Lecture 5 - Perfor...   • CS149 第 6 講（Kayvon Fatahalian）    • Stanford CS149 I Lecture 6 - Performance O...   下一集進到繪圖處理器，看它怎麼把這些想法推到極端。 #CS149 #平行運算 #Stanford公開課 #SIMD #多核心 #GPU #JimAINotebook