《給學弟妹的矽谷 AI / Software 指南》是一個矽谷工程師自發的眾籌寫作計劃，由源來適你社群推動。這將是一個在台灣軟體學生圈內很有影響力的文章系列。已有 >10 篇準備發布，目標 100 篇並出書，歡迎 tag 強者大神來寫！

全自動駕駛的發展

特斯拉的全自動駕駛軟體已經從2014 年更新到 2024 年的 FSD v12.5，硬體從由 Mobileye 設計的 HW1.0 到現在特斯拉自研的 HW4.0，同時系統一開始除了鏡頭之外，還需要雷達 (Radar) 跟超聲波聲納 (Ultrasonics Sensor) 來輔助能見度較低的場景，到現在所謂的 Tesla Vision 只需要鏡頭就能實現全自動駕駛，不只降低了成本，由於影像資料跟雷達資料相比，相當容易取得，大大地加快了軟體發展的速度。短短十年全自動駕駛的進步令人難以想像，當然最大的推進力為「神經網絡模型」和「人工智慧硬體加速器」的發展。

這篇文章就要來聊聊，人工智慧硬體的發展，尤其在自駕電腦的架構上來討論重要的東西是什麼。

自駕電腦架構

自駕電腦需要各種嚴格的要求來達到好的自駕行為，最直觀的不外乎是運算能力，根據 Nvidia 的資料，自駕電腦至少要有辦法在 33 ms 約為相機 30 FPS 的速度處理高達 2000 萬畫素的影像 (10 個相機)，且需要約 250 兆運算吞吐量 (250 TOPS)。除此之外，自駕電腦將被使用在終端裝置，如電動車，這些裝置也會有嚴格的能耗需求，確保使用者合理的使用時間，以 Nvidia Orin 為例，其能耗介於 40W 到 60W 之間，而 Nvidia 當前最高規格的消費者 GPU 4090 Ti 約有 90 TOPS 的運算吞吐量以及 600W 的功率，可見自駕電腦的架構是極其的有效率。

究竟為什麼呢？就讓我們以 Nvidia Orin 架構為例，了解原因。

如下圖 Nvidia Orin 自駕電腦架構圖所示，一台自動駕駛電腦主要由 5 個部份組成：

1. 中央處理器 (CPU)
2. 圖形處理器(GPU)
3. AI 加速器 (Accelerator)
4. 記憶體區塊 (包含 Cache、SRAM以及 DRAM 等)
5. 安全島 (Safety Island or Safety Chip)

之所以自駕電腦可以達到強大的運算吞吐量以及省電的效率，在於有效的分工：CPU 從記憶體提取資料，提供 GPU/AI 加速器進行運算以及進行與外界溝通的橋樑，GPU 負責處理影像有關的加速以及處理較複雜的深度學習模型所需的運算，至於 AI 加速器則是針對深度學習模型運算中基本、常出現的運算模式個別做加速，達到更有效率的運算效能。

以上無不運用到「專業化 SoC」 的概念，針對自駕電腦所需要的技術規格來設計晶片，有興趣可以參考以下文章，了解更詳細的 SoC 介紹：

What is System on a Chip | 什麼是 System on a Chip (系統晶片、SoC)?

當然，最重要沒有之一為「GPU/AI 加速器」的部分，因為這兩個元件就是專門進行 AI 深度學習相關的運算，做出自駕行為的「大腦皮層部分」，擁有極強大的思考、運算能力。而這個也是業界、市場著重的效能衡量指標，擁有越高的 TOPS 代表此自駕電腦愈好，不過對一台自駕系統「好壞」衡量指標不單單只是「運算效能」而已，更重要的應該是「安全係數」。

我們剛剛唯一沒提到的安全島，可以說是自駕最重要的元件，它負責確保整個自駕電腦的安全，確保當有任何軟硬體錯誤發生時，整個系統可以做緊急處理，降低意外發生機率。

安全島的功能及架構

“That’s the function of the safety island. This is designed to fault-manage and control the rest of the system, to enable recovery of complex domains within the chip and signal failures to external systems.” — 以上擷取自 Arteris 的行銷副總 Kurt Shuler 在 Semiconductor Engineering 論壇對於安全島功能的敘述

如果自駕電腦中負責處理大量運算的 CPU、GPU、AI Accelerator 比擬做大腦的部分的話，安全島就好比「腦幹」，負責處理有即時性 (real-time) 的工作以及監控整個系統的運作情形，就如同腦幹需要負責反射動作以及維持呼吸心跳這些維持生命的基本功能，有鑑於此，安全島如果失靈的話，整個自駕系統將無法進行運作。

而如何衡量自駕電腦的安全性，我們就必須要去看電腦內所使用的元件是否有得到 ISO-26262 的認證 (道路車輛功能安全國際標準)，一台車輛的每個元件根據以下三點，定義出 ASIL A~D 的安全階級 (低風險 ~ 極高風險)

• 嚴重程度(對駕駛員及乘客造成的傷害類型): S0 ~ S3 (無傷害 ~ 致命傷)
• 發生機率(車輛是否經常接觸危害): E0 ~ E4 (極不可能 ~ 極可能)
• 可控制性 (駕駛員能阻止傷害的程度): C0 ~ C3 (可控 ~ 不可控)

而自駕電腦系統就屬於最高危害 (S3 + E4 + C3) 的组合，會需要 ASIL-D 的安全階級才能符合 ISO-26262 的規範

在了解到自駕系統需要 ASIL-D 的安全認證後，我們就能進一步去分析該使用什麼樣的硬體 IP (矽智財)、如何撰寫軟體來設計安全島晶片。

*ASIL 階級是對一整個系統進行評估，需要同時考慮到軟體跟硬體，舉例來說要達到 
ASIL-D 並不一定需要 ASIL-D 的元件，可以使用數個 ASIL-B 的元件並搭配軟
體架構來達到 ASIL-D，最終的結果是希望能達到更好的 FIT (Failure in Time，
每十億小時出錯的次數，ASIL-D 的規範為 < 10 FIT)。

這篇文章，我們從安全島晶片挑選幾個部分來介紹：

一、中央處理器 (CPU Cores)

在挑選 CPU Cores 時，通常會選擇具有雙核鎖步 (DCLS — Dual-core Lockstep) 功能的核心， 迅速偵測系統錯誤。其原理是兩個相同的處理器同時執行相同的指令，並立即比對執行結果是否一樣，如果結果不同，代表其中一個處理器有錯誤，讓系統能馬上進一步的除錯。它能偵測任何的硬體錯誤 (電子元件本身就有發生隨機錯誤 Random Failures 的風險。

DCLS 提供一個相當有效使用硬體的方式提高系統穩定性的方法，幾乎不需要撰寫什麼軟體來支援它，因此在不管航太以及汽車等高安全標準的產業下，相當重要的技術。能被使用在這些產業的晶片矽智財都會有這項功能，譬如說 Arm Cortex-R52。

當然這只是其中一項在處理器晶片達到更高安全性的技術，其他還有很多像技術列在下圖 ISO-26262 Table D 針對處理器單元推薦的安全技術

二、記憶體 (Memory)

記憶體會使用「更正錯誤記憶體」 (ECC — Error-Correcting Code memory) ，確保記憶體資料的正確性。由於宇宙充滿輻射的影響，這些電磁波都會影響電子元件的運作，對記憶體會造成單位元翻轉 (Single Bit-Flip) 的問題，改變記憶體中資料的內容。

ECC 即是用來解決這樣的問題，當處理器在存取記憶體時，會讀寫額外的加密位元，並且與欲存取的資料做比對，如果比對結果不同，代表記憶體內容出現錯誤，系統可以透過加密的位元來還原正確的記憶體內容。此是相當有效降低記憶體出錯機率的技術，大量使用在需要很高的系統穩定性的應用，如資料中心以及航太、汽車電子零件上。

三、硬體 I/O 周邊元件 (Hardware I/O Peripherals)

在設計自駕電腦系統時，需要使用多種硬體 I/O 周邊元件，例如：I2C / SPI / CAN / Ethernet 等，而這些 I/O 元件的硬體設計圖通常由其他公司提供矽智財（IP），例如 BOSCH、NXP 和 TI 等硬體大廠。最主要的重點是，這些矽智財通常標示依照 ISO-26262 規範設計，描述在設計時做過如何的安全檢驗。這不僅僅是一個認證的樣態而已，在 ISO-26262 規範了一系列從設計到驗證的的流程，也讓開發人員在設計安全攸關系統時，有個可靠的依據。

前面提到要達到更好的 ASIL 等級，我們要去觀察整體系統安全強度，因此在各個部件使用符合 ISO-26262 規範的硬體 IP ，可以幫助欲設計的系統達到更高的 ASIL 安全階級。

四、錯誤管理單元 (Fault Management Unit)

最後一個部分 — 錯誤管理單元 — 甚是安全島最重要的一個元件，這個單元接收自駕系統上各個部件的硬體錯誤訊號，每個訊號都代表各個硬體的運作狀況、健康程度，安全島接收這些信號，判斷目前自駕系統是否正常，舉例來說，當安全島收到 CPU 出現雙核鎖步的錯誤訊息，代表某一個核心的執行結果有異常，安全島可以馬上進行除錯，並紀錄各項訊息供工程師後續分析。

錯誤管理單元之所以重要，在於他是在硬體層次上的偵錯，相比於軟體上的監控，反應時間更快速，且更可靠，因為他靠的是物理世界上的訊號直接傳遞，就算軟體死當，錯誤單元還是可以可靠的偵錯。這個系統再加上冗餘 (Redundancy) 的概念，可以將系統的安全層提升到更高的層次。

現階段很多自駕電腦都擁有兩個以上的冗餘，意思就是擁有兩個同樣的自駕電腦，而彼此監控對方的健康狀況，當對方的錯誤單元偵測到錯誤時，訊息會同時送到自己的系統，以及另一個冗餘的系統，就算自己的軟體沒辦法運行，另一個電腦依然可以接管，進行除錯、記錄，錯誤管理單元可以說是除錯的最後一道防線。

更深入了解自動駕駛硬體安全

現在各方在討論無人駕駛計程車時，主要都專注在人工智慧訓練、模型的部分，譬如說該加速模型訓練、計算吞吐量，以及是否需要使用雷達、光達感測器等等，重點在軟體演算法的開發，畢竟現今還未有公司能完全解決這個問題。但當這些演算法發展成熟後，下個課題便是該如何達到「安全」。

我們可以參考航空產業的發展歷史。我認為航空的安全標準和無人駕駛車的標準有許多相似之處，因為這兩者都是極為複雜的應用，且容錯率非常低。從 1903 年人們開始嘗試製造飛機，當時大家對於「航空安全」幾乎沒有概念，畢竟當時想要造一架飛機本身就是很困難的事情。然而，隨著航空技術的發展，安全問題逐漸浮現。舉例來說，在 1924 年商用貨機每 15,000 哩就會發生一次致命事故，相當於台美來回兩次就會有一個乘客死亡，這也因此讓後續航空技術的開被重視安全、可靠，如噴射引擎的發展、飛行前機體檢驗以及導航系統。一直到百年後的現在，航空安全仍然是重要的問題。

自動駕駛技術也如此，現今我們正處於自動駕駛的早期階段，各個公司都想要開發出第一個自動駕駛的系統，自從 2015 特斯拉推出第一版開放給大眾使用的自動駕駛系統開始，也才發展到第 9 年，我們對於定義自動駕駛是否安全、法規該如何規範都還相當的模糊，不過我深信這個主題如同航空產業發展一樣，當技術成熟到某一個階段後，將開啟另一個篇章，引領未來自動駕駛百年的發展。

而如果各位對於了解安全性晶片主題有興趣的話，可以參考 Arteris 這家公司，他們旨在開發安全的矽智財供給輔助、自動駕駛系統使用，相信對於這塊領域有興趣的同學，會有很大的幫助。

參考

• Network-on-Chip (NoC) Technology - Arteris
• Manage automotive test, safety, and security with a safety island - Tessent Solutions
• Automotive Safety Island: Test, Safety, Security, ISO 26262 - Semiwiki
• NVIDIA GeForce RTX 4090 Ti Specs
• 系统可用性--冗余就够了吗？_故障冗余-CSDN博客
• 【汽车功能安全】CPU lockstep技术浅析-CSDN博客
• Testing functional safety for autonomous vehicles - NovAtel Blog
• Systematic faults and failures
• Safety Islands In Safety-Critical Hardware

https://www.automate.org/vision/industry-insights/vision-navigates-obstacles-on-the-road-to-autonomous-vehicles

小晶片 (Chiplet) 技術﹑與AMD 的比較以及 B200 的意義

Nvidia 在 2024 年的全球技術大會（GTC）上，發表了令人矚目的最新 AI 晶片 — Blackwell GPU。這款晶片標誌著 Nvidia 在 AI 領域的一大步前進，而且在性能上實現了與前代 H100 相比高達 5 倍的提升，令其在各項硬體條件上均顯得格外引人注目。具體來說，Blackwell 的功耗從 700W 增加到 1000W，而電晶體數量更是從 H100 的 800 億顆飛躍至 2040 億顆，其中最大的指標在於 Nvidia 終於開始使用 「Chiplet 小晶片」 技術，利用封裝技術將多個小裸晶 (Die) 整合再一起。

Nvidia 加入 Chiplet 行列

這是一個非常令人矚目的發展，Chiplet 技術是將不同功能模組單獨生產，然後使用先進封裝技術將多個裸晶片 (Dies) 整合在一塊晶片上。這不僅降低了設計成本和研發時間，還提高了設計的彈性和良率。這項技術在某種程度上類似於整合了不同功能模組的單晶片系統 (SoC)，但相比之下，Chiplet 技術能夠實現更高的性能和更低的成本，特別適用於高效能運算集群等場景。

而 Nvidia 的 B200 GPU 為第一個採用 Chiplet 晶片的 Nvidia 產品。這個 GPU 通過將兩塊 B100 GPU Chiplets 結合，值得一提的是，B100 本身在性能上面與前一代 H100 並無相差多少，主要是通過更先進的技術節點以及增加的記憶體來改進，但通過將兩塊 B100 結合，電晶體數目增加到高達 2040 億顆，再加上引入了更簡單的計算格式 FP4/FP6 等，實現了顯著效能提升。

與競爭對手的比較

在對比中，Nvidia 的 Blackwell（B200）與其他競爭產品相比，在技術節點、耗能、晶體管數量及大小方面均展示出其顯著的優勢。例如，B200 使用了 4NP 節點，而耗能達到 1000W，晶體管數量為 2080 億，顯著超越了其他競爭者。在運算吞吐量比 AMD 的旗艦晶片 MI300X 高多達 4 倍.

然而，我認為 Nvidia 面臨一個挑戰是如何進一步降低晶片成本和面積。從表二可以看出，儘管 B200 只使用了 2 個 Chiplets，但其面積卻是使用 12 個 Chiplets 的 MI300X 的 1.5 倍以上。這也反映了 Nvidia 和 AMD 專注在不同技術上的差異 (前者為大晶片架構，後者為小晶片架構)。

B200 未來對 Nvidia 的效益

B200 為 Nvidia 踏入 Chiplet 的第一步，我期待 Nvidia 未來能夠繼續朝小型晶片的技術發展，從而降低成本和能耗，使得性價比更加突出。但還是不能忽略其如猛獸般的硬體效能，證明了 Nvidia 在 AI 硬體領域的領先地位，不僅讓投資者放心，也提高了市場認可度。

此外黃仁勳提到一個關鍵點：現有的 H100 伺服器可以輕鬆升級至 B200，這一點對那些已經投資大量 H100 運算中心的公司來說極具吸引力。這種升級方式類似於電腦玩家升級自己桌面電腦一樣，只需更換主機板上的 CPU/GPU，即可使周邊元件支援新的晶片。B200 與現有的 H100 資料中心周邊元件相容，實現了無縫升級，這將大幅推動 B200 的快速推廣和部署。

參考資料

• Nvidia’s next-gen AI GPU is 4X faster than Hopper: Blackwell B200 GPU delivers up to 20 petaflops of compute and other massive improvements
• Understanding 3DIC, Heterogeneous Integration, SiP, and Chiplets at Once
• AMD Ryzen 3000 Series: Chiplets, 16 Cores, X570 Motherboards, and Everything Else You Need to Know

Three reasons — Usage, Image Quality and Price

Please check out English version at the bottom

我嘗試過 Apple 和 Meta 的最先進的 VR 耳機，很明顯地它們都不是完美的。 然而，如果我目前要在兩者之間進行選擇，我會選擇 Meta 而不是 Apple，原因如下。

Apple：專注於生產力； Meta：動作導向

Apple 的空間運算真正將 VR 體驗提升到了新的高度。 利用手勢的人機互動介面非常有效率，例如捏合縮放或項目選擇，這有助於執行瀏覽、影片編輯和傳簡訊等任務。 相較之下，Meta 的控制器，它們的電池電量很快就會耗盡，並且會佔用房間不必要的空間。

透過 Apple 的 Vision Pro，使用者可以執行複雜的動作，從而提高各種任務的工作效率。 然而，Meta 的平台鼓勵更動態和互動的模式。 儘管依賴控制器，但它們使 Quest 3 能夠有效處理快節奏的手部動作，非常適合體育模擬等沉浸式遊戲體驗。 就我個人而言，我發現 Les Mills Bodycombat 應用程式在 Meta 平台上特別有吸引力，展示了其積極參與的潛力。

圖像質量：Apple 領先，但 Meta 保持領先

由於採用客製化的 R1 晶片，Apple 的 Vision Pro 以其影像品質脫穎而出。 但問題是 — 它們都無法完全匹配人眼的分辨率（每隻眼睛 1.3 億像素）。 儘管 Apple 擁有令人印象深刻的 2300 萬像素，但這些場景並不會讓你覺得驚嘆不已。 同時，Meta 的 Quest 3 可能沒有那麼銳利，但仍然有自己的特色。

Meta 目前在影像品質方面可能落後於蘋果，但仍有改進的潛力 — 自研晶片。 儘管晶片設計並不像看起來那麼容易， Apple 也是走過 30 多年成為今天的樣子，不過現今科技巨頭都開始發展自己的晶片，Meta 也已經有自研晶片的經驗，他們自行研發的 MTIA 人工智慧晶片，來加快人工智慧模型運行速度。當 Meta 能在 Quest 3 做到自研晶片時，Meta Quest 3 的效能也能與 Apple 匹敵。

Deep Look into R1 chip: The Power of Apple Vision Pro | R1 晶片大剖析，Apple Vision Pro 強大之處！

Apple Vision Pro 的高成本與 Meta 的易用性

Apple 的 Vision Pro 無疑擁有令人印象深刻的硬體技術，包括促進空間運算和複雜的手部追蹤的雙 SoC。 然而，其 3500 美元的高昂價格讓包括開發商在內的許多消費者難以負擔。相比之下，售價 400 美元的 Meta Quest 3 每一次迭代都在不斷成熟。 低廉的價格可以讓更多人一起使用，促進了社交互動，使其成為與朋友聯繫和參與體育模擬等活動的多功能平台。

結論

Apple Vision Pro 堪稱令人印象深刻的科技奇蹟。 它的眼動追蹤和手部追蹤系統代表了 VR 互動的巔峰，由以徹底改變用戶電腦互動而聞名的蘋果公司完美地執行。 然而，儘管取得了這些進步，Vision Pro 的價格、生態系統和硬體仍然達不到 iPhone 那樣的突破性影響。 主要限制因素在於顯示技術； 除非 VR 視覺效果與我們自然視覺的清晰度相匹配，否則沉浸感仍然不完整，而且沉重的機器會帶來不適。 我會選擇 Meta Quest 3 而不是 Apple Vision Pro，只是因為它是目前更好、更有價值的產品。 透過讓我接觸虛擬世界，它可以為我現在的生活帶來更多好處。

— -

One More Thing…

蘋果推出 iPhone 徹底改變了智慧型手機產業，它放棄了笨重的實體鍵盤，轉而採用大觸控螢幕。 雖然我目前更喜歡 Meta Quest 3，但我堅信 Apple 在擴增實境 (AR) 方面的使用者體驗方法最終將佔上風。 蘋果擁有發現新 UI 範式的訣竅，他們透過空間運算實現的手勢非常流暢和精確，最大限度地減少了錯誤。我對蘋果在這一領域繼續創新的能力充滿信心，特別是讓他們的 AR 設備更便宜、更容易被大眾使用。 隨著價格的降低和可及性的擴大，更多的人將有機會體驗蘋果一貫提供的無縫用戶體驗。

參考資料

1. 人眼的像素
2. Meta 執行長馬克祖克柏對Apple Vision Pro 的評價

English Version:

I’ve tried the state-of-the-art VR headsets from both Apple and Meta, and it becomes evident that neither is flawless. However, if I were to choose between the two at present, I would opt for Meta over Apple, and here’s why.

Apple: Focused on Productivity; Meta: Action-Oriented

Apple’s spatial computing truly elevates VR experiences to new heights. I appreciate the ability to use hand gestures, such as pinch-to-zoom or item selection, which facilitates tasks like browsing, video editing, and messaging. In contrast, Meta’s controllers, though functional, fall short. They suffer from quick battery drainage and occupy unnecessary space in the room.

With Apple’s Vision Pro, users can execute intricate movements, enhancing productivity for various tasks. However, Meta’s platform encourages a more dynamic and interactive approach. Despite the reliance on controllers, they enable the Quest 3 to handle fast-paced hand movements effectively, ideal for immersive gaming experiences like sports simulations. Personally, I found the Les Mills Bodycombat app particularly engaging on the Meta platform, showcasing its potential for active engagement.

Image Quality: Apple Leads, but Meta Holds Its Own

Apple’s Vision Pro knocks it out of the park with its picture quality, thanks to that custom R1 Chip. But here’s the thing — neither of them quite matches the resolution of the human eye (130 million pixels per eye). Even with Apple’s impressive 23 million pixels, the scenes don’t always blow you away. Meanwhile, Meta’s Quest 3 might not be as sharp, but it still holds its own.

While Meta may currently lag behind Apple in image quality, there’s potential for improvement — custom silicon. Although chip design is not as easy as it seems, it has taken Apple more than 30 years to become what it is today. However, today’s technology giants have begun to develop their own chips. Meta also has experience in developing its own chips. They developed their own MTIA artificial intelligence chips to speed up the operation of artificial intelligence models. When Meta can develop its own chip for Quest 3, the performance of Meta Quest 3 will be comparable to Apple.

Deep Look into R1 chip: The Power of Apple Vision Pro | R1 晶片大剖析，Apple Vision Pro 強大之處！

Apple Vision Pro’s High Cost vs. Meta’s Accessibility

Apple’s Vision Pro undoubtedly boasts impressive hardware technologies, including the dual SoCs facilitating spatial computing and intricate hand tracking. Yet, its hefty price tag of $3500 places it out of reach for many consumers, including developers.

In contrast, the Meta Quest 3, priced at $400, continues to mature with each iteration. Its accessibility fosters social interactions, making it a versatile platform for connecting with friends and engaging in activities like sports simulations.

Conclusion

Apple’s Vision Pro stands as an impressive technological marvel. Its eye tracking and hand tracking systems represent the pinnacle of VR interaction, flawlessly executed by Apple, a company renowned for revolutionizing user-computer interactions. However, despite these advancements, the Vision Pro’s price, ecosystem, and hardware still fall short of making the same groundbreaking impact as the iPhone. The primary constraint lies in the display technology; unless VR visuals match the crispness of our natural vision, the immersion remains incomplete, compounded by the discomfort of heavy headsets. I will choose Meta Quest 3 over Apple Vision Pro, simply just because it is currently a better product with better value. It can provide more benefits to my current life by giving my access to virtual world.

One More Thing

Apple revolutionized the smartphone industry by introducing the iPhone, which did away with clunky physical keyboards in favor of a large touch screen. While I currently favor the Meta Quest 3, I firmly believe that Apple’s approach to user experiences in augmented reality (AR) will ultimately prevail. Apple has a knack for uncovering new UI paradigms, and their implementation of hand gestures through spatial computing is incredibly smooth and precise, minimizing errors.

I maintain confidence in Apple’s ability to continue innovating in this space, particularly by making their AR devices more affordable and accessible to the public. As they bring down prices and expand accessibility, more people will have the opportunity to experience the seamless user experiences that Apple consistently delivers.

Reference Material

• Pixels for a human eye — https://www.quora.com/How-many-pixels-for-a-human-eye/answer/Dave-Haynie
• Here’s what Meta CEO Mark Zuckerberg has to say about the Apple Vision Pro: https://www.cnbc.com/2024/02/14/mark-zuckerberg-comments-on-apples-vision-pro-.html

中文版:

English Version (中文版在下面)

With the continuous evolution of artificial intelligence technology, especially the rise of large-scale models such as deep learning, the demand for computing resources is growing rapidly. The expansion of artificial intelligence applications has caused the demand for chip computing throughput to continue to rise. In recent years, it has shown an exponential growth, which has directly led to a large demand for electric energy in the technology industry. According to the paper “Chasing Carbon: The Elusive Environmental Footprint of Computing” , the electricity energy usage of the technology industry is expected to reach 20% of the total global electricity consumption in 2030. Google also pointed out that the computing demand of artificial intelligence models will double in about 3–4 months, showing exponential rapid growth. This creates a challenging balance between the development of the technology industry and energy consumption.

Hardware manufacturing — the main culprit of carbon emissions in the technology industry

When I look at the impact of the chip industry on the environment, it reminds me of what happened in our Department of Electrical Engineering when I was in college. There was a leak of the poisonous gas “arsenide” in a semiconductor laboratory in our Department of Electrical Engineering. The incident made news, as the gas can be fatal to humans, and also caused 44 people to seek preventive medical treatment. It can be seen that the semiconductor industry will involve many highly polluting substances and will cause fatal risks to the environment and people, such as water pollution, air pollution, human health and other issues. Here we further focus on the impact on climate The largest “carbon emissions” are in the technology industry. Hardware and chip manufacturing cause the largest amount of carbon pollution.

Let’s take a look at the petroleum automobile industry first. Not only does it produce carbon dioxide when you burn petroleum while driving, but it also produces a lot of carbon dioxide during the excavation, processing, and transportation of petroleum. Finally, when you refuel, you also produce a lot of carbon dioxide at the same time. of carbon dioxide, so you can divide the sources of carbon dioxide into two parts: hardware raw material manufacturing and product use. Since the energy conversion efficiency of petroleum engines is only about 30%, while electric vehicles can be as high as 80%, for the automotive industry in “product use” There is a lot of room for improvement in carbon emissions, so the development of electric vehicles can greatly improve the carbon emissions problem.

Similarly, the carbon emissions of the technology industry can also be divided into hardware raw material manufacturing and product use. In the technology industry. The part used in the product is taken as an example of the iPhone. While its performance is getting better and better, its energy consumption is also getting better and better. Scientists are also investing a lot of resources in developing energy-saving products. Therefore, more of the carbon pollution proportion falls on the hardware obtain and manufacture. The figure below shows the proportion of carbon emissions in all aspects of Apple’s products. The red “hardware manufacturing (Manufacturing)” part accounts for about 74% of the largest amount, and the chip (Integrated Circuit) even accounts for hardware manufacturing. More than half of the total is in product use (Product Use), which accounts for only 19%.

Why does product use only account for 19%?

The continuous improvement of chip computing energy efficiency and the development of green energy data centers

As mentioned earlier, in order to pursue longer battery life of mobile devices, the technology industry continues to optimize the computing energy efficiency (Performance per Watt) of electronic products. From the design of the chip, it seeks to achieve high performance but low power consumption. For a low-cost solution, let’s compare the iPhone’s latest A15 chip with its previous generation A14 chip. The computing power increases by up to 20% without changing the energy consumption. In other words, assuming that all iPhones in Taiwan are updated from 14 to 15, it can It directly increases the total computing performance by 20%, but the total carbon emissions of product use remain the same. This allows the iPhone to run software more efficiently or support more functions to meet consumer needs.

On the other hand, I believe you have often heard about cloud computing and data centers. These things are not mainly run on the user side. Instead, there are a group of computing and storage chips connected in series behind them to use the Internet to serve a large number of Users, and these centers are also global energy behemoths. Let’s think about it. In the computer classroom in the old elementary school, was the air-conditioning never turned off? As soon as you enter the summer, you can feel the feeling of cooling down. The reason is that a large number of computers need to be kept in a low-temperature environment to maintain normal operation. The same principle applies to these computing data centers, which require a complete cooling system to handle the heat energy generated by a large number of calculations. Therefore, in addition to the chip computing energy consumption, there is also an additional cooling system energy consumption.

But if you think about it carefully, what methods do migratory birds use to survive the cold winter and mild summer? It’s migration! Nature is the best temperature regulation system.

Enterprises are very smart to take advantage of the geographical environment and develop computing and data centers in Finland. They use the local cold climate to help cool down these energy giants. Furthermore, they turn the heat energy of these data centers into heating for residents. The heat energy required by the system kills two birds with one stone and doubles the problem of carbon emissions! Microsoft will try to start doing this in 2022 to achieve the development of “green energy” data centers.

Challenges facing TSMC in Taiwan

Before discussing carbon emissions, it is worth noting Taiwan’s share of the global semiconductor industry. The latest data shows that as of the first half of 2023, Taiwan’s revenue in the global semiconductor industry accounted for more than 60%, approximately US$20 billion (the global total Revenue is approximately US$31 billion). Among them, TSMC is the largest, which highlights Taiwan’s importance in the semiconductor field. TSMC’s efforts in greening chip manufacturing not only contribute to global climate protection, but also bear an important responsibility in protecting Taiwan from pollution from wafer fabs.

First of all, wafer fabs require a lot of water and electricity. According to statistics, TSMC uses about 5–7% of Taiwan’s electricity and needs about 150,000 tons of clean pure water every day. These water resources are eventually converted into sewage, which needs to be safely discharged through sewage treatment plants. These operations will generate a large carbon footprint, and may also affect the water and electricity consumption of Taiwanese people, causing livelihood problems. In 2019, when TSMC came to NTU to recruit talents, it mentioned its plan to build a zero-emission fab using renewable energy and set a goal to achieve net-zero emissions by 2050. As a student at the time, my thought was that TSMC was actually doing these things silently, and hearing about the way their factories were designed, their power sources, and how they treated sewage, every link was covered, which greatly impressed me. Amazing. Of course, Apple continues to promote environmental protection and requires the supply chain to achieve zero carbon emissions by 2030. As an industry leader, TSMC has more or less felt huge pressure to develop such a plan. TSMC is also very confident in this goal, and even advanced the goal to 2040 this year.

Conclusion

Although the rapid development of the semiconductor industry has promoted the progress of the technology industry and made human life more convenient, we should not ignore the impact of this industry on the environment. There are billions of transistors behind a tiny chip, and it is made of complex raw materials, machinery and energy. However, scientists are constantly improving every production link to reduce carbon emissions. As people in science and technology, we can make positive contributions to environmental protection by saving water and reducing energy waste.

References

• Thesis: Chasing Carbon: The Elusive Environmental Footprint of Computing
• Google discusses the exponential growth of AI
• Finnish Development Information Center, using it to develop urban heating systems
• Microsoft develops green energy data center in Finland
• The chip industry’s impact on carbon footprint and climate
• Apple calls on global supply chain to decarbonize by 2030
• Accelerating the adoption of renewable energy, TSMC announced that the RE100 target timeline has been advanced to 2040

中文版本

前言

隨著人工智慧技術的不斷演進，尤其是深度學習等大型模型的興起，對計算資源的需求呈現快速增長。人工智慧應用的擴大使得晶片的計算吞吐量需求不斷攀升，近年來呈現一個指數型的成長，這直接導致科技產業對電力能源的大量需求，據論文《Chasing Carbon: The Elusive Environmental Footprint of Computing》指出，科技產業的電力能源使用量預計在2030年將達到全球總用電量的20%，谷歌也指出人工智慧模型的計算需求在 3–4 個月左右就翻倍，呈現指數型快速成長，這使得科技產業的發展與能源消耗之間形成了一種挑戰性的平衡。

硬體製造–科技產業碳排放的元兇

當在看晶片產業對環境的影響時，這讓我想起在念大學時，我們電機系所發生的事情，當初在我們電機系的某間半導體實驗所，發生毒氣「砷化氫」外洩的事件，造成一時新聞，此氣體是可以造成人體致命的，而且也讓 44 人預防性就醫。由此可知，半導體這個產業是會牽扯到許多高汙染性物質，並會對環境以及人員造成致命風險，如水源汙染、空氣汙染、人體健康等問題，而在這邊我們進一步聚焦在對於氣候影響最大的「碳排放」，在科技產業這一環中，硬體、晶片製造所造成的碳汙染為最大宗。

我們先看看石油汽車產業，不僅僅是當你在開車時燃燒石油會製造二氧化碳，乃至在石油的挖取加工，到後面的運送，最後當你在做加油的這個動作時，也同時製造很多的二氧化碳，因此你可以將二氧化碳的來源分成兩大部分：硬體原料製造跟產品使用，由於石油引擎的能源轉換效率只有 30% 左右，而電動車可以高達 80%，對於汽車產業在「產品使用」的碳排放是有很大的進步空間的，因此電動車的發展，可以大大改善碳排放的問題。

同樣地，科技產業的碳排放也可以區分為硬體原料製造跟產品使用。在科技產業中．產品使用的部分已 iPhone 來舉例，其效能愈來愈進步的同時，耗能也愈來愈好，科學家也挹注很多資源在開發出節能的產品，因此更多的碳汙染比例落在硬體的取得及製造。下圖呈現的是 Apple 的所有產品在各個環節中所佔的碳排放比例，而紅色「硬體製造 (Manufacturing)」的部分占最大宗約 74%，晶片(Integrated Circuit) 甚至占了硬體製造部份的一半以上，相對來說在產品使用 (Product Use) 上面只佔了 19%.

而為何在產品的使用只占 19% 呢?

晶片運算能料效率不斷進步，以及綠能資料中心的發展

前面有提到，為了追求更長的行動裝置電池使用時間，科技業不斷的去針對電子產品進行運算能源效益 (Performance per Watt) 的優化，從晶片的設計上去尋求同時效能強大，但功耗又低的解決方案，我們來比較 iPhone 最新的 A15 晶片以及其上一代 A14 晶片，運算能力在耗能不變的情況下，增加高達 20%，換言之，假設全台灣的 iPhone 從 14 更新到 15，可以直接讓總運算效能提升 20%，但產品使用的總碳排放量卻維持不變。這使得 iPhone 可以更省能的去運行軟體，抑或者支援更多的功能，來滿足消費者的需要。

另一方面，相信各位也常常聽到雲端計算、資料中心，這些東西主要不會在使用者端去運行，而是在背後有一群的計算、儲存晶片串接在一起，利用網路服務大量的使用者，而這些中心也是全球的能量巨獸。大家回想一下，以前的小學的電腦教室，是不是冷氣都沒有停過？夏天一進去就能感受消暑的感覺，原因就是大量的電腦需要在低溫環境來保持正常運作。同樣的道理套用在這些計算資料中心，需要完善的冷卻系統，去解決大量計算所產生的熱能，因此除了晶片計算能耗外，又多加了一個冷卻系統的能耗。

但你仔細去想，候鳥利用什麼方法來度過寒冬、溽夏呢？就是遷徙！大自然就是最棒的溫度調節系統。

企業很聰明的去利用地理環境的優勢，在芬蘭發展計算、資料中心，利用當地寒冷氣候去幫這些能量巨獸降溫，更進一步的是，再將這些資料中心的熱能，變成提供居民的暖氣系統所需的熱能，一石二鳥，加倍解決碳排放的問題！微軟在 2022 年嘗試開始這樣做，去達到「綠能」資料中心的發展。

台灣台積電所面臨的挑戰

在討論碳排放之前，值得注意的是台灣在全球半導體產業的占比，最新數據顯示，截至2023年上半年，台灣在全球半導體產業的收益佔比超過六成，約高達200億美金（全球總收益約310億美金）。其中，台積電為最大宗，這突顯了台灣在半導體領域的重要性。台積電在晶片製造綠能化方面的努力，不僅有助於全球氣候保護，也在保護台灣免受晶圓廠的汙染方面負有重要責任。

首先，晶圓廠需要大量的水以及電，根據統計，台積電約使用全台 5–7% 的電力，每天約需要使用 15 萬噸的乾淨純水。這些水資源最終轉化為汙水，需要透過汙水處理廠進行安全的排放。這些操作將產生大量的碳足跡，同時也可能對台灣民眾的用水用電產生影響，造成民生問題。而在 2019 年，台積電來台大電機徵才時即提到利用再生能源興建零排放的晶圓廠的計畫，並設定目標在 2050 年達到淨零排放。我當時身為學生的想法就是，台積電竟然有默默在做這些事情，而聽了他們工廠設計的方式，乃至於他們的電力來源，到他們怎麼處理汙水，各個環節都有去著墨，讓我大大驚艷，當然 Apple 不斷地提倡環保，對供應鏈要求 2030 年能達到零碳排放，身為產業龍頭的台積電，或多或少也感受到龐大的壓力，促使其發展這樣的計畫。而台積電也對此目標相當有信心，甚至在今年將目標提前至 2040年，。

結語

半導體產業的高速發展雖然帶動了科技行業的進步，使人類生活更加便利，但我們不應忽視這個產業對環境的影響。一片微小的晶片背後蘊含數十億顆電晶體，是由複雜的原料、機具和能源製造而成。然而，科學家們正不斷改進每個生產環節，以減少碳排放。作為科技人，我們可以通過節約用水、減少能源浪費等方式，為環境保護作出積極的貢獻。

參考資料

論文：Chasing Carbon: The Elusive Environmental Footprint of Computing

谷歌探討 AI 的指數型成長

芬蘭發展資料中心，使用其發展城市暖氣系統

微軟發展在芬蘭發展綠能資料中心

晶片產業對碳足跡以及氣候所造成的影響

Apple calls on global supply chain to decarbonize by 2030

加速採用再生能源 台積公司宣布 RE100 目標時程提前至 2040 年

全球晶片綠能化的挑戰 | Chip Industries’ Combats to Climate Change was originally published in Insights the Chips World | 洞悉晶片的世界 on Medium, where people are continuing the conversation by highlighting and responding to this story.