ADVANCED PACKAGING & 3D INTERCONNECTS

HBM3E / HBM4 & UCIe Chiplets
High-Bandwidth Memory (3.2+ TB/s), Direct Hybrid Bonding & Die-to-Die Protocol

HBM4 (2048-Bit Base Die) UCIe 2.0 Standard TSMC CoWoS-L / Intel EMIB Direct Cu-Cu Hybrid Bonding

การเทรนโมเดล AI ขนาดแสนล้านพารามิเตอร์กำลังเผชิญกับกำแพงคอขวดด้านหน่วยความจำ (Memory Wall) อย่างรุนแรง High Bandwidth Memory (HBM3E/HBM4) และมาตรฐานการเชื่อมต่อชิปเล็ต UCIe (Universal Chiplet Interconnect Express) คือการปฏิวัติสถาปัตยกรรมระดับ 2.5D และ 3D ขั้นสูงที่เชื่อมโยง DRAM สแตกหลายสิบชั้นเข้ากับตัวประมวลผลด้วยแบนด์วิดท์มหาศาลระดับหลายเทราไบต์ต่อวินาที

📍 CAREER ROADMAP CONTEXT

STAGE 07 — ADVANCED PACKAGING & 3D IC: 2.5D/3D Chiplet Integration
ออกแบบ Interposer, Micro-bump pitch scaling (<25um), Direct Cu-Cu Hybrid Bonding (<1um), TSV layout, UCIe PHY interface, และวิเคราะห์ Co-Design ร่วมกันระหว่าง Thermal / Power / SI ด้วย Cadence Clarity 3D / Ansys RedHawk-SC Electrothermal
Industry Tools: Cadence Integrity 3D-IC, Synopsys 3DIC Compiler, Ansys RedHawk-SC 3D, Siemens Xpedition Substrate Integrator
Related: Advanced Packaging (CoWoS/InFO) · AI Accelerators & NPU · Thermal Management in 3D IC · Chiplet Multi-Die Simulator Lab
Role: 3D-IC Packaging Engineer / Chiplet Architect / High-Speed Interconnect Specialist

01 วิกฤต Memory Wall และการก้าวสู่ยุค Chiplet Architecture

ในขณะที่ประสิทธิภาพการคำนวณของ AI Accelerators (เช่น NVIDIA Blackwell, AMD Instinct) เพิ่มขึ้นอย่างก้าวกระโดดกว่า $1,000\times$ ในรอบทศวรรษ แต่แบนด์วิดท์ของหน่วยความจำแบบเดิม (DDR5 / LPDDR5) ที่เชื่อมต่อผ่านบอร์ด PCB เพิ่มขึ้นเพียง $3-4\times$ ช่องว่างนี้ก่อให้เกิด Memory Wall ทำให้หน่วยประมวลผล Tensor Cores ต้องนั่งรอข้อมูล (Memory Starvation)

นอกจากนี้ ขนาดของชิป AI ยุคใหม่ได้ชนเพดานขีดจำกัดหน้ากากสแกนเนอร์ (Reticle Limit ขนาด $\approx 858\text{ mm}^2$) ทำให้ไม่สามารถสร้างชิปแบบชิ้นเดียว (Monolithic Die) ที่ใหญ่กว่านี้ได้ ทางออกเดียวของอุตสาหกรรมคือการแตกชิปออกเป็นชิ้นส่วนย่อย (Chiplets) แล้วนำมาประกอบเข้าด้วยกันบน Silicon Interposer ในบรรจุภัณฑ์ระดับ 2.5D และ 3D

02 วิวัฒนาการ HBM3E $\to$ HBM4 (2048-bit Bus Architecture)

ตารางเปรียบเทียบมาตรฐาน High Bandwidth Memory ข้ามยุคสมัย:

สเปกทางวิศวกรรม	HBM3 (เช่น NVIDIA H100)	HBM3E (เช่น NVIDIA H200 / B200)	HBM4 (มาตรฐานปี 2026+)
ความกว้างของบัสข้อมูล (Bus Width)	1024-bit ต่อ Stack	1024-bit ต่อ Stack	2048-bit (เพิ่มขึ้นเป็น 2 เท่า)
ความเร็วต่อพิน (Pin Data Rate)	Up to 6.4 Gbps	Up to 9.6 Gbps	Up to 10.0+ Gbps
แบนด์วิดท์สูงสุดต่อสแต็ก	819 GB/s	1.2 TB/s	> 2.5 – 3.2+ TB/s
จำนวนชั้น DRAM Stack	8-Hi / 12-Hi	8-Hi / 12-Hi / 16-Hi (36GB)	12-Hi / 16-Hi (Up to 48-64GB)
เทคโนโลยี Base Die (Buffer Die)	DRAM Process ดั้งเดิม	DRAM Process ขั้นสูง	Logic Process ขั้นสูง (TSMC/Samsung 3nm/4nm)
เทคนิคการเชื่อมต่อสแต็ก	Micro-Bumps (~35 $\mu$m)	Advanced Micro-Bumps (~25 $\mu$m)	Direct Cu-Cu Hybrid Bonding (< 1-3 $\mu$m)

03 ฟิสิกส์ Micro-Bumps vs Direct Cu-Cu Hybrid Bonding

ในโหนดการสแตก 3D การลดระยะห่างพิตช์ (Pitch Scaling) มีผลต่อคุณสมบัติทางไฟฟ้าอย่างมหาศาล:

HYBRID BONDING INTERCONNECT DENSITY & RC BENEFIT

\text{Interconnect Density} \propto \frac{1}{\text{Pitch}^2} \quad \implies \quad \left(\frac{25\mu\text{m}}{1\mu\text{m}}\right)^2 = 625\times \text{ Density Gain}

เมื่อเปลี่ยนจากบัดกรี Micro-Bump มาเป็น Direct Cu-Cu Hybrid Bonding (Wafer-to-Wafer / Die-to-Wafer) ความจุไฟฟ้าแฝง ($C_{\text{pad}}$) จะลดลงจาก $\approx 20-50\text{ fF}$ เหลือเพียง < 0.5–1.0 fF ทำให้การสูญเสียพลังงานต่อการส่งบิตลดลงเหลือ < 0.05 pJ/bit และเปิดทางให้สามารถวางช่องสัญญาณ TSV ได้นับล้านจุดต่อตารางมิลลิเมตร

04 มาตรฐาน UCIe 1.0 / 2.0 / 3D Protocol Stack

Universal Chiplet Interconnect Express (UCIe) คือมาตรฐานเปิดระดับสากลที่ก่อตั้งโดย Intel, AMD, Arm, TSMC, Samsung, Qualcomm เพื่อให้ชิปเล็ตจากต่างบริษัทและต่างโรงหล่อสามารถประกอบเข้าด้วยกันได้อย่างไร้รอยต่อ:

Protocol Layer (Top Layer)

รองรับโปรโตคอลมาตรฐานระดับโลก: PCIe 6.0/7.0 (สำหรับงาน I/O ทั่วไป), CXL 3.0/3.1 (สำหรับหน่วยความจำแชร์แคช Coherent Memory), และ UCIe Streaming Protocol (สำหรับ Direct AXI/NoC bus mapping)

Die-to-Die (D2E) Adapter Layer

จัดการ Link Management, CRC Error Checking, Flow Control และการ Re-try ข้อมูลเมื่อเกิดข้อผิดพลาดในการส่ง

Physical Layer (PHY Layer)

ควบคุมสัญญาณไฟฟ้า Analog AFE, Transmitter/Receiver Slicers, Clock Forwarding, และรองรับทั้ง Standard 2D Package (บัสยาว < 25 mm) และ Advanced 2.5D/3D Package (บัสสั้น < 2 mm แบนด์วิดท์ > 1.3 TB/s/mm)

05 แพลตฟอร์ม 2.5D/3D Packaging: CoWoS, EMIB, SoIC

เทคโนโลยีการเชื่อมต่อขั้นสูงของผู้ผลิตชั้นนำของโลก:

TSMC CoWoS (Chip-on-Wafer-on-Substrate)

CoWoS-S ใช้แผ่นซิลิคอนอินเทอร์โพเซอร์เต็มผืน (Full Silicon Interposer), CoWoS-L ใช้สะพานซิลิคอนเฉพาะจุด (Local Silicon Interconnect - LSI) ฝังใน RDL Substrate รองรับพื้นที่ขนาดใหญ่ถึง $3.3\times$ Reticle Size (เช่น ใน NVIDIA Blackwell B200)

Intel EMIB & Foveros 3D

EMIB (Embedded Multi-die Interconnect Bridge) ฝังสะพานซิลิคอนความหนาแน่นสูงลงในแพ็กเกจ Organic substrate โดยตรง ไม่ต้องใช้อินเทอร์โพเซอร์ขนาดใหญ่ และ Foveros Direct 3D สำหรับการประกบ Die บน Die ด้วย Cu-Cu Direct Bonding

06 ความท้าทายด้าน Thermal Dissipation & Signal Integrity

การอัดชิปหลายตัวลงในแพ็กเกจเดียวทำให้เกิดความท้าทายด้านฟิสิกส์:

Thermal Hotspots ใน 3D Stacks: DRAM ชั้นล่างสุดที่ติดกับ Base Die จะสะสมความร้อนสูง หากอุณหภูมิเกิน $85-105^\circ\text{C}$ จะทำให้รอบการรีเฟรช (tREFI) ถี่ขึ้นจนแบนด์วิดท์ตก ต้องใช้แผ่นระบายความร้อน Vapor Chamber และสารระบายความร้อนโลหะเหลว (Liquid Metal / TIM 1.5)
Micro-gap Underfill Voiding: ช่องว่างแคบระดับไมโครเมตรระหว่าง Die ต้องถูกเติมด้วยสารอีพ็อกซี Underfill อย่างสมบูรณ์แบบเพื่อป้องกันการเกิดฟองอากาศ (Voids) ซึ่งจะนำไปสู่รอยร้าวจาก Thermal Cycling Fatigue

07 การประยุกต์ใช้ในชิป AI ระดับเรือธง (Flagship AI Silicon)

ชิปประมวลผล AI	สถาปัตยกรรม Chiplet & Memory	แบนด์วิดท์หน่วยความจำรวม
NVIDIA Blackwell B200	2x Compute Reticle Dies เชื่อมด้วย NV-HBI (10 TB/s) + 8x HBM3E Stacks (192 GB) บน TSMC CoWoS-L	8.0 TB/s Aggregate Bandwidth
AMD Instinct MI300X	8x XCD Logic Compute Dies บน 4x I/O Base Dies (3D Hybrid Bonding) + 8x HBM3 Stacks (192 GB)	5.3 TB/s Aggregate Bandwidth
Intel Xeon Clearwater Forest	3D Foveros Direct + Intel 18A Compute Chiplets + EMIB Interconnect	Ultra-low latency Multi-Die Mesh

08 ปฏิบัติการจำลองบน Chiplet Multi-Die Simulator Lab

คุณสามารถฝึกฝนการออกแบบสถาปัตยกรรมชิปเล็ต 2.5D/3D การคำนวณแบนด์วิดท์รวม และการวิเคราะห์การใช้พลังงานได้ในห้องแล็บจำลองของ SemiMatrix:

Chiplet Multi-Die & 3D Packaging Simulator

จำลองการวาง Compute Tiles, สแต็ก HBM3E/HBM4, คำนวณ Interposer Shoreline Bandwidth และวิเคราะห์จุดความร้อนแบบเรียลไทม์

เปิดห้องแล็บ Chiplet →