Cornelis Network นำ Omni‑Path มาใช้แทน InfiniBand ในคลัสเตอร์ Lynx ของ DOE

กระบวนการสร้างคลัสเตอร์ซูเปอร์คอมพิวเตอร์ใหม่ของกระทรวงพลังงานสหรัฐ (DoE) ที่ห้องปฏิบัติการลอว์เรนซ์ ไลเวอร์มูล (LLNL) ได้นำเทคโนโลยีเครือข่าย Omni‑Path ของบริษัทสตาร์ท‑อัพที่แยกตัวจาก Intel, Cornelis Network, มาใช้เป็นตัวเชื่อมต่อหลัก แทนการพึ่งพา InfiniBand หรือ Slingshot ของ HPE Cray ทั้งนี้เพื่อเพิ่มประสิทธิภาพการสเกลของระบบที่ชื่อ Lynx

การเลือกใช้ Omni‑Path นี้เป็นสัญญาณว่าตลาดเครือข่ายความเร็วสูงสำหรับ HPC กำลังเปิดรับผู้เล่นใหม่ และอาจเปลี่ยนแปลงโครงสร้างของโซลูชันเชื่อมต่อในศูนย์ข้อมูลระดับโลกได้ในอนาคต

Overview

คลัสเตอร์ Lynx ประกอบด้วย 952 โหนด Dell Technologies PowerEdge ที่ใช้โปรเซสเซอร์ Intel รุ่นที่ 4 ของตระกูล Xeon Scalable (โค้ดเนม Sapphire Rapids) ระบบนี้ได้รับการสั่งซื้อโดย **National Nuclear Security Administration (NNSA) เพื่อเพิ่มศักยภาพการคำนวณของงานที่มีความลับสูงสุดในสหรัฐอเมริกา

สิ่งที่ทำให้ Lynx แตกต่างจากคลัสเตอร์อื่นของ DoE คือการเลือกใช้สวิตช์และ NIC ของ Cornelis Network รุ่น CN5000 ซึ่งให้ความเร็วการเชื่อมต่อ 400 Gbps พร้อมอัตราการสเกลที่ใกล้เคียงเชิงเส้นกับการเพิ่มจำนวนโหนด การตัดสินใจนี้สะท้อนถึงความต้องการของหน่วยงานที่ต้องการความเสถียรและประสิทธิภาพสูงสุดโดยไม่ต้องพึ่งพาโซลูชันของผู้ผลิตหลักอย่าง Nvidia หรือ HPE

System Details

โครงสร้างของ Lynx มีลักษณะเฉพาะตามที่ได้เปิดเผยโดยผู้จัดทำระบบ:

โหนด: 952 เครื่อง Dell PowerEdge
CPU: Intel Xeon Scalable 4th‑gen (Sapphire Rapids)
เครือข่าย: สวิตช์และ NIC CN5000 ของ Cornelis Network, ความเร็ว 400 Gbps
การสเกล: ประสิทธิภาพการสเกลของเครือข่ายถึง **91 %

การจัดวางโหนดเหล่านี้บนสวิตช์ Omni‑Path ทำให้การส่งข้อมูลระหว่างโหนดเป็นแบบ lossless ซึ่งเป็นคุณลักษณะสำคัญของงานจำลองและการวิเคราะห์ที่ต้องการความแม่นยำสูงของ DoE

Omni‑Path History

เทคโนโลยี Omni‑Path ถูกพัฒนาโดย Intel ในปี 2015 เพื่อตอบสนองความต้องการของการประมวลผลความเร็วสูง (HPC) แต่หลังจากที่ Intel ยุติการพัฒนาในปี 2019 โครงการนี้ถูกแยกออกเป็นบริษัทใหม่ในปี 2020 โดยชื่อ Cornelis Network

แม้ว่า Omni‑Path จะเคยถูกนำไปใช้ในคลัสเตอร์เช่น Trinity ของ Los Alamos National Laboratory และ Cori ของ Lawrence Livermore National Laboratory แล้ว แต่การหยุดพัฒนาของ Intel ทำให้เทคโนโลยีนี้ดูเหมือนจะสิ้นสุดลง อย่างไรก็ตาม บริษัท Cornelis ได้นำเทคโนโลยีกลับมาพัฒนาใหม่ในรูปแบบ CN5000 ตั้งแต่ปี 2025 โดยมุ่งเน้นที่ความเร็ว 400 Gbps และการสเกลที่เป็นเชิงเส้น

Performance & Scaling

การทดสอบภายในของ Lynx แสดงให้เห็นว่าเครือข่าย Omni‑Path สามารถบรรลุ 91 % ของอัตราการสเกลที่คาดหวังสำหรับคลัสเตอร์ขนาดนี้ ซึ่งสูงกว่าระบบที่ใช้ Slingshot ที่ส่วนใหญ่มีความเร็ว 200 Gbps การสเกลที่ดีนี้ทำให้ Lynx มีศักยภาพในการทำงานที่เร็วกว่าแม้ใช้โปรเซสเซอร์รุ่นเก่า (Sapphire Rapids) เมื่อเทียบกับระบบที่ใช้ InfiniBand** บนโหนดรุ่นใหม่กว่า

อย่างไรก็ตาม InfiniBand ยังคงเป็นมาตรฐานที่ได้รับความต้องการสูงในกลุ่มคอมพิวเตอร์ AI เนื่องจากความสามารถในการรองรับความเร็วพอร์ตที่สูงกว่า แม้ว่าจะมีความต้องการใช้แบนด์วิดธ์มากกว่าที่ Omni‑Path ปัจจุบันให้ได้

Industry Impact

การติดตั้ง Omni‑Path ในโครงการระดับชาติของ DoE ถือเป็น “proof‑point” ที่สำคัญสำหรับ Cornelis Network เนื่องจากยืนยันว่าผู้ใช้ระดับสูงที่สุดของอุตสาหกรรมยอมรับและประเมินผลเชิงบวกต่อเทคโนโลยีนี้ CEO Lisa Spelman กล่าวว่าการแสดงผลสเกล 91 % “แสดงให้เห็นว่าการออกแบบของเราเหมาะกับการขยายระบบที่ใหญ่ขึ้น”

ผลกระทบต่ออุตสาหกรรมอาจรวมถึง:

การเพิ่มตัวเลือกให้ศูนย์ข้อมูลระดับ HPC ที่ต้องการหลีกเลี่ยงการพึ่งพา InfiniBand หรือ Slingshot
การเร่งพัฒนาของผลิตภัณฑ์ต่อเนื่อง เช่น CN6000 ที่คาดว่าจะให้ความเร็ว 800 Gbps รองรับ PCIe Gen 6 และ Ethernet ทำให้การเชื่อมต่อกับระบบที่ใช้มาตรฐาน Ethernet เป็นไปได้ง่ายขึ้น

Future Outlook

Cornelis Network วางแผนจะเปิดตัวผลิตภัณฑ์ CN6000 ในครึ่งหลังของปีนี้ ซึ่งจะเพิ่มความเร็วเป็น 800 Gbps และสนับสนุนการเชื่อมต่อ PCIe Gen 6 เพื่อให้สอดคล้องกับ CPU รุ่นใหม่ของ Intel, AMD และผู้ผลิตอื่น ๆ การเปลี่ยนแปลงนี้คาดว่าจะทำให้ Omni‑Path สามารถแข่งขันกับการออกแบบ NIC ของ Nvidia ที่ใช้สวิตช์ PCIe ขนาดใหญ่เพื่อเพิ่มแบนด์วิดธ์

บริษัทยังมองหาโอกาสในการนำเทคโนโลยีนี้ไปใช้กับระบบที่มีขนาดใหญ่กว่า 2,000, 5,000 หรือแม้กระทั่ง 10,000 โหนด รวมถึงการรองรับตัวเร่งความเร็วแบบไม่เป็นที่นิยม (non‑traditional accelerators) ซึ่งจะขยายขอบเขตการใช้งานของ Omni‑Path ไปไกลกว่าแค่ซูเปอร์คอมพิวเตอร์ของ DoE

Summary

การนำ Omni‑Path รุ่น CN5000 ของ Cornelis Network ไปใช้ในคลัสเตอร์ Lynx แสดงให้เห็นว่าตัวเลือกเครือข่ายความเร็วสูงยังคงมีพื้นที่เติบโตในตลาด HPC ของสหรัฐอเมริกา ความสำเร็จของการสเกล 91 % ทำให้เทคโนโลยีนี้อาจกลายเป็นคู่แข่งสำคัญต่อ InfiniBand และ Slingshot ในอนาคต.