...
และตั้งค่า NCCL_NSOCKS_PERTHREAD เป็น 2 ; แต่ละ Thread จะใช้ Network Socket 2 ตัวในการสื่อสาร ตัวในการสื่อสารระหว่าง GPU
ดังนั้นจะใช้ทั้งสิ้น 16 Network Socket ในการสื่อสารในการสื่อสารระหว่าง GPU
| Info |
|---|
สำหรับเครื่อง LANTA ที่ปิด Hyper-threading ไว้ การระบุจำนวน thread จะเทียบเท่ากับการใช้งาน CPU core โดยสามารถอ่านรายละเอียดของเครื่อง LANTA เพิ่มเติมได้ที่ https://thaisc.io/thaisc-resorces/lanta |
...