稀疏矩陣和稠密矩陣乘法運(yùn)算SpMM(Sparse Matrix-Matrix Multiplication)在圖神經(jīng)網(wǎng)絡(luò)、稀疏線性代數(shù)求解器、科學(xué)計(jì)算仿真等領(lǐng)域廣泛應(yīng)用。
當(dāng)前Tensor Core是GPU上矩陣計(jì)算的核心單元。為了解決Tensor Core上稀疏矩陣存儲(chǔ)開銷大、訪存模式不規(guī)則、數(shù)據(jù)加載和計(jì)算掩蓋不充分等問題,中心研發(fā)了Acc-SpMM算法庫,并設(shè)計(jì)了系統(tǒng)化的優(yōu)化策略,包括新的稀疏矩陣壓縮存儲(chǔ)格式、數(shù)據(jù)重排算法、流水線和自適應(yīng)負(fù)載均衡算法。實(shí)驗(yàn)證明 Acc-SpMM 在多類數(shù)據(jù)集上性能高于cuSPARSE。該成果被并行編程原理與實(shí)踐會(huì)議ACM SIGPLAN Annual Symposium Principles and Practice of Parallel Programming(PPoPP 25,CCF 推薦 A 類會(huì)議)錄用。該成果得到國家重點(diǎn)研發(fā)計(jì)劃(2023YFB3002100)和中國科學(xué)院先導(dǎo)專項(xiàng)(XDB0500103)的支持。
The overview of Acc-SpMM
稀疏矩陣重排
論文第一作者為我中心碩士研究生趙海杉,指導(dǎo)老師為我中心周純葆研究員,通信作者為我中心王玨正高級(jí)工程師,碩士研究生李三為共同一作。
相關(guān)成果:
Haisha Zhao, San Li, Jiaheng Wang, Chunbao Zhou, Jue Wang, Zhikuang Xin, Shunde Li, Zhiqiang Liang, Zhijie Pan, Fang Liu, Yan Zeng, Yangang Wang. Acc-SpMM: Accelerating General-purpose Sparse Matrix-Matrix Multiplication with GPU Tensor Cores, ACM SIGPLAN Annual Symposium Principles and Practice of Parallel Programming; PPoPP’25.
責(zé)任編輯:郎楊琴