本發(fā)明涉及深度學(xué)習(xí)訓(xùn)練系統(tǒng)優(yōu)化領(lǐng)域,具體地,涉及一種基于離線收益預(yù)測與自適應(yīng)策略選擇的數(shù)據(jù)供給加速系統(tǒng)及方法,面向單機(jī)至小規(guī)模多gpu訓(xùn)練場景。背景技術(shù)、在深度學(xué)習(xí),基于單機(jī)至小規(guī)模多gpu集群的訓(xùn)練方式是學(xué)術(shù)界和工業(yè)界進(jìn)行模型研發(fā)的主流選擇。隨著gpu算力的飛速提升,訓(xùn)練過程的瓶頸日益從...