團體標準編制范圍
《算力網(wǎng)絡(luò) 第8部分:資源分配與調(diào)度算法要求》:
本標準規(guī)定了算力網(wǎng)絡(luò)資源分配與調(diào)度算法引擎的總體架構(gòu)、主要技術(shù)要求、預期目標等要求。
本標準適用于算力網(wǎng)絡(luò)資源分配與調(diào)度算法引擎進行技術(shù)架構(gòu)設(shè)計、功能設(shè)計和軟件開發(fā)。其他組織的算力網(wǎng)絡(luò)資源分配與調(diào)度算法可參照執(zhí)行。
團體標準編制目的、意義或必要性
2021年5月,國家發(fā)改委正式發(fā)布了《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》,建設(shè)全國一體化算力網(wǎng)絡(luò)樞紐節(jié)點,加強綠色數(shù)據(jù)中心建設(shè),推動老舊基礎(chǔ)設(shè)施轉(zhuǎn)型升級。2021年11月,中國移動通信集團發(fā)布《算力網(wǎng)絡(luò)白皮書》,闡釋中國移動對算力網(wǎng)絡(luò)的產(chǎn)生背景、核心理念、應(yīng)用場景、發(fā)展路徑以及技術(shù)創(chuàng)新理念。
算力是數(shù)字化時代的基礎(chǔ)設(shè)施和核心動能,需求側(cè)科技進步與產(chǎn)業(yè)數(shù)字化、供給側(cè)算力技術(shù)迭代共同驅(qū)動算力發(fā)展。算力的發(fā)展難以滿足全行業(yè)計算需求,催生算力網(wǎng)絡(luò)的建設(shè)。隨著數(shù)字化進程加速,算力也在自發(fā)性迭代,但仍無法完全滿足全行業(yè)計算需求,出現(xiàn)了以下三種矛盾:
(1)海量數(shù)據(jù)計算需求增加,而算力呈現(xiàn)東多西少、互聯(lián)網(wǎng)多傳統(tǒng)行業(yè)少等特點,在區(qū)域及行業(yè)分布不均,供求失衡;
(2)算力自身架構(gòu)不斷迭代,GPU、DPU、FPGA等異構(gòu)芯片的出現(xiàn)增加了算力度量和統(tǒng)籌管理的難度;
(3)算力逐漸滲透各行業(yè)和場景,但對偶發(fā)性算力需求激增的場景仍缺乏彈性應(yīng)對措施。
為解決以上難點,需要通過對分散、異構(gòu)的算力進行感知、連接和統(tǒng)籌調(diào)度,以匹配終端計算需求,因此,算力網(wǎng)絡(luò)資源分配與調(diào)度算法引擎應(yīng)運而生。算網(wǎng)資源分配與調(diào)度需要關(guān)注提升智能感知技術(shù),保障算網(wǎng)資源精確匹配終端需求。算網(wǎng)調(diào)度層作為算力網(wǎng)絡(luò)的神經(jīng)中樞連接著算網(wǎng)資源和應(yīng)用,向下對接底層算力資源并進行注冊和標識,向上解析終端業(yè)務(wù)場景的算力需求并智能分解至各個使能平臺。算網(wǎng)調(diào)度層以算力感知、算力編排和算力路由為核心,現(xiàn)已處于探索和初步實施階段。其中:
(1)算力感知需要對底層異構(gòu)資源進行統(tǒng)一標識和納管,是算網(wǎng)調(diào)度的基礎(chǔ),也是連接資源供需方的關(guān)鍵環(huán)節(jié),目前仍缺乏技術(shù)標準體系支撐;
(2)算力編排需要統(tǒng)籌數(shù)據(jù)、技術(shù)和行業(yè)經(jīng)驗進行邏輯編排和架構(gòu)建設(shè);
(3)算力路由正推進通告管理路徑的建設(shè)和探索,同時基于底層算力虛擬化技術(shù)實現(xiàn)更靈活的調(diào)度。
基于以上目的和意義,有必要建立算力網(wǎng)絡(luò)系列標準。此系列標準第 8 部分資源分配與調(diào)度算法規(guī)范,是算力網(wǎng)絡(luò)資源分配與調(diào)度算法引擎的總體要求、包括系統(tǒng)框架、主要技術(shù)要求、預期目標等。
1、總體架構(gòu)
算網(wǎng)資源分配與調(diào)度算法引擎通過網(wǎng)絡(luò)對算力的感知、觸達、編排、調(diào)度能力,在算網(wǎng)拓撲的任何一個接入點,為用戶的任何計算任務(wù)提供靈活、實時、智能匹配的最優(yōu)算力資源,支持云-邊-端anywhere與anytime的多方算力需求。
根據(jù)算網(wǎng)資源請求與算網(wǎng)資源供給的狀態(tài),對算網(wǎng)進行算力資源和網(wǎng)絡(luò)資源的統(tǒng)一編排計算,動態(tài)生成端到端的最優(yōu)算網(wǎng)節(jié)點、算網(wǎng)路徑、及編排調(diào)度策略,解決算網(wǎng)資源的供需難以匹配、利用率低、使用成本高、資源碎片嚴重、和應(yīng)用部署不合理等問題。
圖 1 算力網(wǎng)絡(luò)資源分配與調(diào)度算法引擎整體構(gòu)成
2、主要技術(shù)要求:
(1)算法分類與設(shè)計原則
算法分類:闡述多種資源分配與調(diào)度算法,包括但不限于:營銷策略層面的演化博弈動態(tài)競價、零和博弈動態(tài)競價、強化學習動態(tài)競價、意圖識別需求分析;資源編排層面的多因子綜合評估、納什均衡博弈、離線規(guī)劃融合編排、強化學習動態(tài)編排;網(wǎng)絡(luò)路由層面的深度優(yōu)先路徑搜索、廣度優(yōu)先路徑搜索、流量擁塞避免、基于規(guī)則算網(wǎng)路徑評估;算力調(diào)度層面的基于規(guī)則算網(wǎng)節(jié)點評估、DQN動態(tài)算力分配、異構(gòu)算力的圖聚類、節(jié)點資源消耗預測等。每種算法的特點、適用場景及其優(yōu)缺點逐一分析,以便用戶根據(jù)具體需求選擇合適的算法。
設(shè)計原則:算法設(shè)計應(yīng)遵循高效性、準確性、穩(wěn)定性、可擴展性和用戶友好性等原則。高效性要求算法在合理的時間內(nèi)給出解;準確性要求算法提供的解接近最優(yōu);穩(wěn)定性指算法在不同輸入下表現(xiàn)一致;可擴展性意味著算法能夠適應(yīng)問題規(guī)模的變化;用戶友好性則強調(diào)算法的易用性和可理解性。
(2)算法實現(xiàn)框架與模塊化設(shè)計
實現(xiàn)框架:描述算法實現(xiàn)的軟件架構(gòu),包括算法的輸入輸出接口、數(shù)據(jù)處理流程、算法執(zhí)行引擎等關(guān)鍵組件。框架設(shè)計將考慮模塊化,以便算法的維護和擴展。
模塊化設(shè)計:強調(diào)算法組件的模塊化,使得算法的不同部分(如初始化、搜索策略、更新機制等)可以獨立開發(fā)和優(yōu)化,便于團隊協(xié)作和知識共享。
(3)算法性能評估與優(yōu)化
性能評估指標:定義一系列量化指標來評估算法的性能,如時間復雜度、空間復雜度、收斂速度、解的質(zhì)量、魯棒性等。這些指標將幫助用戶評估和比較不同算法的性能。
優(yōu)化策略:提供算法優(yōu)化的策略和方法,如參數(shù)調(diào)整、算法融合、多目標優(yōu)化等,以提升算法在特定問題上的表現(xiàn)。
(4)算法測試與驗證
測試流程:規(guī)定一套標準化的測試流程,包括單元測試、集成測試、性能測試和壓力測試,確保算法在各種條件下的穩(wěn)定性和可靠性。
驗證方法:提供算法驗證的方法,包括理論分析、仿真實驗和實際案例研究,以證明算法的有效性和適用性。
(5)安全性、兼容性與可維護性
安全性:強調(diào)算法實現(xiàn)過程中的安全性考慮,包括數(shù)據(jù)加密、訪問控制、異常處理等,以防止?jié)撛诘陌踩L險。
兼容性:確保算法能夠在不同的操作系統(tǒng)、硬件平臺和編程語言環(huán)境中運行,提供詳細的兼容性指南和適配建議。
可維護性:討論算法的可維護性,包括代碼的可讀性、可擴展性和文檔化,以及如何設(shè)計算法以便于未來的維護和升級。
四、X項團體標準與國內(nèi)外標準情況簡要說明
經(jīng)查詢,目前與算力網(wǎng)絡(luò)相關(guān)的標準有:
YD/T 4255-2023《算力網(wǎng)絡(luò) 總體技術(shù)要求》
GB/T 42888-2023《信息安全技術(shù) 機器學習算法安全評估規(guī)范》
算力網(wǎng)絡(luò)的總體技術(shù)架構(gòu)和技術(shù)要求,包括算力網(wǎng)絡(luò)的總體架構(gòu)和接口描述,以及算力服務(wù)技術(shù)要求、算力路由技術(shù)要求、算網(wǎng)編排管理技術(shù)要求。對算網(wǎng)編排調(diào)度做了總體的要求,為本次算網(wǎng)資源分配和調(diào)度算法提供了依據(jù)。
參編人員要求
與算力網(wǎng)絡(luò)相關(guān)的研發(fā)、生產(chǎn)、經(jīng)營的各機關(guān)企事業(yè)單位、科研院所、高校、采購單位、供應(yīng)商單位有關(guān)于本標準規(guī)定范圍及適用領(lǐng)域的研發(fā)人員、應(yīng)用人員、項目工程師、項目經(jīng)理、技術(shù)采購等,與此標準規(guī)范適用相關(guān)的從業(yè)人員均可參與編制。
參編流程
1、蓋章并提交團體標準參編申請表(見附件);
2、簽訂協(xié)議;
2、加入編制組;
4、參與編制工作。
聯(lián)系人信息
聯(lián)系電話:17603075005
中企檢測認證網(wǎng)提供iso體系認證機構(gòu)查詢,檢驗檢測、認證認可、資質(zhì)資格、計量校準、知識產(chǎn)權(quán)貫標一站式行業(yè)企業(yè)服務(wù)平臺。中企檢測認證網(wǎng)為檢測行業(yè)相關(guān)檢驗、檢測、認證、計量、校準機構(gòu),儀器設(shè)備、耗材、配件、試劑、標準品供應(yīng)商,法規(guī)咨詢、標準服務(wù)、實驗室軟件提供商提供包括品牌宣傳、產(chǎn)品展示、技術(shù)交流、新品推薦等全方位推廣服務(wù)。這個問題就給大家解答到這里了,如還需要了解更多專業(yè)性問題可以撥打中企檢測認證網(wǎng)在線客服13550333441。為您提供全面檢測、認證、商標、專利、知識產(chǎn)權(quán)、版權(quán)法律法規(guī)知識資訊,包括商標注冊、食品檢測、第三方檢測機構(gòu)、網(wǎng)絡(luò)信息技術(shù)檢測、環(huán)境檢測、管理體系認證、服務(wù)體系認證、產(chǎn)品認證、版權(quán)登記、專利申請、知識產(chǎn)權(quán)、檢測法、認證標準等信息,中企檢測認證網(wǎng)為檢測認證商標專利從業(yè)者提供多種檢測、認證、知識產(chǎn)權(quán)、版權(quán)、商標、專利的轉(zhuǎn)讓代理查詢法律法規(guī),咨詢輔導等知識。
本文內(nèi)容整合網(wǎng)站:中國政府網(wǎng)、百度百科、搜狗百科、360百科、知乎、市場監(jiān)督總局 、國家認證認可監(jiān)督管理委員會
免責聲明:本文部分內(nèi)容根據(jù)網(wǎng)絡(luò)信息整理,文章版權(quán)歸原作者所有。向原作者致敬!發(fā)布旨在積善利他,如涉及作品內(nèi)容、版權(quán)和其它問題,請跟我們聯(lián)系刪除并致歉!