8月27日消息，據(jù)網(wǎng)易科技報(bào)道，近期，字節(jié)跳動(dòng)近期開(kāi)源了一項(xiàng)代號(hào)為OMGD的壓縮技術(shù)。

據(jù)悉，這是字節(jié)自研的GAN（生成對(duì)抗網(wǎng)絡(luò)）壓縮算法，在保證生成效果不變的前提下，算力消耗最低可以減少到原來(lái)的1/46，相比之前業(yè)界的最佳壓縮效果提升一倍多。目前，這項(xiàng)技術(shù)的論文已入選國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議ICCV 2021。

據(jù)了解，GAN是人工智能領(lǐng)域重要的深度學(xué)習(xí)模型，在圖像生成、音樂(lè)生成和視頻生成等方面應(yīng)用廣泛，還可以提高圖像質(zhì)量，實(shí)現(xiàn)圖像風(fēng)格化、圖像著色等任務(wù)。例如漫畫(huà)特效等人們常用的短視頻道具，就是通過(guò)GAN實(shí)現(xiàn)的。

不過(guò)，由于GAN對(duì)計(jì)算資源和存儲(chǔ)空間的需求巨大，模型難以直接部署到手機(jī)、Pad等移動(dòng)設(shè)備上。2020年，麻省理工學(xué)院、Adobe和上海交通大學(xué)的研究者們提出一種GAN壓縮算法，將算力消耗成功減少到1/21。此次字節(jié)跳動(dòng)提出的OMGD方法則進(jìn)一步提升了壓縮能力。

OMGD（Online Multi-Granularity Distillation）意為“在線多粒度蒸餾”。據(jù)字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)的論文顯示，該算法能靈活地在訓(xùn)練過(guò)程中優(yōu)化并壓縮GAN模型，從而實(shí)現(xiàn)更好的圖像效果和更少的計(jì)算成本。

測(cè)試數(shù)據(jù)表明，OMGD壓縮算法對(duì)Pix2Pix和CycleGAN這兩種常用的GAN解決方案效果顯著。這兩種解決方案主要應(yīng)用于圖像到圖像的“翻譯”。OMGD壓縮算法可使其算力消耗分別減少到原來(lái)的1/40和1/46。

目前，OMGD壓縮算法已在抖音等產(chǎn)品中落地，為用戶提供更豐富的視頻創(chuàng)作能力。相關(guān)技術(shù)代碼也已發(fā)布在開(kāi)源社區(qū)，以幫助從業(yè)者提升GAN的創(chuàng)新和應(yīng)用效率。資料顯示，字節(jié)跳動(dòng)與8月17日正式加入OIN（開(kāi)源發(fā)明網(wǎng)絡(luò)），并成為被授權(quán)者和社區(qū)成員。

迄今，字節(jié)跳動(dòng)已開(kāi)源了機(jī)器學(xué)習(xí)平臺(tái)Klever、聯(lián)邦學(xué)習(xí)平臺(tái)Fedlearner、高性能分布式訓(xùn)練框架BytePS 、LightSeq推理和訓(xùn)練引擎等項(xiàng)目。