騰訊優(yōu)圖開(kāi)源業(yè)界首個(gè)3D醫(yī)療影像大數(shù)據(jù)預(yù)訓(xùn)練模型MedicalNet!

雷鋒網(wǎng)AI開(kāi)發(fā)者:近日，騰訊優(yōu)圖首個(gè)醫(yī)療 AI深度學(xué)習(xí)預(yù)訓(xùn)練模型medical net(https://github . com/Tencent/medical net)正式對(duì)外開(kāi)放，這也是全球首個(gè)提供多種3D 醫(yī)療圖像專用預(yù)訓(xùn)練模型的項(xiàng)目。

MedicalNet具有以下特點(diǎn):

MedicalNet提供的預(yù)訓(xùn)練網(wǎng)絡(luò)可以遷移到任何3D 醫(yī)療圖像AI應(yīng)用，包括但不限于分割、檢測(cè)和分類等任務(wù)。

尤其適用于小數(shù)據(jù)醫(yī)療圖像AI場(chǎng)景，可以加速網(wǎng)絡(luò)收斂，提升網(wǎng)絡(luò)性能；

通過(guò)簡(jiǎn)單配置少量接口參數(shù)值就可以進(jìn)行微調(diào)訓(xùn)練；

項(xiàng)目提供多卡訓(xùn)練和測(cè)試評(píng)估代碼，接口豐富，擴(kuò)展性強(qiáng)；

提供不同深度的3D ResNet預(yù)訓(xùn)練模型，可供不同數(shù)據(jù)級(jí)別的應(yīng)用使用。

為了生成3D 醫(yī)療圖像的預(yù)訓(xùn)練模型，MedicalNet聚合了多個(gè)來(lái)自不同3D 醫(yī)療域的具有語(yǔ)義分割的小規(guī)模數(shù)據(jù)集，并提出了一種基于多分支解碼器的多域聯(lián)合訓(xùn)練模型來(lái)解決數(shù)據(jù)集中的標(biāo)簽缺失問(wèn)題。

整個(gè)系統(tǒng)的工作流程如下圖所示:

騰訊團(tuán)隊(duì)將MedicalNet模型移植到預(yù)訓(xùn)練前未接觸過(guò)的內(nèi)臟和LIDC數(shù)據(jù)集，完成了全新的肺部分割和肺結(jié)節(jié)分類任務(wù)，并與常用的train from scratch和Kinetics video 3D預(yù)訓(xùn)練模型進(jìn)行了性能和收斂速度的對(duì)比。

在肺分割的應(yīng)用中，與從零開(kāi)始訓(xùn)練相比，MedicalNet在Dice上有16%到33%的提高，在動(dòng)力學(xué)上有4%到7%的提高。在肺結(jié)節(jié)良惡性分類的應(yīng)用中，與從零開(kāi)始訓(xùn)練相比，MedicalNet的預(yù)測(cè)準(zhǔn)確率(Acc)提高了6% ~ 23%，與動(dòng)力學(xué)相比，提高了7% ~ 20%。

在收斂速度方面，實(shí)驗(yàn)表明，無(wú)論是在肺部分割任務(wù)還是肺結(jié)節(jié)分類任務(wù)中，MedicalNet都能為模型提供較低的初始損失值，明顯加快了損失下降的速度。下圖是MedicalNet性能的一個(gè)簡(jiǎn)單例子，展示了在全器官分割應(yīng)用中，在一定訓(xùn)練迭代下，不同預(yù)訓(xùn)練方法的測(cè)試結(jié)果?？梢钥闯?，基于騰訊MedicalNet模型的結(jié)果最接近地面真實(shí)，遠(yuǎn)優(yōu)于train from scratch的結(jié)果。

更多詳情請(qǐng)參考論文《3D醫(yī)學(xué)圖像分析的遷移學(xué)習(xí)》(arxiv print arxiv:1900.00625(2019))。