Nature：為高維度醫(yī)學(xué)成像設(shè)計(jì)可臨床轉(zhuǎn)變的人工自動(dòng)體系

編譯 | 王曄

編纂 | 青暮

本文來自于《 nature machine intelligence》。作家Rohan Shad是Hiesinger試驗(yàn)室氣度內(nèi)科系博士后研發(fā)員。他和隊(duì)伍為心血管成像（超聲心動(dòng)圖和心臟 MRI）建立新式計(jì)算機(jī)視覺體系，以及應(yīng)用轉(zhuǎn)錄組學(xué)和蛋白質(zhì)設(shè)計(jì)研發(fā)心臟病的潛在體制，為嚴(yán)重心力衰竭患者設(shè)計(jì)設(shè)施。

文中討論了高維臨床影像信息所面對(duì)的特有戰(zhàn)斗，并注重了開發(fā)機(jī)械學(xué)習(xí)體系所牽扯的部分技巧和倫理方面的參考，更好地表現(xiàn)了影像形式的高維本質(zhì)。另外，他們認(rèn)定嘗試處理可闡明性、不確認(rèn)性和成見的方式應(yīng)被視為一切臨床機(jī)械學(xué)習(xí)體系的中心構(gòu)成一些。

2018年，美國(guó)國(guó)度衛(wèi)生研發(fā)院確認(rèn)將人工自動(dòng)歸入醫(yī)學(xué)成像將來成長(zhǎng)的重點(diǎn)行業(yè)，以及為圖片收集、算法、信息規(guī)范化和可轉(zhuǎn)變的臨床抉擇追隨體系的研發(fā)制訂了根基線路。

報(bào)表中提到，雖然信息的可用性、對(duì)新式計(jì)算架構(gòu)的需要和可闡明的人工自動(dòng)算法等在過去幾年已然獲得了較大的進(jìn)展，但現(xiàn)在仍舊是一個(gè)要害性問題。

另外，在初期的開發(fā)流程中，還必需參考到信息同享的轉(zhuǎn)變目的、為監(jiān)管部門核準(zhǔn)而進(jìn)行的功能驗(yàn)證、可推行性并且加重?zé)o意的成見等問題。

1 主題

算力的提升、深度學(xué)習(xí)架構(gòu)和顧問標(biāo)志信息集的進(jìn)步刺激了醫(yī)學(xué)影像人工自動(dòng)（AI）體系的成長(zhǎng)。

但是，運(yùn)用人工自動(dòng)體系來幫助完結(jié)臨床任務(wù)是十分擁有戰(zhàn)斗性的。機(jī)械學(xué)習(xí)算法的目標(biāo)是減小臨床推理所需的時(shí)間。而在臨床中進(jìn)行運(yùn)用，有也許無意中會(huì)耽誤患者的治愈。當(dāng)分開可操控的試驗(yàn)室場(chǎng)景時(shí)，人工自動(dòng)體系的終端客戶必需可以操控填寫品質(zhì)，以及可以處理網(wǎng)絡(luò)延緩等問題，設(shè)計(jì)出將這類體系調(diào)整到既定臨床實(shí)踐中的方式。

初期對(duì)可轉(zhuǎn)換的臨床機(jī)械學(xué)習(xí)的嘗試標(biāo)明，設(shè)計(jì)的體系要在既定的臨床工作過程中常態(tài)工作，就必需要在算法開發(fā)之初就做出少量的調(diào)整積極。由于在將來布置該體系時(shí)，迭代的機(jī)會(huì)十分有限。

緊隨開源機(jī)械學(xué)習(xí)軟件庫的逐漸增加和計(jì)算機(jī)功能的不停進(jìn)步，研發(fā)職員越來越較易開發(fā)出高難的對(duì)于特定臨床問題的人工自動(dòng)體系。除了探測(cè)重病診療的特點(diǎn)外，下一代人工自動(dòng)體系必需參考訓(xùn)練信息的體系成見，更為直觀地提示終端客戶預(yù)判中固有的不確認(rèn)性，并容許客戶可以開拓妥協(xié)釋預(yù)判的體制。

該觀念以這類要害的率先行業(yè)為根基，以加快醫(yī)學(xué)行業(yè)的根基人工自動(dòng)研發(fā)。咱們概括了信息集的細(xì)微差異和高維醫(yī)學(xué)成像機(jī)械學(xué)習(xí)的詳細(xì)架構(gòu)注重事項(xiàng)，同時(shí)研討了這類體系的可闡明性、不確認(rèn)性和誤差。在此流程中，咱們?yōu)橛信d致處理建立臨床可翻譯 AI 體系，所帶來的部分問題和戰(zhàn)斗的研發(fā)職員供應(yīng)了一個(gè)模板。

2 高維醫(yī)學(xué)影像信息

咱們估計(jì)，在可預(yù)感的將來，可用的高端量 "AI-ready "注釋的醫(yī)學(xué)信息集將仍舊不可滿足需要。回過頭來分派臨床事實(shí)標(biāo)簽須要臨床顧問投入少量的時(shí)間，況且將多機(jī)構(gòu)的信息匯總起來公然公布也存在較大的阻礙。除了須要以在硬放射學(xué)真正標(biāo)簽上訓(xùn)練的模型為特點(diǎn)的“診療人工自動(dòng)”之外，還須要依據(jù)潛在的更高難的臨床綜合結(jié)果目的訓(xùn)練的 "重病預(yù)判人工自動(dòng) "。擁有規(guī)范化的圖片收集協(xié)定和臨床根本事實(shí)判決的前瞻性信息采集，是建立擁有配對(duì)臨床結(jié)果的大范圍多核心成像信息集的必須方法。

大范圍的多核心成像信息聚會(huì)構(gòu)成不少隱私和責(zé)任問題，這類問題與文件中嵌入的潛在敏感信息相關(guān)。醫(yī)學(xué)數(shù)字成像和通信（DICOM）規(guī)范廣泛被拿來捕捉、存儲(chǔ)和供應(yīng)醫(yī)學(xué)圖片的工作過程治理。成像文件（以.dcm文件或嵌套文件夾構(gòu)造的形態(tài)存儲(chǔ)）含蓋像素信息和有關(guān)元信息。眾多的開源和專有工具能夠輔助對(duì) DICOM 文件進(jìn)行去辨認(rèn)化。后端醫(yī)院數(shù)據(jù)學(xué)框架，如Google Healthcare API，是一類革除也許含蓋敏感數(shù)據(jù)的元信息域的方式，也通過 "安全列表 "追隨DICOM去標(biāo)記化。

在面向客戶方面，MIRC 臨床實(shí)驗(yàn)解決器匿名器是一類盛行的代替方式，雖然它須要應(yīng)用某類遺留軟件。有據(jù)可查的Python軟件包（如pydicom）也可用來在應(yīng)用或轉(zhuǎn)給協(xié)作機(jī)構(gòu)此前解決DICOM文件。接著能夠提煉成像信息并以各類機(jī)械可讀體例存儲(chǔ)。這類信息集能夠快速變得巨大且蠢笨，固然信息存儲(chǔ)體例的細(xì)節(jié)超越了本觀念的研討范疇，但醫(yī)學(xué)成像 AI 的一個(gè)要害參考原因是圖片辨別率的保留。

智能去辨認(rèn)方式或腳本時(shí)常被提及的一個(gè)毛病是受庇護(hù)的健康數(shù)據(jù)有也許被 "刻錄 "在影像文件中。雖然有DICOM規(guī)范，但生產(chǎn)商的不同，促使難以通過 MIRC 臨床實(shí)驗(yàn)解決器等工具來形成簡(jiǎn)潔的規(guī)則，以屏蔽也許位于受庇護(hù)健康數(shù)據(jù)的領(lǐng)域。咱們倡議應(yīng)用一個(gè)簡(jiǎn)潔的機(jī)械學(xué)習(xí)體系來屏蔽 "燒錄 "的受庇護(hù)健康數(shù)據(jù)。

以超聲心動(dòng)圖為例，有一個(gè)預(yù)約義的掃描領(lǐng)域，在那邊能夠看見心臟。其余潛在的選取是基于機(jī)械學(xué)習(xí)的光學(xué)字符辨認(rèn)工具，以辨認(rèn)和屏蔽有印刷文本的領(lǐng)域。DICOM標(biāo)簽自身可用來提煉掃描級(jí)數(shù)據(jù)和特定形式的標(biāo)簽。比如，在超聲心動(dòng)圖和心臟磁共振成像 (MRI) 的狀況下，能夠輕盈地從 DICOM 元信息中提煉首要的掃描級(jí)別數(shù)據(jù)，比如收集幀速度和日期或 MRI 序列 (T1/T2)。

圖1：基于云的合作式注釋工作過程?；谠频墓ぞ呖捎脕硇纬深檰栕⑨屝畔⒓?，并通過安全連通與臨床顧問進(jìn)行評(píng)價(jià)。圖為MD.ai的一個(gè)施行計(jì)劃，此中臨床顧問進(jìn)行各類 2D 探測(cè)以測(cè)評(píng)心臟性能。

針對(duì)牽扯人工自動(dòng)體系與臨床醫(yī)師進(jìn)行側(cè)面基準(zhǔn)測(cè)驗(yàn)的研發(fā)工作，或在臨床注釋者的輔助下計(jì)劃大型信息集，咱們倡議以DICOM體例存儲(chǔ)掃描的副本。如此就能夠通過可擴(kuò)展和易于應(yīng)用的云端注釋工具進(jìn)行布置?，F(xiàn)在有幾種處理計(jì)劃用來分派掃描信息供臨床顧問評(píng)價(jià)。需要的范疇也許從簡(jiǎn)潔的掃描級(jí)標(biāo)簽到全面的特定行業(yè)的解剖學(xué)分隔掩碼。在咱們的機(jī)構(gòu)，咱們布置了MD.ai (New York, New York)，這是一個(gè)基于云的注釋體系，可原生解決存儲(chǔ)在機(jī)構(gòu)核準(zhǔn)的云存儲(chǔ)供應(yīng)商（谷歌云存儲(chǔ)或亞馬遜 AWS）上的 DICOM 文件。代替品供應(yīng)相似的性能，如ePadLite（Stanford, California），它能夠免費(fèi)應(yīng)用?；谠频淖⑨尫绞降牧硪粋€(gè)優(yōu)勢(shì)是，掃描能夠持續(xù)遠(yuǎn)古的辨別率和品質(zhì)，實(shí)時(shí)合作模仿 "基于隊(duì)伍 "的臨床抉擇，注釋和標(biāo)簽?zāi)軌蜉^容易地導(dǎo)出用來下游解析。最首要的是，此中不少工具都能夠用任意網(wǎng)絡(luò)瀏覽器近程訪問，以及極易操控，極大地提升了客戶感受并加重了臨床協(xié)作者的技巧包袱。

最終，較新的機(jī)械學(xué)習(xí)訓(xùn)練范式，如聯(lián)邦學(xué)習(xí)，也許有助于規(guī)避不少與信息同享有關(guān)的阻礙。Kaissis等人檢查了聯(lián)邦學(xué)習(xí)的準(zhǔn)則、安全危害和施行戰(zhàn)斗。這類方式的首要特征是在每個(gè)機(jī)構(gòu)都訓(xùn)練本地算法副本，唯獨(dú)同享的數(shù)據(jù)是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練流程中學(xué)習(xí)到的特點(diǎn)。在預(yù)約的時(shí)間間隔內(nèi)，從每個(gè)機(jī)構(gòu)的算法中學(xué)到的數(shù)據(jù)（訓(xùn)練的權(quán)重）被集中起來并從新分派，高效地從一個(gè)大型的多核心信息集中學(xué)習(xí)，而不須要傳輸或分享任意醫(yī)學(xué)成像信息。這有助于迅速訓(xùn)練算法，從胸部計(jì)算機(jī)斷層掃描中探測(cè)COVID-19的特點(diǎn)。

雖然在醫(yī)學(xué)成像行業(yè)已然有了聯(lián)合學(xué)習(xí)的順利示范，而在將這類方式用來常規(guī)臨床應(yīng)用時(shí)，仍舊存在少量技巧戰(zhàn)斗。特別是在高維成像機(jī)械學(xué)習(xí)體系的布景下，從多個(gè)參加核心傳輸和刷新訓(xùn)練的權(quán)重而引入的網(wǎng)絡(luò)延緩，變成訓(xùn)練更大神經(jīng)網(wǎng)絡(luò)的根本速度限定方法。研發(fā)職員還必需保證訓(xùn)練后的權(quán)重在參加機(jī)構(gòu)之間的傳輸是安全和加密的，這進(jìn)一步加大了網(wǎng)絡(luò)延緩。另外，在設(shè)計(jì)研發(fā)時(shí)，假設(shè)不可訪問源信息，計(jì)劃信息集的品質(zhì)和一致性也許極具戰(zhàn)斗性。不少概念上相似的聯(lián)合學(xué)習(xí)框架仍舊假設(shè)對(duì)源信息有絕對(duì)水平的訪問。

3 計(jì)算架構(gòu)

當(dāng)代臨床機(jī)械學(xué)習(xí)中應(yīng)用的神經(jīng)網(wǎng)絡(luò)架構(gòu)，首要來自于那些對(duì)于大型照片或視頻辨認(rèn)任務(wù)28進(jìn)行優(yōu)化的架構(gòu)?？v然在細(xì)粒度分類的其余戰(zhàn)斗性任務(wù)中，這類架構(gòu)也十分穩(wěn)健，此中類擁有玄妙的類內(nèi)差別（狗的品類），而不是擁有高類間差別的顯著不同目標(biāo)（飛機(jī)與狗）。通過對(duì)大型信息集（比如ImageNet）進(jìn)行十足的預(yù)訓(xùn)練，這類 "現(xiàn)成 "架構(gòu)的功能優(yōu)于為其量身定做的細(xì)粒度分類器。此中不少架構(gòu)可用來盛行的機(jī)械學(xué)習(xí)框架，如TensorFlow和Pytorch。最首要的是，這類框架往往為各類不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)供應(yīng)ImageNet預(yù)訓(xùn)練權(quán)重，使研發(fā)職員可以快速將它們從新用來專門的醫(yī)學(xué)成像任務(wù)。

不幸的是，絕大多數(shù)的臨床成像方法都不是簡(jiǎn)潔的靜態(tài) "圖片"。比如，超聲心動(dòng)圖是一類心臟的二維（2D）超聲影像。這類 "視頻 "能夠從多個(gè)不同的視角拍攝，進(jìn)而能夠?qū)π呐K進(jìn)行更廣泛的評(píng)價(jià)。CT和MRI掃描能夠被認(rèn)定是一堆二維圖片，必需按圖片次序進(jìn)行解析，不然醫(yī)師有也許錯(cuò)過器官之間沿某一軸線的有價(jià)值的聯(lián)系。

因而，這類 "成像 "形式更相似于視頻。將其成為圖片拆開解析，也許會(huì)造成空間或時(shí)間布景的遺失。比如，將視頻每一幀成為獨(dú)立的圖片進(jìn)行解析解決，會(huì)造成每一幀視頻之間時(shí)間數(shù)據(jù)的遺失。在借用超聲心動(dòng)圖、CT和MRI掃描的各類任務(wù)中，基于視頻的神經(jīng)網(wǎng)絡(luò)算法比其 2D 算法有相當(dāng)大的改善，但集成多個(gè)不同的視圖平面帶來了額外的維度，很難將其歸入當(dāng)下框架。

與全面的基于圖片的預(yù)訓(xùn)練網(wǎng)絡(luò)庫不同，對(duì)視頻算法的追隨仍舊有限。對(duì)布置新架構(gòu)感興致的研發(fā)職員也許須要自身在大型公然的視頻信息集（如Kinetics和UCF101（中佛羅里達(dá)大學(xué)101--動(dòng)作辨認(rèn)信息集））上施行預(yù)訓(xùn)練方法。另外，視頻網(wǎng)絡(luò)的訓(xùn)練計(jì)算本錢也許要高幾個(gè)數(shù)目級(jí)。固然應(yīng)用大型自然景物信息集進(jìn)行預(yù)訓(xùn)練是開發(fā)臨床成像機(jī)械學(xué)習(xí)體系的一個(gè)公認(rèn)的方略，但不可確保功能的提高。對(duì)于預(yù)訓(xùn)練的功能改善的報(bào)表很常見，特別是在應(yīng)用較小的信息集時(shí)，但緊隨訓(xùn)練信息集的加大，其優(yōu)勢(shì)會(huì)漸漸減小。

在2018年美國(guó)國(guó)度衛(wèi)生研發(fā)院的線路圖中，缺少特定于醫(yī)學(xué)成像的架構(gòu)被認(rèn)定是一項(xiàng)要害戰(zhàn)斗。咱們進(jìn)一步衍生，提出訓(xùn)練這類架構(gòu)的方式，對(duì)這類體系將轉(zhuǎn)變?yōu)楝F(xiàn)實(shí)方面闡揚(yáng)側(cè)重要功效。咱們認(rèn)定，下一代的高維醫(yī)學(xué)成像AI 將須要對(duì)更充足、更有布景意思的目的進(jìn)行訓(xùn)練，而不是簡(jiǎn)潔的分類標(biāo)簽。

現(xiàn)在，大多數(shù)醫(yī)學(xué)成像 AI 體系專注于從常態(tài)布景下診療個(gè)別重病。典型的方式是在訓(xùn)練這類算法時(shí)分派一個(gè)數(shù)字標(biāo)簽（重?。?；常態(tài)：0）。這與臨床受訓(xùn)職員學(xué)習(xí)從成像掃描中診療不同的重病的方法有較大不同。為了供應(yīng)更多的 "醫(yī)學(xué)常識(shí)"，而不是簡(jiǎn)潔地對(duì)自然圖片或視頻進(jìn)行預(yù)訓(xùn)練，Taleb等人提出了一系列應(yīng)用大型無標(biāo)簽醫(yī)學(xué)成像信息集的新式自我監(jiān)督預(yù)訓(xùn)練技巧，旨在幫助開發(fā)基于3D醫(yī)學(xué)成像的人工自動(dòng)體系。

神經(jīng)網(wǎng)絡(luò)首先通過施行一組 "署理任務(wù) "來學(xué)習(xí) "描繪 "成為填寫的成像掃描。比如，通過讓網(wǎng)絡(luò)像拼圖同樣 "從新組合 "填寫的掃描信息，它們能夠被訓(xùn)練成 "解讀 "在各類病理和心理狀況下哪類解剖構(gòu)造是互相一致的。將成像掃描的信息與放射學(xué)報(bào)表配對(duì)是另一個(gè)有趣的方略，基于胸部X射線的人工自動(dòng)體系獲得了相當(dāng)大的順利。

本著供應(yīng)更細(xì)微的臨床布景并將更多的 "常識(shí) "嵌入神經(jīng)網(wǎng)絡(luò)的精神，報(bào)表中的文本通過最超前的自然話語機(jī)械學(xué)習(xí)算法進(jìn)行解決，隨后訓(xùn)練視覺網(wǎng)絡(luò)，以更好地解讀讓各類重病 "不同"的原因。但是，最首要的是，他們標(biāo)明應(yīng)用這類方式能夠?qū)⑻囟ㄏ掠畏诸惾蝿?wù)的標(biāo)志信息量減小多達(dá)兩個(gè)數(shù)目級(jí)。因而，未標(biāo)志的成像研發(fā)，不管是單獨(dú)的還是結(jié)合成對(duì)的文本報(bào)表，都能夠成為有效預(yù)訓(xùn)練的根基。隨后，對(duì)較小的高端量根基實(shí)況信息樣件進(jìn)行微調(diào)，以完結(jié)特定的監(jiān)督學(xué)習(xí)任務(wù)。

雖然這類方法有助于調(diào)節(jié)現(xiàn)有的神經(jīng)網(wǎng)絡(luò)架構(gòu)，使其應(yīng)用于醫(yī)學(xué)成像，但為特定任務(wù)設(shè)計(jì)新的架構(gòu)須要專業(yè)常識(shí)。模型架構(gòu)相似于大腦，而訓(xùn)練后的權(quán)重（訓(xùn)練中優(yōu)化的數(shù)學(xué)函數(shù)）相似于頭腦。進(jìn)化搜刮算法的進(jìn)展借用機(jī)械學(xué)習(xí)方式來發(fā)掘?yàn)樘囟ㄈ蝿?wù)訂制的新架構(gòu)，進(jìn)而構(gòu)成比人類建立的架構(gòu)更高效和更高功能的架構(gòu)。這類都為成像形式特定架構(gòu)的成長(zhǎng)供應(yīng)了一個(gè)獨(dú)到的契機(jī)。

訓(xùn)練深度學(xué)習(xí)算法依附圖形解決單元（GPU）來施行大范圍的并行矩陣乘法運(yùn)算。云計(jì)算 "隨用隨付 "的GPU資源和擁有高內(nèi)存容量的消費(fèi)級(jí)GPU的可用性，都有助于減低對(duì)開發(fā)醫(yī)學(xué)成像機(jī)械學(xué)習(xí)體系感興致的研發(fā)職員的準(zhǔn)入門坎。雖然有了這類進(jìn)展，而在大型視頻信息集上訓(xùn)練高難的當(dāng)代網(wǎng)絡(luò)架構(gòu)須要多個(gè)GPU持續(xù)運(yùn)作數(shù)周。

臨床研發(fā)小組理應(yīng)注重，固然在相對(duì)廉價(jià)的計(jì)算機(jī)上訓(xùn)練單一模型也許是可行的，但要搜到最好功能的準(zhǔn)確設(shè)置組合，幾乎一直須要應(yīng)用專門的設(shè)備和計(jì)算集群來在合理的時(shí)間范疇內(nèi)返回結(jié)果。強(qiáng)力的抽象層（比如，Pytorch Lightning）還容許研發(fā)小組創(chuàng)建內(nèi)部規(guī)范，以模塊化的形態(tài)建立其代碼。采取如此的模塊化方式，神經(jīng)網(wǎng)絡(luò)架構(gòu)和信息集能夠較容易地被更換，有助于迅速將過去為臨床成像形式設(shè)計(jì)的體系從新用來新的用例。這類方式也有助于通過以新的方法集成子組件來擴(kuò)展這類體系的性能。

4 時(shí)間-事情解析和不確認(rèn)性量化

緊隨醫(yī)療人工自動(dòng)體系從 "診療 "轉(zhuǎn)向更多的 "預(yù)后 "運(yùn)用，時(shí)間到事情的預(yù)判（而不是簡(jiǎn)潔的二進(jìn)制預(yù)判）將在臨床場(chǎng)景中發(fā)掘更多的有關(guān)性。時(shí)間-事情解析的特征是可以預(yù)判成為時(shí)間函數(shù)的事情幾率，而二分類器只可供應(yīng)一個(gè)預(yù)約時(shí)間的預(yù)判。與二元分類器不同的是，時(shí)間-事情解析參考到了信息的刪減，以參考到那些得到隨訪或在觀測(cè)時(shí)間范疇內(nèi)沒有歷經(jīng)有關(guān)事情的人。生存解析在臨床研發(fā)中很常見，也是制訂循證明踐指南的中心。

用基于圖片和視頻的機(jī)械學(xué)習(xí)來擴(kuò)展傳統(tǒng)的生存模型，能夠?qū)M織切片或醫(yī)學(xué)成像掃描中的特點(diǎn)的預(yù)后價(jià)值供應(yīng)強(qiáng)有力的洞察力。比如，將Cox比率損失函數(shù)的擴(kuò)展調(diào)整到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)中，促使僅從組織病理學(xué)切片中預(yù)判癌關(guān)鍵果變成也許。咱們不主張應(yīng)用此類視覺網(wǎng)絡(luò)來劃定怎樣進(jìn)行護(hù)理，而是主張將其用作標(biāo)志臨床醫(yī)師漏掉早期惡性腫瘤特點(diǎn)的病例的方式。

歸入時(shí)間-事情解析在臨床大將越來越首要，由于在重病不安穩(wěn)或初期階段擁有的可探測(cè)特點(diǎn)，在絕對(duì)時(shí)間后也許會(huì)快速成長(zhǎng)。

比如，可診療為黃斑變性的視網(wǎng)膜特點(diǎn)通常須要數(shù)年時(shí)間才能表現(xiàn)出去。擁有早期重病特點(diǎn)的患者也許會(huì)被標(biāo)志為“常態(tài)”，這讓神經(jīng)網(wǎng)絡(luò)企圖預(yù)判將來產(chǎn)生黃斑變性并發(fā)癥的危害。歸入生存和檢查的概念也許有助于訓(xùn)練體系更好地將常態(tài)人與那些輕度、中度和正在迅速成長(zhǎng)中的重病個(gè)人分隔。一樣，訓(xùn)練視覺網(wǎng)絡(luò)進(jìn)行時(shí)間-事情解析也許會(huì)在用來肺癌篩查，有助于依據(jù)預(yù)料的侵略性擴(kuò)散后勁進(jìn)行危害分層。這類轉(zhuǎn)變工作的要害是要有強(qiáng)力的、經(jīng)過十足驗(yàn)證的Cox回歸的深度學(xué)習(xí)擴(kuò)展。在過去的幾年里，已然描繪了少量Cox模型的深度學(xué)習(xí)實(shí)行。Kvamme等人提出了一系列的Cox模型的比率和非比率擴(kuò)展，過去還描繪了更多的生存方式的實(shí)行，如DeepSurv和DeepHit46（圖2）。

圖 2：量化機(jī)械學(xué)習(xí)流出中的不確認(rèn)性。

正如 Sensoy 等人所描繪的那樣，縱然在不準(zhǔn)確的狀況下，應(yīng)用規(guī)范方式訓(xùn)練的機(jī)械學(xué)習(xí)模型也能夠十分自大。左圖：當(dāng)一個(gè)數(shù)字被轉(zhuǎn)動(dòng)180°時(shí)，體系自大地分派了一個(gè)從 "1 "到 "7 "的標(biāo)簽。右圖：但是，用參考分類不確認(rèn)性的方式，體系會(huì)分派一個(gè)不確認(rèn)性分?jǐn)?shù)，能夠輔助提示臨床醫(yī)師潛在的錯(cuò)誤預(yù)判。

但是，從可操控的角度來看，時(shí)間-事情預(yù)判也許存在問題。在肺癌篩查的如果示例中，胸部計(jì)算機(jī)斷層掃描中的可疑結(jié)節(jié)也許會(huì)構(gòu)成一個(gè)預(yù)判，即在有或沒有恰當(dāng)?shù)闹斡深A(yù)的狀況下的中位生存率。對(duì)臨床醫(yī)師來說，理解機(jī)械學(xué)習(xí)體系對(duì)個(gè)人病人的預(yù)判的有多大的掌控也許是較有意義的。當(dāng)對(duì)一項(xiàng)任務(wù)沒有掌控時(shí)，人類通常會(huì)謹(jǐn)嚴(yán)行事。機(jī)械學(xué)習(xí)體系也反映了這一點(diǎn)，此中流出是 0 到 1 范疇內(nèi)的“類型幾率”或“準(zhǔn)確的也許性”。但是，現(xiàn)在文獻(xiàn)中描繪的大多數(shù)醫(yī)學(xué)影像機(jī)械學(xué)習(xí)體系，當(dāng)供應(yīng)給模型的填寫信息超越散布范疇時(shí)，缺少說 "我不知曉 "的隱含本領(lǐng)。比如，縱然填寫圖片是貓的圖片，訓(xùn)練用來從計(jì)算機(jī)斷層掃描（比如）預(yù)判肺炎的分類器在設(shè)計(jì)上也被逼迫供應(yīng)流出（肺炎或非肺炎）。

在他們對(duì)于深度學(xué)習(xí)中的不確認(rèn)性量化的論文中，Sensoy等人用一系列的損失函數(shù)來處理這類問題，這類損失函數(shù)分派了一個(gè) "不確認(rèn)性分?jǐn)?shù)"，以此來以免錯(cuò)誤的、但有掌控的預(yù)判。在項(xiàng)目標(biāo)轉(zhuǎn)變階段，當(dāng)人工自動(dòng)體系被布置在與人類客戶一塊工作的場(chǎng)景中時(shí)，不確認(rèn)性量化的益處就顯現(xiàn)了。信念度量是AlphaFold2的一個(gè)要害原因，該蛋白質(zhì)折疊機(jī)械學(xué)習(xí)體系在第14屆蛋白質(zhì)構(gòu)造預(yù)判要害評(píng)價(jià)（CASP14）戰(zhàn)斗中獲得了無與倫比的確切性，給DeepMind研發(fā)隊(duì)伍供應(yīng)了一類方式來掂量他們理應(yīng)對(duì)正在形成的預(yù)判賦予多大的信賴。不少不確認(rèn)性量化方式的實(shí)行全是在許可的狀況下進(jìn)行的，以及與常用的機(jī)械學(xué)習(xí)框架兼容。歸入不確認(rèn)性量化也許有助于提升高危害的醫(yī)學(xué)成像機(jī)械學(xué)習(xí)體系的可闡明性和牢靠性，并減小智能化誤差的也許性。

5 可闡明性人工自動(dòng)和損害危害

除了量化某類機(jī)械學(xué)習(xí)體系的預(yù)判成效外，針對(duì)建立這類體系的工程師和應(yīng)用它們的臨床醫(yī)師來說，他們更感興致的是理解這類機(jī)械學(xué)習(xí)體系是怎樣得出論斷的。明顯性圖和類激活圖實(shí)際上仍舊是闡明機(jī)械學(xué)習(xí)算法怎樣進(jìn)行預(yù)判的規(guī)范。

Adebayo等人較近的研發(fā)標(biāo)明，只是依附明顯性圖的視覺外表也許會(huì)構(gòu)成誤導(dǎo)，縱然乍一看它們與布景有關(guān)。在一系列全面的測(cè)驗(yàn)中，他們發(fā)掘，不少盛行的形成過后明顯性圖的方式并沒有從模型權(quán)重中獲取真實(shí)的意思，而是與 "邊界探測(cè)器"（簡(jiǎn)潔映照像素強(qiáng)度之間的刺耳過渡領(lǐng)域的算法）沒有差別。另外，縱然這類可視化方式見效，除了機(jī)械學(xué)習(xí)算法正在尋找的 "位子 "之外，也幾乎不能破譯。在許多示例中，不管是準(zhǔn)確還是錯(cuò)誤的明顯性圖看起來幾乎是同樣的。當(dāng) "抱病 "狀況和 "常態(tài) "狀況之間的差別須要關(guān)心圖片或視頻的同一領(lǐng)域時(shí)，這類毛病就愈加顯著了。

圖3：過后模型闡明的誤導(dǎo)性。

a, Adebayo等人用MNIST信息集的真正標(biāo)簽訓(xùn)練的模型（上）和隨機(jī)噪聲訓(xùn)練的模型（下）進(jìn)行的試驗(yàn)。當(dāng)通過大多數(shù)可視化方式進(jìn)行評(píng)價(jià)時(shí)，在隨機(jī)噪聲上訓(xùn)練的模型仍舊構(gòu)成圓形外形。b，超聲心動(dòng)圖視圖平面的探測(cè)：錯(cuò)誤的分類（左上）和準(zhǔn)確的分類（右上）都構(gòu)成相似的明顯性圖（下）。

臨床醫(yī)師理應(yīng)注重，僅靠熱圖不夠以闡明 AI 體系的性能。在嘗試用如上圖所示的可視化方式來辨認(rèn)故障形式時(shí)，必需謹(jǐn)嚴(yán)。一個(gè)更精致的方式也許牽扯到持續(xù)遮擋測(cè)驗(yàn)，即在有意袒護(hù)臨床醫(yī)師拿來進(jìn)行診療或預(yù)判的領(lǐng)域后，評(píng)價(jià)圖片的功能。這個(gè)思想十分直觀：在已知對(duì)診療某種重病很首要的領(lǐng)域被掩蔽的圖片上運(yùn)作算法，比如，在企圖診療心力衰竭時(shí)掩蔽左心室，理應(yīng)能夠看見功能的急劇下落。

這有助于確定人工自動(dòng)體系正在關(guān)心有關(guān)行業(yè)。特別是在高維醫(yī)學(xué)成像研發(fā)的布景下，激活圖也許為視頻類成像研發(fā)的某類時(shí)間階段的相對(duì)首要性供應(yīng)獨(dú)到的看法。比如，某類重病也許在心臟緊縮時(shí)表現(xiàn)出病理特點(diǎn)，而針對(duì)其余重病也許須要人們關(guān)心心臟疏松時(shí)的狀況。往往如此的試驗(yàn)也許標(biāo)明，機(jī)械學(xué)習(xí)體系從臨床醫(yī)師傳統(tǒng)上不會(huì)應(yīng)用的圖片領(lǐng)域中辨認(rèn)出潛在的數(shù)據(jù)特點(diǎn)。除了采集對(duì)于這類機(jī)械學(xué)習(xí)體系怎樣構(gòu)成其流出的數(shù)據(jù)外，嚴(yán)酷的可視化試驗(yàn)也許供應(yīng)一個(gè)獨(dú)到的機(jī)會(huì)，能夠從被評(píng)價(jià)的機(jī)械學(xué)習(xí)體系中學(xué)習(xí)生物學(xué)的看法。

另一方面，激活與臨床上已知的首要領(lǐng)域的誤差也許預(yù)示著網(wǎng)絡(luò)正在學(xué)習(xí)非特同性的特點(diǎn)，使它們不太也許較好地歸納到其余信息集。

機(jī)械學(xué)習(xí)體系學(xué)習(xí)的特點(diǎn)也許取決于架構(gòu)的設(shè)計(jì)。更首要的是，機(jī)械學(xué)習(xí)體系會(huì)依據(jù)供應(yīng)給它的訓(xùn)練信息和目的來學(xué)習(xí)和持續(xù)體系性的不平等。緊隨醫(yī)療保健人工自動(dòng)體系不停向?qū)淼闹夭☆A(yù)判成長(zhǎng)，必需愈加謹(jǐn)嚴(yán)地參考到這類群體在獲取醫(yī)療保健和結(jié)果方面的較大差別。

在較近的評(píng)論中，Chen等人深入概括了從問題選取到布置后階段的潛在誤差來歷。在這里，咱們重點(diǎn)研討機(jī)械學(xué)習(xí)體系開發(fā)初期的潛在處理計(jì)劃。部分人主張用部分方式來闡明當(dāng)代機(jī)械學(xué)習(xí)體系的其余 "黑箱 "預(yù)判，而其余人則主張一開啟就限定應(yīng)用更可闡明的模型。除了在訓(xùn)練全部 AI 體系時(shí)結(jié)合構(gòu)造化信息的填寫之外，旁邊方式還牽扯應(yīng)用黑盒模型訓(xùn)練醫(yī)學(xué)成像神經(jīng)網(wǎng)絡(luò)。

這能夠通過創(chuàng)建 "交融網(wǎng)絡(luò) "來實(shí)行，此中表格信息被歸并到基于圖片或視頻的神經(jīng)網(wǎng)絡(luò)中，或其余擁有相近根本目的的更超前的方式（形成組合信息的低維表達(dá)的智能編碼器）?？v然沒有將人口統(tǒng)計(jì)學(xué)填寫歸入高維視覺網(wǎng)絡(luò)，研發(fā)小組通過較為不異性別、種族、地域和收益群體的表現(xiàn)來核驗(yàn)他們的模型也很首要。

機(jī)械學(xué)習(xí)體系也許會(huì)無意中學(xué)會(huì)進(jìn)一步持續(xù)和鄙視個(gè)別民族和有色人種，因而在模型開發(fā)流程的初期理解這類成見是至關(guān)首要的。對(duì)機(jī)械學(xué)習(xí)體系的信賴針對(duì)更全面的采取至關(guān)首要，正如開拓特定的特點(diǎn)或變量怎樣并且為什么會(huì)造成預(yù)判同樣，通過結(jié)合明顯性圖和預(yù)計(jì)特點(diǎn)首要性的模型無關(guān)的方式。

另一類方式是在訓(xùn)練邏輯中限定機(jī)械學(xué)習(xí)算法，保證產(chǎn)生優(yōu)化方法以操控感興致的人口統(tǒng)計(jì)學(xué)變量。這種似于多變量回歸模型，此中感興致的危害原因的牽連能夠獨(dú)立于基線人口統(tǒng)計(jì)學(xué)變量來研發(fā)。從技巧角度看，這將牽扯到在訓(xùn)練循環(huán)中插入一個(gè)額外的責(zé)罰性損失，并緊記與稍低的模型功能的潛在掂量。比如，F(xiàn)airlearn 是用來評(píng)價(jià)傳統(tǒng)機(jī)械學(xué)習(xí)模型公道性的盛行工具包，以及已然開發(fā)了基于 Fairlearn 算法 (FairTorch) 的束縛優(yōu)化，這是在訓(xùn)練流程中調(diào)整誤差調(diào)節(jié)的有期望的開拓性嘗試。有不少開源工具包能夠輔助研發(fā)職員確認(rèn)不同變量和填寫流（圖片預(yù)判，并且類似性別和種族等變量）的相對(duì)首要性。這類技巧也許容許開發(fā)更公道的機(jī)械學(xué)習(xí)體系，乃至能夠發(fā)掘沒有預(yù)期到的暗藏成見。

6 總結(jié)

雖然計(jì)算架構(gòu)和獲得高端量信息是建立優(yōu)良模型的要害，但為高維成像形式開發(fā)可轉(zhuǎn)換的機(jī)械學(xué)習(xí)體系方面還須要積極，以更好地代表信息的 "視頻 "本質(zhì)。另外還須要在模型開發(fā)的初期階段創(chuàng)建有助于處理成見、不確認(rèn)性和可闡明性的性能。對(duì)醫(yī)學(xué)成像和人工自動(dòng)的質(zhì)疑是有益的，況且在大多數(shù)狀況下?lián)碛薪^對(duì)道理。

咱們期望，通過創(chuàng)建容許研發(fā)職員評(píng)價(jià)臨床表現(xiàn)、醫(yī)院工作過程中的調(diào)整、與臨床醫(yī)師的互動(dòng)并且社會(huì)人口損害的下游危害的性能，能夠在改進(jìn)人工自動(dòng)的交付方面邁出有意思的措施。咱們期望研發(fā)職員會(huì)發(fā)掘這個(gè)觀念較有用，由于它概括了在臨床布置方面續(xù)等他們的潛在戰(zhàn)斗，以及在處理此中部分問題時(shí)能夠闡揚(yáng)引導(dǎo)性意思。

GAIR 2021大會(huì)首日：18位Fellow的40年AI光陰，一場(chǎng)技巧前端的傳承與舌戰(zhàn)

2021-12-10

致敬傳說：華夏并行解決四十年，他們從無人區(qū)開拓走到計(jì)算的黃金世紀(jì) | GAIR 2021

2021-12-09

時(shí)間的力量——1991 人工自動(dòng)大申辯 30 周年齡念：主義不再，共融互生｜GAIR 2021

2021-12-12

將來已來，元宇宙比你設(shè)想中來得更早丨GAIR 2021

2021-12-12