平行皮膚:基于視覺的皮膚病分析框架
發布時間：2019-09-16 16:14:24
隨著計算機與人工智能的快速發展,基于圖像感知的皮膚病分析方法取得一些成果. 然而,以深度學習為主的計算機輔助分析方法依賴于領域專家標注的醫學大數據,診斷結果缺乏醫學可解釋性. 為此,文中提出基于視覺的皮膚病分析統一框架—平行皮膚. 啟發于ACP 方法與平行醫學圖像分析框架,通過構建人工皮膚圖像系統實現數據選擇與生成,通過預測學習的計算實驗完成診斷分析模型構建與評估,并利用描述學習與指示學習融合專家知識,引導人工圖像系統數據生成與選擇,從而實現閉環診斷分析模型優化.
【摘 要】 隨著計算機與人工智能的快速發展,基于圖像感知的皮膚病分析方法取得一些成果. 然而,以深度學習為主的計算機輔助分析方法依賴于領域專家標注的醫學大數據,診斷結果缺乏醫學可解釋性. 為此,文中提出基于視覺的皮膚病分析統一框架—平行皮膚. 啟發于ACP 方法與平行醫學圖像分析框架,通過構建人工皮膚圖像系統實現數據選擇與生成,通過預測學習的計算實驗完成診斷分析模型構建與評估,并利用描述學習與指示學習融合專家知識,引導人工圖像系統數據生成與選擇,從而實現閉環診斷分析模型優化.
【關鍵詞】 平行皮膚, 平行智能, 生成式模型
引用格式 王飛躍,茍超,王建功,沈甜雨,鄭文博,于慧. 平行皮膚:基于視覺的皮膚病分析框架. 模式識別與人工智能, 2019, 32(7): 577-588.
Parallel Skin: A Vision Based Dermatological Analysis Framework
WANG Fei Yue，GOU Chao, WANG Jiangong，
SHEN Tianyu，ZHENG Wenbo，YU Hui
ABSTRACT With the rapid development of computer and artificial intelligence, image based methods for skin analysis have achieved preferable results. However, the performance of computer aided diagnosis systems based on deep learning methods relies on big medical data labeled by domain experts. In addition, there is limitation of interpretability for the diagnosis results. To address aforementioned problems, a vision based unified framework for dermatological analysis termed as parallel skin is proposed. Inspired by the ACP method and the parallel medical image analysis framework, the artificial skin image system to perform data selection and generation is constructed. Then, computational experiments are conducted with predictive learning for model building and evaluation. Descriptive and prescriptive learning to leverage the power of domain knowledge to guide data selection and generation are further introduced. In the proposed parallel skin framework, the closed loop diagnostic analysis model can be optimized.
Key Words Parallel Skin, Parallel Intelligence, Generative Models
Citation WANG F Y, GOU C, WANG J G, SHEN T Y, ZHENG W B, YU H. Parallel Skin: A Vision Based Dermatological Analysis Framework. Pattern Recognition and Artificial Intelligence, 2019, 32(7): 577-588.
皮膚病是發生在皮膚和皮膚附屬器官疾病的總稱. 皮膚病病種繁多,目前已知超過2 000 種皮膚病[1-2] ,很多皮膚病種之間及其相似,即使有經驗的專家也無法準確辨別. 皮膚病的病因也較復雜,外部環境、食物結構、遺傳等都是致病因素. 皮膚癌是皮膚病中危害尤為嚴重的一種常見惡性腫瘤,它發生于頭部、面部、頸部、下肢等部位,多見于老年患者,在美國每年就有540 余萬新增皮膚癌患者[3] . 黑色素瘤是一種致命皮膚癌,雖然在美國皮膚癌患者中僅有大約5% 的患者是黑色素瘤,但是它造成皮膚癌致死人數的75% [1] ,在歐洲每年有超過10 萬人被診斷為黑色素瘤,有大約2. 2 萬致死病例[4] . 我國雖為黑色素瘤低發區,但隨著環境污染加重與人們健康意識的增強,確診病例以每年3%至8%的速度增長. 黑色素瘤在皮膚表面表現為色素性病變,可以通過專家視覺檢測進行早期檢測,但是易與黑色素痣等良性皮膚病混淆. 皮膚病的早期診斷、早期治療尤為重要,特別是針對黑色素瘤的早期診斷治療,5年存活率可以由14%提高到99%左右[5] . 當前我國皮膚病診斷面臨著病種繁多、病因復雜、皮膚科專家醫生短缺的問題.
隨著計算機普及與人工智能技術的快速發展,以深度學習為核心的人工智能方法在圖像分析、語音識別、自然語言處理等領域取得突破性成果[6] .
近年來,深度神經網絡方法逐步應用于醫療領域,尤其在圖像分析、電子病歷管理、移動醫療等應用上取得開創性成果[7-8] . 目前,基于深度學習方法的皮膚病智能診斷是智能醫療的重要研究方向[1,9-11] . 由于深度神經網絡需要大量皮膚圖像標注數據,同時需要具有醫學知識的皮膚科醫生來標注,因此,對于醫學皮膚數據采集及標注都是目前基于深度學習輔助皮膚診斷研究的難點問題. 此外,深度神經網絡模型是一個“黑盒冶模型,給定皮膚數據,輸出良惡性分類結果不具有醫學可解釋性.
2004 年王飛躍[12] 提出平行智能方法論,核心是通過計算實驗,描述、預測并引導復雜系統現象,通過整合人工社會、計算實驗和平行執行(Artificial Societies, Computational Experiments, and Parallel Execution)的方法解決實際系統中不可預測、難以拆分、無法重復實驗的復雜系統問題. 經過10 多年的發展,平行智能的計算研究體系不斷豐富和完善,并在智能交通[13-17] 、社會計算[18-22] 、視覺感知[23-24] 、智慧醫療[25-28] 、智慧教育[29-30] 等領域取得良好效果. 針對目前基于計算機皮膚智能診斷領域存在的難點問題,本文提出基于平行智能方法的皮膚病智能分析框架,為皮膚病診斷應用實現可解釋性推理問題提供一個統一的解決框架.
1 基本概念
1. 1 ACP 與平行學習
基于ACP 的平行智能方法[12] 最早由王飛躍提出,試圖解決復雜系統的建模與控制問題,分為人工社會(Artificial Societies)、計算實驗(Computational Experiments)、平行執行(Parallel Execution)三部分.它進一步定義為一種基于真實與虛擬系統交互并執行的智能方法, 可以實現描述、預測與引導智能[18-19] . 本文將ACP 方法進一步推廣于視覺感知領域[23] ,提出平行視覺方法[23,31-32] ,通過人工場景、計算實驗、平行執行以實現基于視覺的復雜場景感知與理解. 而已有的基于虛擬圖像的學習方法[33-35]為平行視覺的虛擬人工場景與計算實驗部分. 平行執行的目的是構建一個閉環,實現虛實互動在線模型優化[15] .
平行學習是一個新型機器學習框架,在描述、預測與指示學習基礎上,將數據、知識、行動整合于一個閉環系統,目的是解決目前機器學習方法中數據收集、策略選擇受限的問題[36] . 平行學習大致可以分為描述學習(Descriptive Learning)、預測學習(Predictive Learning)、指示學習(Prescriptive Learning)三個互相耦合關聯的階段. 平行學習通過描述學習得到與真實數據分布一致的生成模型,通過預測學習從數據中蒸餾知識,通過指示學習根據不斷增長的知識引導系統訓練與測試評估,從而實現優化. 對抗學習是平行學習一種特殊實現形式[36] .
1. 2 平行醫學圖像
平行醫學圖像是最近提出的一種醫學圖像分析框架[38] . 與傳統自然圖像分析不同,醫學圖像分析需要融合專家領域知識,由此,平行醫學圖像將醫學圖像數據、專家領域知識整合于一個系統中,提出“數據驅動+知識驅動冶的雙向平行進化優化,從而解決醫學影像數據收集耗時費力且不具有可解釋性的難點問題. 從數據驅動角度出發[39] ,該框架提出從實際臨床醫學場景中獲取特定的醫療圖像“小數據冶,輸入構建的人工醫學圖像系統,生成大量人工圖像數據. 原始特定的圖像“小數據”與生成的數據構成解決復雜醫療圖像分析問題所需的“大數據”集合,用于診斷模型的學習與評估,從而實現醫學“小知識”的提取. 反之,從知識驅動角度出發,啟發于人在環路的混合增強智能[40-41] ,提出將提取的醫學“小知識”與醫生專家先驗知識被解碼為模型可識別的描述,由頂向下指導數據收集與生成,由此得到數據知識具有解釋性,從而有利于構建可解釋診斷模型,并提高可解釋性[38] .
2 平行皮膚框架及相關工作
醫療數據,特別是皮膚病圖像數據難以獲取,一方面是由于我國醫療機構的封閉運行及隱私保護,另一方面我國皮膚病病癥相對較少. 啟發于基于ACP 思想的平行醫學圖像分析框架,本文提出平行皮膚分析框架,為基于視覺感知方法的皮膚病智能診斷分析提供一種解決方法. 具體框架如圖2 所示.
本文提出構建人工圖像系統,實現基于真實皮膚圖像分布的數據擴充與生成,并開展基于數據驅動的計算實驗. 與基于視覺的分析方法不同,引入平行學習,融合醫學專家知識,實現閉環反饋系統優化.
2. 1 皮膚數據收集
目前已有的皮膚病圖像分析方法大多基于模型學習,需要準確的標注信息,而皮膚病類別繁多且需要領域醫學知識才能標注,因此,對于數據驅動的皮膚診斷模型學習而言,收集大規模有效訓練樣本圖像耗時費力,皮膚圖像數據收集仍然是一個具有挑戰性的問題.
本文提出構建一個人工圖像系統,由系統實現特定數據刪選及生成,從而實現有效皮膚數據收集.人工圖像系統的目的是實現數據收集,具體實現是通過得到真實圖像的分布模型,并根據真實皮膚數據分布選擇與生成與真實分布一致的數據. 本文將人工圖像系統的實現方法分為顯式真實圖像擴充和隱式仿真圖像生成兩類方法.
1)真實數據擴充. 具體顯式的方法可以為傳統圖像擴充方法,包含旋轉、加噪、縮放等操作,如圖3所示.
通過傳統仿射變化,如旋轉、縮放等及扭曲、加噪等操作,依然保持原皮膚病理特性,從而有效實現真實數據擴充. 類似的方法[1,42] 用于解決數據平衡,為深度網絡模型提供更多樣數據. 此外,也可以根據臨床病理檢測結果有監督地刪選特定病種的皮膚影像,如選擇特定患癌樣本圖像,用于后續總結分析癌變圖像特征.
2)仿真數據生成. 隱式的方法主要基于模型學習數據分布,得到生成模型,用于生成分布一致的仿真數據. 生成對抗網絡( Generative Adversanal Networks, GANs)[43-44] 廣泛應用于隱式圖像生成.
如圖4 所示,構建一個生成器G 和一個判別器D,G和D 一般是可微分的深度神經網絡,它們的輸入分別為隨機變量z 和真實皮膚圖像數據x,G(z) 為由G生成的盡量服從真實皮膚圖像分布pdata 的樣本. D輸出的輸入數據來源于真實圖像的概率,其優化目標是實現對數據來源的二分類判別: 來源于真實圖像還是生成的仿真皮膚圖像. 而G 的目標是使自己生成的數據G(z) 在D 上的表現D(G(z)) 和真實數據x 在其上的表現D(x) 一致. 二者對抗優化,損失函數定義如下:
在已有工作[45] 中,已提出利用深度卷積生成式對抗網絡(Deep Convolutional GAN, DCGAN)[46] 和拉普拉斯金字塔生成式對抗網絡(Laplacian Pyramid of GAN, LAPGAN)[47] 生成高清(256伊256)皮膚病圖像,實驗部分作者僅使用訓練和驗證損失作為生成圖像的評價標準. Bissoto 等[48] 利用pix2pixHD[49]生成更高清(1024伊512)皮膚圖像,生成的圖像直觀上部分不真實,但是包含病癥信息,通過生成圖像數據擴充后,分類模型效果也有所提升. 風格轉換方法也常用于數據生成[50] ,如圖5 所示,利用良性原圖結構,融合特定病種(惡性) 皮膚特性生成仿真圖像. 該類方法可以解決惡性皮膚少的數據不平衡問題.
除了利用GANs 得到生成模型外,Galdran 等[51]提出從已有數據中學習得到光照分布,并將該部分作用于顏色歸一化后的皮膚圖像,從而生成新的皮膚數據,在ISIC2017 數據集上的分割和分類效果均證明其基于顏色信息擴充數據的有效性. 此外,還有部分工作基于專家領域知識,在圖像獲取端進行顏色處理[11,52-53] ,這類方法比對獲取圖像進行歸一化后處理更有效.
3)開源皮膚數據. 本節總結目前已有的開源皮膚鏡及臨床醫學圖像數據集,如表1 所示,為基于數據驅動的皮膚病分析提供更多真實數據源.
Interactive Atlas 數據集由Argenziano 等[54] 于2000 年出版的《Interactive Atlas of Dermoscopy》的附贈光盤里1 024 張皮膚鏡圖像組成,具有7 種皮膚病的分類標簽,大致可以分為167 張非黑色素瘤圖、857 張痣和黑色素瘤圖. 雖然這是一個涵蓋病種數最多的可用數據集之一,但由于可訪問性較低,數據獲取較困難.PH2 數據集是Mendon觨a 等[55] 在2013 年公布,一共有200 張皮膚鏡圖,包括160 張痣圖、40 張黑色素瘤圖. 其中黑色素瘤圖均已經過病理學驗證,但是大多數的痣并不適于用病理學的方法驗證. 由于數據是公開的,而且包括較全面的疾病圖像,因此PH2 數據集一直被用于黑色素瘤的計算機診斷研究.
SD198 由Sun 等[56] 公布于2016 年,是當時用于皮膚病視覺識別最大的數據集,包括根據規模、顏色、形狀和結構分為198 類的6 584 張圖像,同時也可以使用不同的分類標準,得到更少的類別數,使每類有更多的樣本數量.
7-Point 是2018 年Kawahara 等[57] 在研究多任務神經網絡對皮膚病圖像7-Point 標準分類時使用的數據集. 共有2 045 張彩色臨床和皮膚鏡圖像,有標注信息的有效數據為1 011 張,這些圖像具有多種分類標準下的類別標簽,其中有252 張黑色素瘤圖,759 張非黑色素瘤圖.Hyperspectral 數據集是由Gu 等[58] 于2018 年公開的第一個高光譜皮膚鏡數據集,包括330 張16個可見光波段的高光譜皮膚鏡圖像,共有80 張黑色素癌圖、180 張異常痣圖及70 張其它種類皮膚病的圖像,一共分成6 種類別. 同時所有圖像都經過病理學驗證.
ISIC2017 是收集、整理多個數據庫后的一個公開數據集[59] . 截止2018 年2 月12 日,包含13 786張皮膚鏡圖,主要由黑素細胞病變圖像組成,13 786張圖像中有多達12 893 張圖像是痣或黑色素瘤. 就目前而言,ISIC2017 數據集易于獲取,數據量大,是皮膚鏡圖像分析研究的標準數據源.HAM10000 是Tschandl 等[60] 從奧地利維也納醫科大學的皮膚病學系和澳大利亞昆士蘭大學Cliff Rosendahl 的皮膚癌研究中收集20 年內的10 015 張不同人群的皮膚鏡圖,病例基本包括色素病變領域中所有重要的診斷類別,其中53. 3% 都得到病理學驗證.
2. 2 計算實驗方法與預測學習
通過人工皮膚圖像系統實現數據增廣擴充后,進一步完成計算實驗,從而實現醫學診斷. 從影像組學[61] 的角度來說,通過開展計算實驗從皮膚圖像中高通量地提取影像信息,實現病灶分割、特征提取與預測模型建立,憑借對海量圖像數據信息進行更深層次的挖掘、預測和分析以輔助醫師做出最準確的診斷. 平行醫學圖像分析框架[38] 指出預測學習可用于挖掘醫學知識,實現輔助診斷.
在計算實驗步驟,利用預測學習方法得到魯棒有效的診斷模型. 基于數據驅動的方法,如深度模型等,可以在本文框架中通過預測學習得到有效魯棒的皮膚病診斷模型. 傳統目標檢測、分割、分類等基于視覺的分析方法均可以用于計算實驗. 在一個基于深度學習的黑色素瘤分類方法中[9] ,首先利用一個自生成神經網絡提取病灶區域,然后提取一些人工特征表征病灶的顏色、紋理與邊界信息,最后通過集成神經網絡方法實現分類. Yang 等[62] 提出融合皮膚專家知識,在皮膚診斷準則ABCD(Asymmetry, Border, Color, Diameter)指導下,提取人工特征(非對稱、邊界、顏色、直徑),并融合特征實現皮膚病診斷,在SD198 數據集[56] 上的198 類分類識別準確率達到56. 47%. Esteva 等[1] 利用GoogleNet [63] 網絡結構,在ImageNet 數據集合上預訓練一個大概具有128 萬個參數的深度網絡,網絡結構如圖6 所示,在近13 萬張皮膚病變數據集上進行遷移學習優化,這些皮膚圖像覆蓋2 032 種不同的皮膚疾病,分為757個大類進行實驗. 實驗結果顯示模型敏感特異性AUC 為91%,達到媲美專業皮膚科醫生水平.
2. 3 基于平行學習的閉環優化
平行學習框架通過整合預測、描述、指示學習實現數據、知識與決策的系統優化, 基于平行學習[36-37] 框架如圖2 所示,從數據角度,利用描述、指示學習方法融合醫學專家知識,實現整個系統閉環優化. 與傳統方法不同,通過預測學習得到診斷模型后,提出通過描述與指示學習反饋優化指導皮膚數據收集與生成.
描述學習的目的是構建模型并對預測結果進行描述解釋[64] . 本文提出基于描述學習在人工圖像系統中得到已有數據的分布模型,可以有效表征已有數據分布. 描述學習可以通過半監督或無監督的學習. 而指示學習的目的是引導系統下一步行動生成特定輸出[64] . 在基于圖像的皮膚病分析框架中,提出利用指示學習實現特定樣本的刪選與生成. 特別地,可以根據醫學專家常識刪選無效皮膚圖像數據,減小外點數據對模型訓練的干擾. 同時,利用預測學習得到模型分析結果或醫學專家領域知識以指導數據生成. 例如需要大量黑色素瘤的惡性皮膚數據,可以利用生成對抗等方法在惡性皮膚數據上進行數據分布學習,并根據領域知識(惡性皮膚通常含有支路條紋、呈片塊狀或束狀排列[50] )設定數據分布條件限制,從而生成特定類別的腫瘤圖像[38] .
通過上述平行學習方法,平行皮膚框架可以不斷優化系統模型,采集并生成更有效多樣的皮膚圖像數據,提取更精準有效知識,實現更準確的皮膚病輔助診斷及分析.
3 基于生成對抗方法的平行皮膚應用實例
以皮膚病分類實現輔助診斷為例,在平行皮膚框架下,本文利用生成對抗方法對HAM10000 數據集[60] 中部分樣本數量較少的類別進行顯式和隱式的增廣擴充,生成仿真皮膚圖像,然后使用混合人工生成數據及原始數據的新數據集進行基于預測學習的皮膚分類對比實驗,相比直接利用原始數據集進行分類,本文方法可以得到更準確的結果,有效提高輔助診斷效果.
3. 1 基于描述學習與指示學習生成仿真皮膚圖像
首先進行翻轉、裁剪、縮放等顯式數據擴充. 在此基礎上,利用DCGAN 網絡模型[46] 預測真實皮膚圖像分布,實現預測學習,從而利用得到的生成器模型生成仿真皮膚圖像. 生成器網絡結構如圖7 所示.
為了解決訓練數據平衡問題,在平行皮膚框架下,利用指示學習方法,在醫學專家標注的標簽特定類別下進行生成,從而實現醫學專家知識的融合與引導. 具體地,有監督地對HAM10000 數據集中醫生標注數量較少的4 類圖像進行4 個不同的DCGAN 訓練,原則上對應的DCGAN 生成對應的類別圖像,從而實現數據特定擴充,擴充前后各類圖像數量如表2 所示. 生成的仿真皮膚圖像如圖8 所示,相比真實圖像,這些仿真圖像有類似的外觀和紋理.
3. 2 基于預測學習的分類驗證實驗
預測學習旨在挖掘醫學影像深層病理特征并實現分類預測. 本文利用ResNet[65] 對HAM10000 數據集進行預測分類實驗,然后加入生成的仿真皮膚圖像后進行對比,可以驗證依據平行皮膚框架的思想對于計算機輔助皮膚病醫學診斷的有效性. 本文使用的驗證實驗流程如圖9 所示. 在原始數據集的實驗中,本文使用共9 017 張各類的皮膚病圖像作為訓練集,并在998 張圖像上進行測試. 基于平行皮膚方法優化后的訓練圖像數量為13 017,并在相同的測試數據集中完成對比實驗.
表3 和表4 分別給出平行皮膚優化前后在各類指標下的實驗效果. 優化后的歸一化混淆矩陣如圖10 所示.
通過對比可以發現,分類的平均準確度、召回率、精確度和F1 值等各項指標都有1 % ~2 % 的提升,這說明平行皮膚框架確實有助于皮膚病的計算機輔助醫學診斷. 值得注意的是,在種類vasc 上,通過平行學習引導生成實現數據擴充后,F1 值達到100%. 這說明融合領域知識實現特定類別數據生成擴充后,可以提高模型泛化能力. 由于文章篇幅有限,只簡單進行一步優化,基于平行學習的迭代優化將在后續工作中展開. 同時,進一步融合領域專家知識,將醫學知識轉為計算模型可識別認知的條件也將是今后工作的一部分.
4 思考與展望
皮膚作為人體最大的器官,直接與外界環境接觸,具有調節體溫、排泄與感受外界刺激的作用. 針對皮膚的相關研究正受到廣泛關注,本文從視覺感知角度提出平行皮膚框架,并概述已有的研究成果.而在皮膚相關研究的領域,還有很多開放的研究方向.
4. 1 醫學可解釋性
盡管目前基于深度網絡方法的皮膚病診斷達到甚至超過皮膚科專家的水平[1,10,66] ,但是這類方法缺乏醫學可解釋性. 盡管平行皮膚框架通過平行學習選擇與生成特定數據,通過明確數據構成及來源一定程度上可以增加模型的可解釋性,但是仍具有一定局限性. 例如無法將醫學領域知識輸出,并給出判斷具體依據. 特別是在醫學皮膚圖像分析領域,計算機給出醫療診斷結果時,患者及醫生都有必要知道計算機提取的語義特征,以及做出判斷的醫學依據[67-68] . 作者建議深入了解皮膚病理學及生物解剖學,與臨床醫生開展跨領域深入合作,將領域知識轉化為計算機可識別的語言表征,從而設計可解釋診斷模型. Maibach 等[69] 詳細介紹皮膚病學的基本原理,如臨床研究的可解釋性、疾病導向的證據與病人的護理證據等,可以為基于深度網絡進行輔助診斷提供可解釋性. 作者認為可解釋的智能診斷方法可以增加輔助診斷的透明度與可信性,在基于視覺分析的皮膚病分析應用領域,可解釋性將是醫學教育和臨床診斷等領域最亟需解決的問題之一.
4. 2 美容皮膚學
深入了解皮膚的解剖組織特性,從護理及保養的角度研究皮膚病問題受到越來越多的關注. 基于皮膚影像分析廣泛應用于皮膚病的診斷,也可以應用于醫學美容治療前后的效果評估. 所以,平行皮膚可以實現皮膚病的智能診斷,同樣可以推廣應用于美容皮膚學(Cosmetic Dermatology)[70-72] . 目前較少的工作利用人工智能方法應用于皮膚美容學. 針對皮膚術前術后恢復情況、動態檢測皮膚病發展狀態、準確計算評估預后情況等領域,平行皮膚分析方法具有無創、實時及動態的特定,一定會日漸受到廣泛關注.
4. 3 生物皮膚研究
從生物醫學角度而言,Naik 等[73] 的研究表明皮膚能夠形成對皮膚炎癥的記憶. 具體地,傷口或其它觸發炎癥的有害經歷會使駐留在皮膚中的上皮干細胞帶來持久記憶,教導它們更快愈合. 他們在實驗中證明,一個被稱作Aim2 的基因尤為重要,這個基因編碼一種“損傷與危險冶的感知蛋白,最初的炎癥促進它的表達持續增加. 炎癥再次來臨會迅速激活這種蛋白,從而導致一種炎性信號產生,而且這種信號增強這些干細胞遷移到傷口中的能力. 針對皮膚損傷自我修復能力有限的問題,Kurita 等[74] 介紹將開放性傷口中的細胞直接轉化為新皮膚細胞的方法,依賴于將細胞重新編程為干細胞樣狀態,并且可用于治療皮膚損傷、抗衰老,也能進一步理解皮膚癌.啟發于人體皮膚特性,Lai 等[75] 利用摩擦納米發電機,開發第一個可自驅動、自主感知并響應內部運動和外部刺激的軟體機器人皮膚.
5 結束語
本文提出平行皮膚的概念及框架,為基于皮膚影像數據分析的視覺感知問題提出一種新的基于數據驅動的分析方法. 基于ACP 方法及平行醫學圖像框架,提出構建人工皮膚圖像系統以選擇與生成數據,并通過平行學習實現診斷分析系統的閉環優化的統一框架. 本文概述系統構成環節中已有相關工作,并通過對已有工作調研分析給出具體思考與該領域未來研究展望. 同時,還開展初步應用實例研究. 需要指出的是,細節之處還需要進一步完善,在皮膚影像分析領域的平行學習理論還需要進一步研究. 作者相信,整合“描述智能-預測智能-指示智能冶的平行皮膚方法一定會受到更廣泛的關注,并實際應用于皮膚相關的各個領域.
致謝
本文是王飛躍教授與美國加州大學舊金山分校資深皮膚學專家Howard Maibach 教授探討后確立的研究課題及內容,在此對Howard Maibach 教授的指導及其助手翟洪波先生的幫助表示衷心感謝.
參考文獻
[1] ESTEVA A, KUPREL B, NOVOA R A, et al. Dermatologist- Level Classification of Skin Cancer with Deep Neural Networks. Nature, 2017, 542(7639): 115-118.
[2] HAY R J, JOHNS N E, WILLIAMS H C, et al. The Global Burden of Skin Disease in 2010: An Analysis of the Prevalence and Impact of Skin Conditions. Journal of Investigative Dermatology, 2014, 134(6): 1527-1534.
[3] ROGERS H W, WEINSTOCK M A, FELDMAN S R, et al. Incidence Estimate of Nonmelanoma Skin Cancer (Keratinocyte Carcinomas) in the US Population, 2012. JAMA Dermatology, 2015, 151(10): 1081-1086.
[4] BRAY F, FERLAY J, SOERJOMATARAM I, et al. Global Cancer Statistics 2018: Globocan Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries. CA: A Cancer Journal for Clinicians, 2018, 68(6): 394-424.
[5] 何雪英,韓忠義,魏本征. 基于深度卷積神經網絡的色素性皮膚病識別分類. 計算機應用, 2018, 38(11): 3236-3240.
(HE X Y, HAN Z Y, WEI B Z. Pigmented Skin Lesion Recognition and Classification Based on Deep Convolutional Neural Network. Journal of Computer Applications, 2018, 38(11): 3236 -3240. )
[6] LECUN Y, BENGIO Y, HINTON G. Deep Learning. Nature, 2015, 521(7553): 436-444.
[7] 田娟秀,劉國才,谷珊珊,等. 醫學圖像分析深度學習方法研究與挑戰. 自動化學報, 2018, 44(3): 401-424.
(TIAN J X, LIU G X C, GU S S, et al. Deep Learning in Medical Image Analysis and Its Challenges. Acta Automatica Sinica, 2018, 44(3): 401-424. )
[8] LITJENS G, KOOI T, BEJNORDI B E, et al. A Survey on Deep Learning in Medical Image Analysis. Medical Image Analysis, 2017, 42: 60-88.
[9] XIE F Y, FAN H D, LI Y, et al. Melanoma Classification on Dermoscopy Images Using a Neural Network Ensemble Model. IEEE Transactions on Medical Imaging, 2017, 36(3): 849-858.
[10] HAENSSLE H A, FINK C, SCHNEIDERBAUER R, et al. Man Against Machine: Diagnostic Performance of a Deep Learning Covolutional Neural Network for Dermoscopic Melanoma Recognition in Comparison to 58 Dermatologists. Annals of Oncology, 2018, 29(8): 1836-1842.
[11] CELEBI M E, CODELLA N, HALPERN A. Dermoscopy Image Analysis: Overview and Future Directions. IEEE Journal of Biomedical and Health Informatics, 2019, 23(2): 474-478.
[12] 王飛躍. 平行系統方法與復雜系統的管理和控制. 控制與決策,2004, 19(5): 485-489, 514.
(WANG F Y. Parallel System Methods for Management and Control of Complex Systems. Control and Decision, 2004, 19(5): 485-489, 514. )
[13] WANG F Y. Parallel Control and Nanagement for Intelligent Transportation Systems: Concepts, Architectures, and Applications. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(3): 630-638.
[14] WANG F Y, ZHENG N N, CAO D P, et al. Parallel Driving in CPSS: A Unified Approach for Transport Automation and Vehicle Intelligence. IEEE/ CAA Journal of Automatica Sinica, 2017, 4(4): 577-587.
[15] LI L, WANG X, WANG K F, et al. Parallel Testing of Vehicle Intelligence via Virtual- Real Interaction. Science Robotics, 2019, 4(28). DOI: 10. 1126/ scirobotics. aaw4106.
[16] 呂宜生,陳圓圓,金峻臣,等. 平行交通:虛實互動的智能交通管理與控制. 智能科學與技術學報, 2019, 1(1): 21-33.
(L譈Y S, CHEN Y Y, JIN J C, et al. Parallel Transportation: Virtual- Real Interaction for Intelligent Traffic Management and Control. Chinese Journal of Intelligent Science and Technology, 2019, 1(1): 21-33. )
[17] 劉騰,王曉,邢陽,等. 基于數字四胞胎的平行駕駛系統及應用. 智能科學與技術學報, 2019, 1(1): 40-51.
(LIU T, WANG X, XING Y, et al. Research on Digital Quadruplets in Cyber-Physical-Social Space-Based Parallel Driving. Chinese Journal of Intelligent Science and Technology, 2019, 1(1): 40-51. )
[18] WANG F Y, WANG X, LI L X, et al. Steps toward Parallel Intelligence. IEEE/ CAA Journal of Automatica Sinica, 2016, 3(4):345-348.
[19] WANG F Y, ZHANG J J, ZHENG X H, et al. Where Does Alphago Go: From Church- Turing Thesis to Alphago Thesis and Beyond. IEEE/ CAA Journal of Automatica Sinica, 2016, 3(2): 113-120.
[20] WANG F Y, YUAN Y, LI J J, et al. From Intelligent Vehicles to Smart Societies: A Parallel Driving Approach. IEEE Transactions on Computational Social Systems, 2018, 5(3): 594-604.
[21] WANG F Y, WANG P, LI J J, et al. Social Transportation: Social Signal and Technology for Transportation Engineering. IEEE Transactions on Computational Social Systems, 2019, 6(1): 2-7.
[22] WANG F Y, ZHANG J J, QIN R, et al. Social Energy: Emerging Token Economy for Energy Production and Consumption. IEEE Transactions on Computational Social Systems, 2019, 6(3): 388-393.
[23] WANG K F, GOU C, ZHENG N N, et al. Parallel Vision for Perception and Understanding of Complex Scenes: Methods, Frame- work, and Perspectives. Artificial Intelligence Review, 2017, 48(3): 299-329.
[24] GOU C, ZHANG H, WANG K F, et al. Cascade Learning from Adversarial Synthetic Images for Accurate Pupil Detection. Pattern Recognition, 2019, 88: 584-594.
[25] WANG F Y, WONG P K. Intelligent Systems and Technology for Integrative and Predictive Medicine: An ACP Approach. ACM Transactions on Intelligent Systems and Technology (TIST), 2013, 4(2). DOI: 10. 1145/2438653. 2438667.
[26] 王飛躍,李長貴,國元元,等. 平行高特:基于ACP 的平行痛風診療系統框架. 模式識別與人工智能, 2017, 30(12): 1057-1068.
(WANG F Y, LI C G, GUO Y Y, et al. Parallel Gout: An ACP- Based System Framework for Gout Diagnosis and Treatment. Pattern Recognition and Artificial Intelligence, 2017, 30 (12): 1057-1068. )
[27] 孟祥冰,王蓉,張梅,等. 平行感知:ACP 理論在視覺SLAM 技術中的應用. 指揮與控制學報, 2017, 3(4): 350-358.
(MENG X B, WAGN R, ZHANG M, et al. Parallel Perception: An ACP-Based Approach to Visual SLAM. Journal of Command and Control, 2017, 3(4): 350-358. )
[28] 王飛躍,張梅,孟祥冰,等. 平行手術:基于ACP 的智能手術計算方法. 模式識別與人工智能, 2017, 30(11): 961-970.
(WANG F Y, ZHANG M, MEGN X B, et al. Parallel Surgery: An ACP- Based Approach for Intelligent Operations. Pattern Recognition and Artificial Intelligence, 2017, 30(11): 961-970. )
[29] WANG F Y, TANG Y, LIU X, et al. Social Education: Opportunities and Challenges in Cyber-Physical-Social Space. IEEE Transactions on Computational Social Systems, 2019, 6(2): 191-196.
[30] ZHANG C, LIU Y H, LI L, et al. Joint Task Difficulties Estimation and Testees Ranking for Intelligence Evaluation. IEEE Transactions on Computational Social Systems, 2019, 6(2): 221-226.
[31] 王坤峰,魯越,王雨桐,等. 平行圖像: 圖像生成的一個新型理論框架. 模式識別與人工智能, 2017, 30(7): 577-587.
(WANG K F, LU Y, WANG Y T, et al. Parallel Imaging: A New Theoretical Framework for Image Generation. Pattern Recognition and Artificial Intelligence, 2017, 30(7): 577-587. )
[32] 王坤峰,茍超,王飛躍. 平行視覺:基于ACP 的智能視覺計算方法. 自動化學報, 2016, 42(10): 1490-1500.
(WANG K F, GOU C, WANG F Y. Parallel Vision: An ACP-Based Approach to Intelligent Vision Computing. Acta Automatica Sinica, 2016, 42(10): 1490-1500. )
[33] PEZESHK A, PETRICK N, CHEN W, et al. Seamless Lesion In sertion for Data Augmentation in CAD Training. IEEE Transactions on Medical Imaging, 2017, 36(4): 1005-1015.
[34] GOU C, WU Y, WANG K, et al. Learning- by- Synthesis for Accurate Eye Detection / / Proc of the 23rd International Conference on Pattern Recognition. Washington, USA: IEEE, 2016: 3362 -3367.
[35] GOU C, WU Y, WANG K F, et al. A Joint Cascaded Framework for Simultaneous Eye Detection and Eye State Estimation. Pattern Recognition, 2017, 67: 23-31.
[36] 李力,林懿倫,曹東璞,等. 平行學習———機器學習的一個新型理論框架. 自動化學報, 2017, 43(1): 1-8.
(LI L, LIN Y L, CAO D P, et al. Parallel Learning-A New Framework for Machine Learning. Acta Automatica Sinica, 2017, 43(1): 1-8. )
[37] LI L, ZHENG N N, WANG F Y. On the Crossroad of Artificial In telligence: A Revisit to Alan Turing and Norbert Wiener. IEEE Transactions on Cybernetics, 2019, 49(10): 3618-3626.
[38] GOU C, SHEN T Y, ZHENG W B, et al. Parallel Medical Ima ging: A New Data- Knowledge- Driven Evolutionary Framework for Medical Image Analysis[C/ OL]. [2019-06-25]. https: / / arxiv.org/ pdf/1903. 04855. pdf.
[39] 劉昕,王曉,張衛山,等. 平行數據:從大數據到數據智能. 模式識別與人工智能, 2017, 30(8): 673-681.
(LIU X, WANG X, ZHANG W S, et al. Parallel Data: From Big Data to Data Intelligence. Pattern Recognition and Artificial Intelligence, 2017, 30(8): 673-681. )
[40] ZHENG N N, LIU Z Y, REN P J, et al. Hybrid- Augmented Intelligence: Collaboration and Cognition. Frontiers of Information Technology and Electronic Engineering, 2017, 18(2): 153-179.
[41] 鄭南寧. 人工智能新時代. 智能科學與技術學報, 2019, 1(1): 1-3.
(ZHENG N N. The New Era of Artificial Intelligence. Chinese Journal of Intelligent Science and Technology, 2019, 1(1): 1-3. )
[42] KWASIGROCH A, MIKO覵AJCZYK A, GROCHOWSKI M. Deep Neural Networks Approach to Skin Lesions Classification-A Comparative Analysis / / Proc of the 22nd International Conference on Methods and Models in Automation and Robotics(MMAR). Washington, USA: IEEE, 2017: 1069-1074.
[43] GOODFELLOW I J, POUGET- ABADIE J, MIRZA M, et al. Generative Adversarial Nets[M/ OL]. [2019-06-25]. https: / / arxiv. org/ pdf/1406. 2661. pdf.
[44] 王坤峰,茍超,段艷杰,等. 生成式對抗網絡GAN 的研究進展與展望. 自動化學報, 2017, 43(3): 321-332.
(WANG K F, GOU C, DUAN Y J, et al. Generative Adversarial Networks: The State of the Art and Beyond. Acta Automatica Sinica, 2017, 43(3): 321-332. )
[45] BAUR C, ALBARQOUNI S, NAVAB N. MelanoGANs: High Re solution Skin Lesion Synthesis with GANs[C/ OL]. [2019-06-25]. https: / / arxiv. org/ pdf/1804. 04338v1. pdf.
[46] RADFORD A, METZ L, CHINTALA S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[C/ OL]. [2019-06-25]. https: / / arxiv. org/ pdf/1511.06434. pdf.
[47] DENTON E L, CHINTALA S, SZLAM A, et al. Deep Generative Image Models Using a Laplacian Pyramid of Adversarial Networks/ / CORTES C, LAWRENCE N D, LEE D, eds. Advances in Neural Information Processing Systems 28. Cambridge, USA: The MIT Press, 2015: 1486-1494.
[48] BISSOTO A, PEREZ F, VALLE E, et al. Skin Lesion Synthesis with Generative Adversarial Networks[C/ OL]. [2019-06-25]. https: / / arxiv. org/ pdf/1902. 03253. pdf.
[49] WANG T C, LIU M Y, ZHU J Y, et al. High- Resolution Image Synthesis and Semantic Manipulation with Conditional GANs / /Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 8798-8807.
[50] MIKOAJCZYK A, GROCHOWSKI M. Data Augmentation for Improving Deep Learning in Image Classification Problem / / Proc of the International Interdisciplinary Ph. D. Workshop. Washington, USA: IEEE, 2018: 117-122.
[51] GALDRAN A, ALVAREZ- GILA A, MEYER M I, et al. Data- Driven Color Augmentation Techniques for Deep Skin Image Analysis[C/ OL]. [2019-06-25]. https: / / arxiv. org/ pdf/1703.03702v1.pdf.
[52] HAEGHEN Y V, NAEYAERT J M A D, LEMAHIEU I, et al. An Imaging System with Calibrated Color Image Acquisition for Use in Dermatology. IEEE Transactions on Medical Imaging, 2000,19(7): 722-730.
[53] QUINTANA J, GARCIA R, NEUMANN L. A Novel Method for Color Correction in Epiluminescence Microscopy. Computerized Medical Imaging and Graphics, 2011, 35(7/8): 646-652.
[54] ARGENZIANO G, SOYER H, DE GIORGI V, et al. Interactive Atlas of Dermoscopy(Book and CDROM). Milan, Italy: EDRA Medical Publishing & New Media, 2000.
[55] MENDONCYA T, FERREIRA P M, MARQUES J S, et al. PH2 -A Dermoscopic Image Database for Research and Benchmarking / /Proc of the 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Washington, USA: IEEE, 2013: 5437-5440.
[56] SUN X X, YANG J F, SUN M, et al. A Benchmark for Automatic Visual Classification of Clinical Skin Disease Images / / Proc of the European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 206-222.
[57] KAWAHARA J, DANESHVAR S, ARGENZIANO G, et al. Seven- Point Checklist and Skin Lesion Classification Using Multi- task Multi- modal Neural Nets. IEEE Journal of Biomedical and Health Informatics, 2018, 23(2): 538-546.
[58] GU Y Y, PARTRIDGE Y P, ZHOU J. A Hyperspectral Dermoscopy Dataset for Melanoma Detection / / Proc of the International Workshop on Skin Image Analysis. Berlin, Germany: Springer, 2018: 268-276.
[59] CODELLA N C F, GUTMAN D, CELEBI M E, et al. Skin Lesion Analysis toward Melanoma Detection: A Challenge at the 2017 International Symposium on Biomedical Imaging(ISBI), Hosted by the International Skin Imaging Collaboration(ISIC) / / Proc of the 15th IEEE International Symposium on Biomedical Imaging. Washington, USA: IEEE, 2018: 168-172.
[60] TSCHANDL P, ROSENDAHL C, KITTLER H. The Ham10000 Dataset, A Large Collection of Multi- source Dermatoscopic Images of Common Pigmented Skin Lesions. Scientific Data, 2018, 5. DOI: 10. 1038/ sdata. 2019. 161.
[61] GILLIES R J, KINAHAN P E, HRICAK H. Radiomics: Images Are More Than Pictures, They Are Data. Radiology, 2015, 278(2): 563-577.
[62] YANG J F, SUN X X, LIANG J, et al. Clinical Skin Lesion Diagnosis Using Representations Inspired by Dermatologist Criteria / /Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 1258-1266.
[63] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the Inception Architecture for Computer Vision / / Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 2818-2826.
[64] ULLRICH C. Descriptive and Prescriptive Learning Theories / /Proc of the 15th IEEE International Symposium on Biomedical Imaging. Washington, USA: IEEE, 2008: 37-42.
[65] HE K M, ZHANG X Y, REN S Q, et al. Identity Mappings in Deep Residual Networks / / Proc of the European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 630-645.
[66] TSCHANDL P, ROSENDAHL C, AKAY B N, et al. Expert- Level Diagnosis of Nonpigmented Skin Cancer by Combined Convolutional Neural Networks. JAMA Dermatology, 2018. DOI: 10. 1001/jamadermatol. 2018. 4378.
[67] HOLZINGER A, BIEMANN C, PATTICHIS C S, et al. What Do We Need to Build Explainable AI Systems for the Medical Domain? [C/ OL]. [2019-06-25]. https: / / arxiv. org/ pdf/1712. 09923.pdf.
[68] PETERS J, JANZING D, SCH魻LKOPF B. Elements of Causal Inference: Foundations and Learning Algorithms. Cambridge, USA:The MIT Press, 2017.
[69] MAIBACH H I. Evidence Based Dermatology. Raleigh, USA: PMPH- USA Limited, 2012.
[70] SHAI A, MAIBACH H I, BARAN R. Handbook of Cosmetic Skin Care. London, UK: Informa UK Ltd, 2009.
[71] BARAN R, MAIBACH H I. Textbook of Cosmetic Dermatology. Boca Raton, USA: Taylor & Francis Group, 2017.
[72] ENGASSER P G, MAIBACH H I. Cosmetics and Dermatology: Bleaching Creams. Journal of the American Academy of Dermatology, 1981, 5(2): 143-147.
[73] NAIK S, LARSEN S B, GOMEZ N C, et al. Inflammatory MemorySensitizes Skin Epithelial Stem Cells to Tissue Damage. Nature, 2017, 550(7677): 475-480.
[74] KURITA M, ARAOKA T, HISHIDA T, et al. In Vivo Reprogramming of Wound- Resident Cells Generates Skin Epithelial Tissue. Nature, 2018, 561(7722): 243-247.
[75] LAI Y C, DENG J N, LIU R Y, et al. Actively Perceiving and Responsive Soft Robots Enabled by Self- powered, Highly Extensible, And Highly Sensitive Triboelectric Proximity- and Pressure- Sensing Skins. Advanced Materials, 2018, 30(28): 1801114.
來源：王飛躍
