緒論:寫作既是個人情感的抒發,也是對學術真理的探索,歡迎閱讀由發表云整理的11篇人工神經網絡范文,希望它們能為您的寫作提供參考和啟發。
1.2GRACE數據本文采用的GRACE重力衛星數據是由美國德克薩斯大學空間研究中心提供的高精度Level-2RL05版本的GRACE重力場前60階球諧系數(2005年1月~2010年12月)[12].在此基礎上,根據Blewitt[13,14]、Wahr[15]的結果推導由GRACE時變重力資料解算的陸地水儲量,如公式(1)所示。
1.3CPC水文模型數據研究表明,地表水儲量可以忽略[7],所以研究區陸地水儲量變化可以用式(2)表示。示土壤水分引起的陸地水儲量變化,來自CPC水文模型.通過式(2)可獲得地下水儲量的變化值.以BJFS臺站為例,如圖1所示,綠色線表示GRACE解算的陸地水儲量,紅色線表示CPC水文模型解算的土壤水儲量,藍色線為地下水儲量.由于GRACE解算的陸地水儲量在解算過程中扣除了背景場的影響,因此本文對72個月的降水量、地下水埋深以及GPS測站的地表形變數據做同樣的處理.
2研究方法
2.1人工神經網絡算法原理BP神經網絡是一種多層前饋神經網絡,該網絡的主要特點是信號前向傳遞,誤差反向傳遞.在前向傳遞過程中,輸入信號從輸入層經隱含層逐層處理,直至輸出層.每一層的神經元狀態只影響到下一層神經元狀態.若輸出層不能滿足期望的輸出要求,則轉入反向傳播,根據預測誤差調整網絡權值和閾值,從而使得BP神經網絡預測輸出不斷逼近期望輸出[16].其拓撲結構如圖2所示.X1,X2,…,Xn是BP神經網絡的輸入值,Y1,Y2,…,Ym是BP神經網絡的預測值,ωij和ωjk為BP神經網絡權值.
2.2基于BP神經網絡的地表垂直負荷形變量模擬
2.2.1指標選取地表負荷形變是由地表流體質量(包括大氣、陸地水等)重新分布引起的不同尺度變化.因此將GRACE解算的水儲量作為一個輸入因子.此外,分析華北平原地表負荷形變的成因,認為地下水超采對該區的地表負荷形變有一定影響.為此將地下水埋深作為BP神經網絡模型的一個輸入因子.降水量與地表負荷形變量間存在一定關系,一方面降水的增多會相對減少對地下水的開采,另一方面在降水過程中淺層黏性土吸水后表現出一定的膨脹性,因此將歷年的降水量也作為一個輸入因素[17].為了探求不同水儲量作為輸入因子時模型的模擬精度,本文結合來自CPC水文模型的土壤水儲量,將解算出的地下水儲量作為另一個輸入因子.
2.2.2樣本訓練與網絡設置為消除網絡輸入、輸出變量的量級、量綱不同對網絡識別精度的影響,對各個變量進行歸一化處理。上式中:P為原始輸入數據,Pmin,Pmax分別為原始數據的最小值和最大值,Pn為歸一化后的數據.隱含層采用正切Sigmoid函數,輸出層采用Purelin函數,訓練函數采用貝葉斯正則化算法.網絡的主要參數訓練目標goal=0.001,學習率為0.05,性能函數采用msg均方誤差函數.
3結果與討論
3.1模型精度驗證
3.1.1樣本訓練精度運行建立的人工神經網絡模型,訓練21次達到訓練目標.R2平均值為0.892,說明模型訓練精度較高.如圖3所示為將陸地水儲量作為輸入因子訓練網絡后的5個臺站模擬結果.圖中藍色線為GPS臺站的實際觀測形變量,紅色虛線為用人工神經網絡模擬出來的型變量.
3.1.2模型模擬精度由于地表垂直負荷形變實際觀測結果與擬合結果均為等間隔的月尺度數據且沒有明顯規律,因此采取后驗差檢驗法對模型進行精度分析。采用后驗差檢驗法對結果進行精度分析,檢驗結果如表2所示,5個臺站后驗差比值C<0.5,小誤差概率P>0.80,R2平均值為0.806,依據預測等級表,網絡模型精度較高.
3.2不同水儲量輸入對精度的影響將不同水儲量輸出的15組模擬結果進行后驗差檢驗,結果如表3、圖4(以BJSH為例)所示,當以陸地水儲量(TWS)作為輸入時,5個臺站的后驗差比值C<0.5,小誤差概率P>0.80,R2為0.901,相關性較好,模型模擬精度較高.當以地下水儲量(GWS)和土壤水儲量(SWS)作為輸入時,均方差C>0.65,小誤差概率減小,R2為0.555和0.290,模擬精度屬于勉強.說明在利用人工神經網絡模擬地表負荷形變量時,陸地水儲量作為模型輸入因子時模型模擬效果最好,地下水儲量對地表負荷形變的影響比土壤水儲量大.
一、前言
人工神經網絡是一個多科學、綜合性的研究領域,它是根據仿生學模擬人體大腦結構和運行機制構造的非線性動力學系統[1]。神經網絡可以看作是一種具有自組織、自學習能力的智能機器,它能模仿人的學習過程,通過給網絡各種范例,把網絡的實際輸出與希望輸出比較,根據偏差修改節點間的連接權,直到獲得滿意的輸出。現已廣泛應用于經濟學、軍事學、材料學、醫學、生物學等領域。
化工過程一般比較復雜, 對象特性多變、間歇或半連續生產過程多,具有嚴重非線性特性。因此,其模型化問題一直是研究的熱點。化工生產過程的數據或實驗室實驗數據的擬臺、分析,是優化過程或優化反應條件的基礎一般被處理的數據可以分為二類:靜態數據(static data)和動態數據(Dynamic data),對于靜態數據的關聯,神經網絡是一種很有希望的“經驗模型”擬合工具。動態過程數據具有系統隨時間而變化的特征,操作參數和產物的產量和質量之間的關系更為復雜。處理和分析動態過程數據的方法除了常用的在物料衡算、能量衡算、反應動力學方程、相平衡等基礎上建立數學模型(Mathematical Models)、數理統計(Statistical Analysis)等方法外,用神經網絡擬合動態過程數據, 建立動態過程模型, 往往能從動態數據提供的模式中提取較為有用的信息,對過程進行預測、故障診斷,從而使過程得到優化。因此,神經網絡以其強大的函數映射能力, 已經廣泛用于化工過程非線性系統建模領域。 它能夠通過輸入輸出數據對過程進行有效地學習,為化工過程的綜合發展提供了一種先進的技術手段。
二、人工神經網絡簡介
人工神經網絡(英文縮寫為ANN)簡稱神經網絡,是在生物學和現代神經科學研究的基礎上,對人類大腦的結構和功能進行簡化模仿而形成的新型信息處理系統[2,3]。由“神經元”(neurons)或節點組成。至少含有輸入層、一個隱含層以及一個輸出層。輸入層—從外部接受信息并將此信息傳入人工神經網絡,以便進行處理;隱含層—接收輸入層的信息,對所有信息進行處理;輸出層—接收人工神經網絡處理后的信息,將結果送到外部接受器。當輸入層從外部收到信息時,它將被激活,并將信號傳遞到它的近鄰這些近鄰從輸入層接收到激活信號后,依次將其輸出到它們的近鄰,所得到的結果在輸出層以激活模式表現。
神經網絡可以看作是一種具有自組織、自學習能力的智能機器,它能模仿人的學習過程。比如,一個復雜化工裝置的操作工人,開始學習操作時,由于沒有經驗,難以保證控制質量。但經過一段時間學習后,他就能逐步提高技能。神經網絡正是模擬人類學習過程,通過給網絡各種范例,把網絡的實際輸出與希望輸出比較,根據偏差修改節點間的連接權,直到獲得滿意的輸出。人工神經網絡研究工作可分成 3個大方向:(1)探求人腦神經網絡的生物結構和機制,這實際上是研究神經網絡理論的初衷;(2)用微電子或光學器件形成有一定功能的網絡,這主要是新一代計算機制造領域所關注的問題;(3)將人工神經網絡作為一種解決問題的手段和方法,而這類問題用傳統方法無法解決或在具體處理技術上尚存在困難。
三、神經網絡在化工中的應用
1.故障診斷
當系統的某個環節發生故障時,若不及時處理,就可能引起故障擴大并導致重大事故的發生。因此建立高效的、準確的實時故障檢測和診斷系統,消除故障隱患,及時排除故障,確保安全、平穩、優質的生產,已成為整個生產過程的關鍵所在。神經網絡是模仿和延伸人腦智能、思維、意識等功能的非顯形自適應動力學系統,其所具有的學習算法能使其對事物和環境具有很強的自學習、自適應和自組織能力。神經網絡用于故障診斷和校正不必建立嚴格的系統公式或其它數學模型,經數據樣本訓練后可準確、有效地偵破和識別過失誤差,同時校正測量數據中的隨機誤差。與直接應用非線性規劃的校正方法相比,神經網絡的計算速度快,在化工過程的實時數據校正方面具有明顯的優勢。目前應用于故障診斷的網絡類型主要有:BP網絡、RBF網絡、自適應網絡等。
Rengaswamy[4]等人把神經網絡用在化工過程的初始故障預測和診斷( FDD)中,提出一種神經網絡構架,利用速度訓練在分類設計中明確引入時間和過程模型映像的在線更新三個要素,來解決化工過程中的初始故障診斷問題。國內也有關于神經網絡用于故障診斷的報道,黃道[5]等人以TE (Tenneaaee Eastman,Eastman化學公司開發的過程模擬器,提供了一個實際工業過程的仿真平臺,是一種國際上通用的標準仿真模型)模型為背景,根據模型的特點進行了故障診斷。當輸入變量接近訓練過的樣本時,診斷的成功率可達100%。另外,模糊神經元網絡作為一種更接近人腦思維的網格,也是解決此類問題的一個發展方向。李宏光[6]等人就針對化工非線性過程建模問題, 提出了由函數逼近和規則推理網絡構成的模糊神經網絡,其規則網絡基于過程先驗知識用于對操作區間的劃分,而函數網絡采用改進型模糊神經網絡結構完成非線性函數逼近,并將該技術應用于工業尿素 CO2汽提塔液位建模。
2.化工過程控制
隨著神經網絡研究的不斷深入,其越來越多地應用于控制領域的各個方面,從過程控制、機器人控制、生產制造、模式識別直到決策支持神經網絡都有應用。神經網絡可以成功地建立流程和控制參數問的非線性關系及構造相關的數學模型,并可跟蹤瞬息過程及具有穩健功能等,因此可有效地用于化工過程最優化和控制。
1986年,Rumelhart第一次將ANN用于控制界。神經元網絡用于控制有兩種方法,一種用來構造模型,主要利用對象的先驗信息,經過誤差校正反饋,修正網絡權值,最終得到具有因果關系的函數,實現狀態估計,進而推斷控制;另一種直接充當控制器,就像PID控制器那樣進行實時控制。神經元網絡用于控制,不僅能處理精確知識,也能處理模糊信息。Tsen[7]等利用混合神經網絡實現對乙酸乙烯酯(VA)的乳液聚合過程的預測控制。原有的該間歇過程的復雜的機理模型可對單體轉化率做出較準確的預測,然而對產品性質(如數均相對分子質量及其分布)的預測不太可靠。所建的混合型神經網絡模型用于實現過程的反饋預測控制。國內對神經網絡的實質性研究相對較晚,譚民[8]在1990年提出了一種基于神經網絡雙向聯想機制的控制系統故障診斷方法,并且作了仿真驗證。清華大學自動化系則開發了一種基于時序神經網絡的故障預報方法,利用工藝現場數據對大型氯堿廠的氯氣中含氫氣的問題進行了模擬預報實驗。
3.藥物釋放預測
建立精確的緩釋微膠囊模型是找出最優的工藝條件及掌握芯材釋放規律的重要一步。緩釋微膠囊的性能與影響因素之間足一種多輸入、多輸出、復雜的非線性關系。機理分析法和傳統的系統辨識法對輸入、多輸出問題適應性差,過分依賴研究領域的知識與經驗,難以得到實用的緩釋微膠囊模型。人工神經網絡能夠很好地解決傳統方法不能解決的具有高度非線性、耦合性、多變量性系統的建模問題并具有獨特的優勢。
趙武奇[9]等人建立了紅景天苷緩釋微囊的人工神經網絡模型及其遺傳算法優化技術,用神經網絡模型描述了微囊制作參數與性能之間的關系,并用遺傳算法優化微囊制作工藝參數,設計出性能最佳的微囊制作工藝參數。范彩霞[10]等人以難溶性藥物氟比洛芬為模型藥物,制備了17個處方并進行釋放度檢查。氟比洛芬和轉速作為自變量,取其中l4個處方為訓練處方,其余3個處方為驗證處方,將自變量作為人工神經網絡的輸入,藥物在各個取樣時間點的釋放為輸出,采用剔除一點交叉驗證法建立了人工神經網絡模型。并通過線性回歸和相似因子法比較人工神經網絡和基于二元二項式的響應面法的預測能力,顯示了人工神經網絡的預測值與實測值的接近程度。
4.物性估算
用神經網絡來解決估算物質的性質必須解決三個基本問題,第一個是對物質的表征問題;第二個是采用何種神經網絡及其算法問題;第三個是神經網絡輸入與輸出數據的歸一化問題。無論采用哪種方法對數據進行處理,當用經過訓練的神經網絡進行物性估計時,不能將網絡直接的輸出值作為物性預估值,而是要將輸出值再乘上一個系數,這個系數就是前面進行歸一化處理時對數據的除數,相乘后得到的值作為物性估算值。神經網絡用于物性估算,目前采用的就是BP網絡或在此基礎上的各種改進形式。常壓沸點進行估算和研究。Prasad[11]等人利用神經網絡對有機化合物的物理性質進行了預測,并與傳統的基團貢獻法比較,可以得到更為準確的物性參數。而后,董新法、方利國[12]等人將神經網絡在物性估算中的應用作了一個全面而又簡要的講解,并提出神經網絡在物性估算中潛在的應用前景,為其發展及其以后的應用研究提供了很好的工作平臺。
目前,人工神經網絡在各個領域中的應用都在向人工智能方向發展。不斷豐富基礎理論和開展應用研究、完善其技術的可靠性、開發智能性化工優化專家系統軟件,對于我國的化工發展具有重要意義。此外,模糊理論、小波變換、統計學方法和分形技術等信息處理方法和理論與神經網絡的結合解決化工類問題,被認為是一種發展趨勢。
參考文獻
[1]高大文,王鵬,蔡臻超.人工神經網絡中隱含層節點與訓練次數的優化[J].哈爾濱工業大學學報, 2003, 35(2): 207-209.
[2]蘇碧瑤.人工神經網絡的優化方法[J]. 科技資訊, 2011(30): 239-240.
[3]黃忠明, 吳志紅, 劉全喜. 幾種用于非線性函數逼近的神經網絡方法研究[J]. 兵工自動化,2009, 28(10): 88-92.
[4]Rengaswamy R, Venkatasubramanian V. A fast training neural network and its updation for incipient fault detection and diagnosis[J].Computers and Chemical Engineering, 2000,(24): 431-437.
[5]黃道, 宋欣.神經網絡在化工過程故障診斷中的應用[J].控制工程,2006,(13): 6-9.
[6]李宏光,何謙.化工過程建模中的一類復合型模糊神經網絡[J]. 計算機與應用化學,2000,17(5): 399-402.
[7]Tsen A D, Shi S J, Wong D SH, etal. Predictive Control of Quality in Batch Polymerization Using a Hybrid Artificial Neural Network Model[J]. AIChE Journal,1996, 42(2): 455-465.
[8]譚民, 疏松桂. 基于神經元網絡的控制系統故障診斷[J]. 控制與決策, 1990(1): 60-62.
[9]趙武奇, 殷涌光, 仇農學. 基于神經網絡和遺傳算法的紅景天苷緩釋微囊制備過程建模與優化[J]. 西北農林科技大學學報(自然科學版), 2006,34(11): 106-110.
[10] 范彩霞, 梁文權, 陳志喜. 人工神經網絡預測氟比洛芬HPMC緩釋片的藥物釋放[J]. 中國醫藥工業雜志, 2006, 37(10): 685-688.
經訓練的ANN適用于利用分析振動數據對機器進行監控和故障檢測,預測某些部件的疲勞壽命[2]。非線形神經網絡補償和魯棒控制綜合方法的應用(其魯棒控制利用了變結構控制或滑動模控制),在實時工業控制執行程序中較為有效[3]。人工神經網絡(ANN)和模糊邏輯(FuzzyLogic)的綜合,實現了電動機故障檢測的啟發式推理。對非線形問題,可通過ANN的BP算法學習正常運行例子調整內部權值來準確求解[4]。
因此,對于電力系統這個存在著大量非線性的復雜大系統來講,ANN理論在電力系統中的應用具有很大的潛力,目前已涉及到如暫態,動穩分析,負荷預報,機組最優組合,警報處理與故障診斷,配電網線損計算,發電規劃,經濟運行及電力系統控制等方面[5]。
本文介紹了一種基于人工神經網絡(ANN)理論的保護原理。
1、人工神經網絡理論概述
BP算法是一種監控學習技巧,它通過比較輸出單元的真實輸出和希望值之間的差別,調整網絡路徑的權值,以使下一次在相同的輸入下,網絡的輸出接近于希望值。
在神經網絡投運前,就應用大量的數據,包括正常運行的、不正常運行的,作為其訓練內容,以一定的輸入和期望的輸出通過BP算法去不斷修改網絡的權值。在投運后,還可根據現場的特定情況進行現場學習,以擴充ANN內存知識量。從算法原理看,并行處理能力和非線是BP算法的一大優點。
2、神經網絡型繼電保護
神經網絡理論的保護裝置,可判別更復雜的模式,其因果關系是更復雜的、非線性的、模糊的、動態的和非平穩隨機的。它是神經網絡(ANN)與專家系統(ES)融為一體的神經網絡專家系統,其中,ANN是數值的、聯想的、自組織的、仿生的方式,ES是認知的和啟發式的。
文獻[1]認為全波數據窗建立的神經網絡在準確性方面優于利用半波數據窗建立的神經網絡,因此保護應選用全波數據窗。
ANN保護裝置出廠后,還可以在投運單位如網調、省調實驗室內進行學習,學習內容針對該省的保護的特別要求進行(如反措)。到現場,還可根據該站的干擾情況進行反誤動、反拒動學習,特別是一些常出現波形間斷的變電站內的高頻保護。
3、結論
本文基于現代控制技術提出了人工神經網絡理論的保護構想。神經網絡軟件的反應速度比純數字計算軟件快幾十倍以上,這樣,在相同的動作時間下,可以大大提高保護運算次數,以實現在時間上即次數上提高冗余度。
一套完整的ANN保護是需要有很多輸入量的,如果對某套保護來說,區內、區外故障時其輸入信號幾乎相同,則很難以此作為訓練樣本訓練保護,而每套保護都增多輸入量,必然會使保護、二次接線復雜化。變電站綜合自動化也許是解決該問題的一個較好方法,各套保護通過總線聯網,交換信息,充分利用ANN的并行處理功能,每套保護均對其它線路信息進行加工,以此綜合得出動作判據。每套保護可把每次錄得的數據文件,加上對其動作正確性與否的判斷,作為本身的訓練內容,因為即使有時人工分析也不能區分哪些數據特征能使保護不正確動作,特別是高頻模擬量。
神經網絡的硬件芯片現在仍很昂貴,但技術成熟時,應利用硬件實現現在的軟件功能。另外,神經網絡的并行處理和信息分布存儲機制還不十分清楚,如何選擇的網絡結構還沒有充分的理論依據。所有這些都有待于對神經網絡基本理論進行深入的研究,以形成完善的理論體系,創造出更適合于實際應用的新型網絡及學習算法[5]。
參考文獻
1、陳炳華。采用模式識別(智能型)的保護裝置的設想。中國電機工程學會第五屆全國繼電保護學術會議,[會址不詳],1993
2、RobertE.Uhrig.ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans,1994,10(3)。(1):371~377
中圖分類號:TP183 文獻標識碼:A 文章編號:1671-7597(2014)12-0003-01
隨著科學技術的發展,各個行業和領域都在進行人工智能化的研究工作,已經成為專家學者研究的熱點。人工神經網絡就是在人工智能基礎上發展而來的重要分支,對人工智能的發展具有重要的促進作用。人工神經網絡從形成之初發展至今,經歷了不同的發展階段,并且在經濟、生物、醫學等領域得到了廣泛的應用,解決了許多技術上的難題。
1人工神經網絡概述
關于人工神經網絡,到目前為止還沒有一個得到廣泛認可的統一定義,綜合各專家學者的觀點可以將人工神經網絡簡單的概括為是模仿人腦的結構和功能的計算機信息處理系統[1]。人工神經網絡具有自身的發展特性,其具有很強的并行結構以及并行處理的能力,在實時和動態控制時能夠起到很好的作用;人工神經網絡具有非線性映射的特性,對處理非線性控制的問題時能給予一定的幫助;人工神經網絡可以通過訓練掌握數據歸納和處理的能力,因此在數學模型等難以處理時對問題進行解決;人工神經網絡的適應性和集成性很強,能夠適應不同規模的信息處理和大規模集成數據的處理與控制;人工神經網絡不但在軟件技術上比較成熟,而且近年來在硬件方面也得到了較大發展,提高了人工神經網絡系統的信息處理能力。
2人工神經網絡的發展歷程
2.1 萌芽時期
在20世紀40年代,生物學家McCulloch與數學家Pitts共同發表文章,第一次提出了關于神經元的模型M-P模型,這一理論的提出為神經網絡模型的研究和開發奠定了基礎,在此基礎上人工神經網絡研究逐漸展開。1951年,心理學家Hebb提出了關于連接權數值強化的法則,為神經網絡的學習功能開發進行了鋪墊。之后生物學家Eccles通過實驗證實了突觸的真實分流,為神經網絡研究突觸的模擬功能提供了真實的模型基礎以及生物學的依據[2]。隨后,出現了能夠模擬行為以及條件反射的處理機和自適應線性網絡模型,提高了人工神經網絡的速度和精準度。這一系列研究成果的出現為人工神經網絡的形成和發展提供了可能。
2.2 低谷時期
在人工神經網絡形成的初期,人們只是熱衷于對它的研究,卻對其自身的局限進行了忽視。Minskyh和Papert通過多年對神經網絡的研究,在1969年對之前所取得的研究成果提出了質疑,認為當前研究出的神經網絡只合適處理比較簡單的線性問題,對于非線性問題以及多層網絡問題卻無法解決。由于他們的質疑,使神經網絡的發展進入了低谷時期,但是在這一時期,專家和學者也并沒有停止對神經網絡的研究,針對他們的質疑也得出一些相應的研究成果。
2.3 復興時期
美國的物理學家Hopfield在1982年提出了新的神經網絡模型,并通過實驗證明在滿足一定的條件時,神經網絡是能夠達到穩定的狀態的。通過他的研究和帶動,眾多專家學者又重新開始了對人工神經網絡方面的研究,推動了神經網絡的再一次發展[3]。經過專家學者的不斷努力,提出了各種不同的人工神經網絡的模型,神經網絡理論研究不斷深化,新的理論和方法層出不窮,使神經網絡的研究和應用進入了一個嶄新的時期。
2.4 穩步發展時期
隨著人工神經網絡研究在世界范圍內的再次興起,我國也迎來了相關理論研究的熱潮,在人工神經網絡和計算機技術方面取得了突破性的進展。到20世紀90年代時,國內對于神經網絡領域的研究得到了進一步的完善和發展,而且能夠利用神經網絡對非線性的系統控制問題進行解決,研究成果顯著。隨著各類人工神經網絡的相關刊物的創建和相關學術會議的召開,我國人工神經網絡的研究和應用條件逐步改善,得到了國際的關注。
隨著人工神經網絡的穩步發展,逐漸建立了光學神經網絡系統,利用光學的強大功能,提高了人工神經網絡的學習能力和自適應能力。對非線性動態系統的控制問題,采取有效措施,提高超平面的光滑性,對其精度進行改進。之后有專家提出了關于人工神經網絡的抽取算法,雖然保證了精度,但也加大了消耗,在一定程度上降低了神經網絡的效率,因此在此基礎上又提出了改進算法FERNN。混沌神經網絡的發展也得到了相應的進步,提高了神經網絡的泛化能力。
3人工神經網絡的應用
3.1 在信息領域中的應用
人工神經網絡在信息領域中的應用主要體現在信息處理和模式識別兩個方面。由于科技的發展,當代信息處理工作越來越復雜,利用人工神經網絡系統可以對人的思維進行模仿甚至是替代,面對問題自動診斷和解決,能夠輕松解決許多傳統方法無法解決的問題,在軍事信息處理中的應用極為廣泛[4]。模式識別是對事物表象的各種信息進行整理和分析,對事物進行辨別和解釋的一個過程,這樣對信息進行處理的過程與人類大腦的思維方式很相像。模式識別的方法可以分為兩種,一種是統計模式識別,還有一種是結構模式識別,在語音識別和指紋識別等方面得到了廣泛的應用。
3.2 在醫學領域的應用
人工神經網絡對于非線性問題處理十分有效,而人體的構成和疾病形成的原因十分復雜,具有不可預測性,在生物信號的表現形式和變化規律上也很難掌握,信息檢測和分析等諸多方面都存在著復雜的非線性聯系,所以應用人工神經網絡決解這些非線性問題具有特殊意義[5]。目前,在醫學領域中的應用涉及到理論和臨床的各個方面,最主要的是生物信號的檢測和自動分析以及專家系統等方面的應用。
3.3 在經濟領域中的應用
經濟領域中的商品價格、供需關系、風險系數等方面的信息構成也十分復雜且變幻莫測,人工神經網絡可以對不完整的信息以及模糊不確定的信息進行簡單明了的處理,與傳統的經濟統計方法相比具有其無法比擬的優勢,數據分析的穩定性和可靠性更強。
3.4 在其他領域的應用
人工神經網絡在控制領域、交通領域、心理學領域等方面都有很廣泛的應用,能夠對高難度的非線性問題進行處理,對交通運輸方面進行集成式的管理,以其高適應性和優秀的模擬性能解決了許多傳統方法無法解決的問題,促進了各個領域的快速發展。
4總結
隨著科技的發展,人工智能系統將進入更加高級的發展階段,人工神經網絡也將得到更快的發展和更加廣泛的應用。人工神經網絡也許無法完全對人腦進行取代,但是其特有的非線性信息處理能力解決了許多人工無法解決的問題,在智能系統的各個領域中得到成功應用,今后的發展趨勢將向著更加智能和集成的方向發展。
參考文獻
[1]徐用懋,馮恩波.人工神經網絡的發展及其在控制中的應用[J].化工進展,1993(5):8-12,20.
[2]湯素麗,羅宇鋒.人工神經網絡技術的發展與應用[J].電腦開發與應用,2009(10):59-61.
引言
林分材種出材率是林分調查工作的重要指標,它可以進一步評價森林木材資源的經濟價值,而研究森林木材,又可以合理正確的經營森林資源,達到人與自然和諧相處的目的。林分林種出材率就是原木材積于立木材積之比,我國現行的森林采伐限額制度、查處亂砍濫伐林木案件、制訂林業發展規劃、計劃和編制森林經營方案、預測和計算、開展森林資源資產評估等等,都需掌握積蓄量和材種的出材率的指標。我國已經不斷學習借鑒前蘇聯的先進技術編制自己的材種出材率表了,隨著我國天然林保護工程的全面實施和林業分類經營的逐步推行,人工商品林比例的不斷提高,我國森林結構和性質也有所變化,所以傳統的統計學以難以解決很多問題,運用人工神經網絡在林業生成與運用則是一個不二之選的方法,對林業的發展也有很大的理論價值和推廣意義。
人工神經網絡(Artificial Neural Network-ANN),簡稱“神經網絡”,是由大量處理單元過極其豐富和完善的互聯組成的非線性、自適應信息處理系統。它的提出是基于現代神經科學研究成果上,以模擬大腦神經網絡處理、記憶信息的方式進行信息處理。涉及學科較多,較為廣泛。
1 研究內容和方法
平均樹高,平均胸徑,林種年齡,立地質量,積蓄量,保留密度等等因素都會影響林分材種出材率,而林分林種出材率具有非線性和非確定性的因素,一般采用統計分析方法進行預測采樣,需要大量的林木樣本元素,模型涉及的許多參數無法或很難有較高的精確度。
人工神經網絡(Artificial Neural Network)具有非線性,非局限性,自適應,自組織,自學習的特征,相較于傳統的統計學方法,不同之處在于它的容錯性和儲存量,通過單元之間的相互作用,相互連接能模擬大腦的局限性。ANN的獨到之處,也使得人們注意了ANN,并且廣泛的應用于各種學科之中,如心理學,邏輯學,數學模型,遺傳算法,語音識別,智能控制等等。當然,運用人工神經網絡對林分林種出材率進行預測也同樣具有很好的效果與實現。
研究主要完成,通過對數據的采樣和分析處理,對神經網路預測模型的結構,參數進行優化,再應用到林分材種出材率的預測中。以c++程序設計為設計平臺,運用人工神經網絡中的BP算法,分析各隱含層神經元的數量,訓練的次數,隱含層函數,樣本數量,進行優化建立林分材種出材率的預測模型。
1.1BP人工神經網絡
BP(Back-Propagation Network)神經網絡是一種以誤差逆傳播算法(BP)訓練的多層前饋網絡,目前應用較為廣泛的神經網絡模型之一。BP神經網絡能學習和存貯多個輸入-輸出模式映射關系,而且無需事前對這種映射關系的數學方程進行描述。它通過不斷反向傳播來調整神經網絡的權值和閾值,使神經網絡的誤差平方和最小。BP神經網絡模型拓撲結構由三層組成分別是輸入層(input)、隱層(hidelaver)和輸出層(output layer)。
BP人工神經網絡主要以標準BP算法為主,而標準BP算法有存在許多問題,由于是非線性梯度優化算法,就會存在局部極小值問題,使得精確度受限;算法迭代系數過多,使得學習率降低,收斂速度降低;網絡對初始化的值存在發散和麻痹;隱節點不確定性的選取。所以引進了幾種BP算法:動量BP算法、學習速率可變的BP算法和LM算法(Levenberg-Marquardt)。動量BP算法以上一次修正結果來影響本次的修正,動量因子越大,梯度的動量就越大。學習效率可變的BP算法怎是力求算法的穩定,減小誤差。為了在近似二階訓練速率進行修正時避免計算HeSSian矩陣,選擇LM算法。所以為了神經網絡計算的速度與精確度,所以運用不同的優化算法來改善BP網絡中的局部極小值問題,提高收斂速度和避免了抖動性。
2 基于BP人工神經網絡和林分材種出材率預測模型的建立
分析了大量的材種出材率的相關資料后,均有非線性的特征,對于模型的建立和預測,傳統的識別系統在研究和實踐中有很大的問題,而采用人工神經網絡,不僅其特征是非線性,而且人工神經網絡具有較為穩定的優越性,所以,對于林分材種出材率的預測和建立采用BP人工神經網絡。
2.1建模工具
研究采用c++程序設計對數值的計算和預測,對模型進行編譯和實現。c++語言是受到非常廣泛應用的計算機編程語言,它支持過程化程序設計,面向對象程序設計等等程序設計風格。c++是一門獨立的語言,在學習時,可以結合c語言的知識來學習,而c++又不依賴于c語言,所以我們可以不學c語言而直接學習C++。
用c++來模擬BP網絡是相對較好的程序設計語言,以面向對象程序設計來設計和實現林分材種出材率的BP算法,直觀而簡潔。
2.2BP神經網絡結構的確定
對于使用BP算法,關鍵在于隱含層層數和各層節點數。而神經元的輸入輸出又影響著隱含層層數,而對于BP萬羅中的輸入輸出層是確定的,重點就在于隱含層層數,增加隱含層數可以提高網絡的處理能力,是的訓練復雜化,樣本數目增加,收斂速度變慢等,而隱含層的節點數越多,可以提到其精確度。
研究過程中,多層隱含層會將訓練復雜化,所以我們往往選擇三層就夠了,即一個輸入層,一個隱含層,一個輸出層的基本單層BP網絡結構。最后確定以下四個神經元:平均樹高、平均胸徑、林種年齡、每公頃積蓄量作為輸入單元。輸出單元為林分材種出材率。
結論
1.圍巖分類的判定依據
水工隧洞圍巖工程地質分類應以控制圍巖穩定的巖石強度、巖體完整程度、張開度、地下水力狀態和主要結構面產狀等五項因素綜合評分為依據,圍巖強度應力比為限定依據,見表1。
表1圍巖工程地質分類依據
指標名稱評價因素
巖石強度(A1)采用巖塊的單軸抗壓強度(MPa)
巖體完整程度(A2)采用完整性系數Kv
張開度(A3)考慮結構面的連續性、粗糙度和充填物
地下水狀態(A4)考慮地下水的發育程度,用單位洞長單位時間的涌水量
主要結構面產狀(A5)采用結構面走向與洞軸線的夾角
以上五個因素是控制圍巖穩定性的主要因素,圍巖的分類標準見表2。
表2圍巖工程地質分類標準
評價因素圍巖類別
Ⅰ(穩定)Ⅱ(基本穩定)Ⅲ(局部穩定性差)Ⅳ(不穩定)Ⅴ(極不穩定)
A1(MPa)>200100~20050~10025~50<25
A20.9~1.00.75~0.90.5~0.750.25~0.5<0.25
A3(mm)<0.50.5~11~33~5>5
A4(L/min·10m)<2525~5050~100100~125>125
A5(o)90~7575~6060~4545~30<30
2.水工隧洞圍巖分類的人工神經網絡模型
神經網絡系統是由大量的、簡單的處理單元廣泛的互相連接而形成的復雜的網絡系統。人工神經網絡模型最基本的有兩大類:一類是以Hopfield網絡模型為代表的反饋型模型,它具有非線性和動態性;另一類是以多層感知器為基礎的前饋模型。其中BP(BackPropagation)網絡是目前應用最廣泛的多層前饋神經網絡模型。本文采用BP網絡模型。
2.1BP神經網絡模型及其算法
BP神經網絡由輸入層、隱含層和輸出層三層感知器組成,每層由若干個神經元組成。輸入層接受信息,傳入到隱含層,經過作用函數后,再把隱結點的輸出信號傳到輸出層輸出結果。節點的作用函數選用Sigmoid函數,即:
(1)
BP神經網絡采用誤差逆傳播反學習算法。學習過程由正向傳播和反向傳播組成。在正向傳播過程中,輸入信號由輸入層經隱含層處理后傳向輸出層,每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層得不到一個期望的輸出,則轉向反傳播,將輸出信號的誤差按原來的連接通路返回,通過修改各層神經元的權值,使得誤差信號最小,得到合適的網絡連接權后,便可對新的樣本進行識別。BP網絡學習過程具體步驟如下:
(1)初始化,設置網絡結構,賦初始權值;
(2)為網絡提供一組學習樣本,包括M個樣本對(),輸入向量,輸出向量,n、m分別為輸入層和輸出層神經元個數,;
(3)對每個學習樣本P進行(4)~(8);
(4)逐層正向計算網絡各節點的實際輸出:
(2)
其中,為神經元i、j之間的權值;為前層第i個神經元的實際輸出,為式(1)給出的函數;
(5)計算網絡輸出誤差:
第P個樣本的輸出誤差為(3)
其中,,分別為輸出層第j個神經元的期望輸出和實際輸出。
網絡總誤差為;(4)
(6)當E小于允許誤差或達到指定迭代次數時,學習過程結束,否則進行誤差逆向傳播,轉向(7);
(7)逆向逐層計算網絡各節點誤差:
對于輸出層,(5)
對于隱含層,(6)
其中代表后層第個神經元。
(8)修正網絡連接權:,其中為學習次數,為學習因子,值越大,產生的振蕩越大。通常在權值修正公式中加入一個勢態項,變成:
(7)
其中,a稱為勢態因子,它決定上次學習的權值變化對本次權值更新的影響程度。
2.2圍巖分類的BP模型
在以表2中數據為基礎進行網絡訓練前,須對表中指標作如下處理:Ⅰ、Ⅴ類對應的指標取其界限值或平均值;Ⅱ、Ⅲ、Ⅳ類對應的指標取其平均值。作上述處理后,可以得到網絡訓練模型的5個學習樣本,如表3。
表3圍巖類別識別模型的學習樣本
類別樣本類別A1A2A3A4A5
P1Ⅰ2000.950.52582.5
P2Ⅱ1500.8250.7537.567.5
P3Ⅲ750.62527552.5
P4Ⅳ37.50.3754112.537.5
P5Ⅴ250.25512530
以上表中5個類別樣本作為神經網絡的學習樣本,在輸入層和隱含層各設置一個特殊單元作為閾值單元,其值設為1。模型結構如下圖1所示。
圖1圍巖類別分類的BP網絡模型
設圍巖類別為P1、P2、P3、P4、P5這5個類別樣本的預期輸出矢量,各分量定義為
網絡訓練時,當所有樣本在網絡輸出節點的實際輸出與網絡期望輸出之間的最大誤差小于預先給定的常數,即時學習結束。
網絡經過15000次訓練,每個樣本的網絡輸出與期望輸出最大誤差為0.2,絕大部分在0.1之內。應用訓練后的BP模型劃分新的圍巖類別樣本,等判定圍巖類別樣本W經網絡變換后輸出O與各期望輸出比較,設,。
如果,則,,即隧洞圍巖類別樣本屬于級。
3.沙灣隧洞的圍巖分類應用實例
東深供水改造工程沙灣隧洞位于深圳市北東面內15公理處,區域地勢東高西低。工程區域周圍沉積巖、巖漿巖和變質巖三大巖類均有出露。隧洞線路地帶分布的地層,除洞口溝谷部位為第四系松散堆積層外,其余均為侏羅系中統塘夏群碎屑巖,基本為單斜構造,但末端因受深圳斷裂帶影響,巖層產狀較為紊亂,地質條件復雜多變。
隧洞開挖后,測得三種圍巖地段的力學性質和環境條件,取三個樣本為a、b、c。用BP人工神經網絡判定該工程隧洞圍巖類別。
根據水利水電工程地質勘察規范,隧洞圍巖類別分為5級:Ⅰ(穩定)、Ⅱ(基本穩定)、Ⅲ(局部穩定性差)、Ⅳ(不穩定)、Ⅴ(極不穩定)。對照學習樣本各特征變量,用訓練好的BP模型對a、b、c三個樣本進行判定,其結果見表4。
表4沙灣隧洞三組樣本實測指標與圍巖類別判定結果
指標名稱實測指標值
abc
巖石強度(A1)2845100
巖體完整程度(A2)0.220.50.55
張開度(A3)341
地下水狀態(A4)1208025
主要結構面產狀(A5)305060
圍巖類別判定結果ⅤⅣⅢ
4.結論
水工隧洞圍巖類別判定,不僅影響因素多,而且具有很大的模糊性和不確定性。人工神經網絡是一門新興的交叉學科,它具有聯想、記憶功能和判別識別的模糊性等優點,用它來進行圍巖類別分類,不需對輸入輸出指標的關系作任何假設,這種關系是神經網絡從實例中自適應學習而獲得的,大大減少了人為因素的影響,省去了事后的經驗判斷。實踐證明,它在理論和應用上都是可行的和有實際意義的。
【關鍵詞】 人工神經網絡; 應用
人工神經網絡(Artificial Neural Network,ANN)方法自從本世紀40年代被提出以來,許多從事人工智能、計算機科學、信息科學的科學家都在對它進行研究,已在軍事、醫療、航天、自動控制、金融等許多領域取得了成功的應用。目前出現了許多模仿動物和人的智能形式與功能的某個方面的神經網絡,例如,Grossberg提出的自適應共振理論(Adaptive Resonance Theory,ART),T-Kohenen的自組織特征映射網絡(Self-Organizing feature Map,SOM),徑向基函數網絡(Radial Basis Function,RBF),Hopfield網等。進入90年代以后,由于計算機技術和信息技術的發展,以及各種算法的不斷提出,神經網絡的研究逐漸深化,應用面也逐步擴大,本研究對常用的神經網絡方法及其在醫學領域中的應用做一簡單綜述。
1 自組織特征映射網絡(self-organizing feature map,SOM)在基因表達數據分析中的應用
1.1 方法介紹
腦神經學的研究表明,人腦中大量的神經元處于空間的不同區域,有著不同的功能,各自敏感著各自的輸入信息模式的不同特征。芬蘭赫爾辛基大學神經網絡專家T.Kohonen根據大腦神經系統的這一特性,于1981年提出了自組織特征映射網絡,它模擬人的大腦,利用競爭學習的方式進行網絡學習,具有很強的自組織、自適應學習能力,魯棒性和容錯能力,其理論及應用發展很快,目前已在信息處理、模式識別、圖像處理、語音識別、機器人控制、數據挖掘等方面都有成功應用的實例。
Kohonen網絡由輸入層和競爭層組成,網絡結構見圖1。輸入層由N個神經元組成,競爭層由M個輸出神經元組成,輸入層與競爭層各神經元之間實現全互連接,競爭層之間實行側向連接。設輸入向量為x=(x1,…,xd)T ,輸出神經元j對應的權重向量為wj=(wj1,…,wjd)T ,對每一輸出神經元計算輸入向量x 和權重向量wj 間的距離,據此利用競爭學習規則對權向量進行調節。在網絡的競爭層,各神經元競爭對輸入模式的響應機會,最后僅一個神經元成為勝利者,并對與獲勝神經元有關的各權重朝著更有利于它競爭的方向調整,這樣在每個獲勝神經元附近形成一個“聚類區”,學習的結果使聚類區內各神經元的權重向量保持與輸入向量逼近的趨勢,從而使具有相近特性的輸入向量聚集在一起,這種自組織聚類過程是系統自主、無教師示教的聚類方法,能將任意維輸入模式在輸出層映射成一維或二維離散圖形,并保持其拓撲結構不變。網絡通過對輸入模式的學習,網絡競爭層神經元相互競爭,自適應地形成對輸入模式的不同響應,模擬大腦信息處理的聚類功能、自組織、自學習功能,實現用低維目標空間的點去表示高維原始空間的點,其工作原理和聚類算法及改進方法參見相關文獻[1]。
1.2 應用
基因芯片技術的應用使得人們可以從基因水平探討疾病的病因及預后,而基因芯片產生的數據具有高維度(變量多)、樣本量小、高噪聲的特點,樣本量遠小于變量數,如何從海量的數據中挖掘信息或知識成為重大課題。聚類分析是數據挖掘中的一類重要技術,傳統方法主要有系統聚類、k-means聚類等,但在處理復雜非線性關系及變量間的交互作用時效果較差,受異常值影響較大。近年來神經網絡技術法成為聚類領域的研究熱點,其中自組織特征映射網絡由于其良好的自適應性,其算法對基因表達數據的聚類有較高的穩定性和智能性,尤其在處理基因表達中有缺失數據及原始空間到目標空間存在非線性映射結構時有較好的體現,適用于復雜的多維數據的模式識別和特征分類等探索性分析,同時可實現聚類過程和結果的可視化[2]。目前Kohonen網絡已被成功用到許多基因表達數據的分析中,Jihua Huang等[3]設計6×6的網絡對酵母細胞周期數據進行分析,總正確率為67.7%;曹暉等[4]將其算法改進后用在酵母菌基因表達數據中,總正確率高達84.73%,有較高的聚類效能;鄧慶山[5]將該模型與K平均值聚類方法結合用于公開的結腸基因表達數據集和白血病基因表達數據集,聚類的準確率分別為94.12%和90.32%。目前Kohonen網絡在醫學領域中主要應用前景有:① 發現與疾病相關的新的未知基因,對目標基因進一步研究,提高診斷的正確率,并對藥物的開發研究提供重要的線索;② 對腫瘤組織的基因表達譜數據聚類,以期發現新的、未知的疾病亞型(腫瘤亞型),以便提出更加有針對性的治療方案,為從分子水平對疾病分型、診斷、預后等提供依據;③ 發現與已知基因有相似功能的基因,為推斷未知基因的可能功能提供線索。
2 BP神經網絡在醫學研究中的應用
2.1 BP神經網絡在疾病輔助診斷中的應用
2.1.1 方法介紹
BP神經網絡是目前應用最多的神經網絡,一般由一個輸入層(input layer)、一個輸出層(output layer)、一個或幾個中間層(隱層)組成。每一層可包含一個或多個神經元,其中每一層的每個神經元和前一層相連接,同一層之間沒有連接。輸入層神經元傳遞輸入信息到第一隱層或直接傳到輸出層,隱層的神經元對輸入層的信息加權求和,加一個常數后,經傳遞函數運算后傳到下一個隱層(或輸出層),常用的傳遞函數是logistic函數,即Φh=1/(1+exp(-z)) ,輸出層神經元對前一層的輸入信息加權求和經傳遞函數Φ0 (線性或logistic函數或門限函數)運算后輸出,BP神經網絡一般采用BP算法訓練網絡,關于BP算法及改進可參考相關文獻[1]。
人工神經網絡具有強大的非線性映射能力,含一個隱層的網絡可以實現從輸入到輸出間的任意非線性映射,是典型的非線性數學模型,建立BP神經網絡模型的一般步驟為:① BP網訓練集、校驗集、測試集的確定;② 輸入數據的預處理:使輸入變量的取值落在0到1的范圍內,如果是無序分類變量,以啞變量的形式賦值;③ 神經網絡模型的建立及訓練:學習率、傳遞函數、隱層數、隱單元數的選擇,注意防止過度擬合。一般使用靈敏度、特異度、陽性預測值、陰性預測值、ROC曲線對模型的預測性能進行評價。
2.1.2 應用
BP神經網絡已廣泛用于臨床輔助診斷中,白云靜等[6]用于中醫證候的非線性建模,建立了RA證侯BP網絡模型和DN證侯BP網絡模型,結果顯示平均診斷準確率分別為90.72%、92.21%,具有較高的診斷、預測能力。曹志峰[7]采用PROBEN1中的甲狀腺疾病數據庫用于甲狀腺疾病(甲亢、甲減、正常)的診斷,結果顯示訓練樣本的正確識別率為99.3% ,測試樣本的正確識別率為98.2%,提示對臨床診斷甲狀腺疾病提供有益的幫助;還有學者用于急性心肌梗塞、甲狀腺功能紊亂、乳腺癌、前列腺癌、宮頸癌、肺癌、卵巢癌、急性肺梗塞等的輔助診斷等[8]。
2.2 BP神經網絡在生存分析中的應用
2.2.1 方法介紹
傳統的生存分析方法有非參數、半參數、參數模型,參數模型主要有指數回歸模型、Weibull回歸模型,都要求對基線風險做一定的假設,但實際資料常常不符合條件,生存分析中應用最為廣泛的半參數模型:Cox比例風險模型,但它要求滿足比例風險的假定,在很多情況下也難以滿足。基于神經網絡的生存分析模型可以克服這些困難,可以探測復雜的非線性效應,復雜的交互效應,模型中協變量的效應可以隨時間變化,對數據的分布不做要求。目前一些策略被用到神經網絡預測方法中分析含有刪失的生存數據,主要有Faraggi-Simon(1995)法、Liestol-Andersen-Andersen(1994) 法、改良uckley-James(1979)法等。
BP神經網絡建立生存分析模型常用的方法有[9]:連續時間模型(continuous time models)與離散時間模型(discrete time models)。常用的Faraggi和Simon[10]提出的連續時間模型擴展了Cox回歸模型,允許非線性函數代替通常的協變量的線性組合,這種方法既保持了Cox回歸模型的比例風險的特點,又提供了處理復雜非線性關系、交互作用能力的好方法。
離散時間模型常用的模型有:① 輸出層為單個結點:模型的輸出層只有一個神經元結點,是最簡單的神經網絡模型,生存時間被分成兩個區間,當研究者僅僅對某一時間點的預后感興趣時,例如預測癌癥患者的5年生存情況,如欲預測多個時間點,則需建立多個神經網絡模型(每個模型對應一個時間區間);② 輸出層為多個結點:生存時間被分成幾個離散的區間,估計某個時間區間事件發生的概率,Liestol法是常用的離散時間模型。還有研究者在建立多個時間區間模型時將時間也做為一個輸入變量,也有學者將神經網絡納入Bayes方法的研究框架。
一般采用靈敏度、特異度、一致性指數C(Concordance index)作為預測準確性的評價指標,神經網絡在生存分析中的應用主要在于[11]:個體患者預后的預測,研究預后因子的重要性,研究預后因子的相互作用,對于預測變量的影響力強弱及解釋性,還有待進一步探討。
2.2.2 應用
國外Ruth M.Ripley等[9]將7種不同的神經網絡生存分析模型(3種離散時間模型,4種連續時間模型)用于1335例乳腺癌患者復發概率的預測,并對其精確性、靈敏度、特異度等預測性能指標進行比較,結果證明神經網絡方法能成功用于生存分析問題,可以提取預后因子所蘊涵的最大可能的信息。Anny Xiang等[12]采用Monte Carlo模擬研究方法,在9種實驗條件下(不同的輸入結點、刪失比例、樣本含量等)對Faraggi-Simon法、Liestol-Andersen-Andersen法、改良Buckley-James法處理右刪失生存數據的性能與Cox回歸作比較,研究結果提示神經網絡方法可以作為分析右刪失數據的一個有效的方法。D.J.Groves[13]等將Cox回歸與神經網絡方法對兒童急性淋巴母細胞白血病的預后進行了比較,Lucila Ohno-Machado等[14]建立輸出層為4個結點的離散時間神經網絡模型做為AIDS預后研究的工具,并使用ROC曲線下面積、靈敏度、特異度、陽性預測值、陰性預測值對不同時間區間的預測性能做了評價。國內用于生存分析方面的研究還較少,黃德生[15]等利用BP神經網絡建立time-coded model和single-time point model用于肺鱗癌預后預測,賀佳[16]等把BP網絡用于預測肝癌患者術后無瘤生存期,也有學者對AIDS、惡性腫瘤的預后做了相關的研究。
2.3 BP神經網絡在其它方面的應用
近年來BP神經網絡在疾病篩查中的的應用引起學者的關注,例如在乳腺癌、宮頸癌、糖尿病的篩查都有成功的應用[17]。神經網絡在法醫學研究領域具有實用性和廣泛的應用前景,法醫學家將其用在死亡時間推斷、死因分析、個體識別和毒物分析等研究中[18]。在藥學研究中也有一定的應用,例如在定量藥物設計、藥物分析、藥動/藥效學研究中,都有成功的應用案例,相秉仁等[19]對其做了詳細的綜述。曹顯慶[20]等還將神經網絡用于ECG、EEG等信號的識別和處理、醫學圖像分析中,取得了較好的結果。
人工神經網絡是在研究生物神經網絡的基礎上建立的模型,迄今為止有代表性的網絡模型已達數10種,人工神經網絡不需要精確的數學模型,沒有任何對變量的假設要求,能通過模擬人的智能行為處理復雜的、不確定的、非線性問題。在醫學研究領域,變量間關系往往非常復雜,為了探測變量間的復雜模式,神經網絡正逐漸變成分析數據的流行工具。目前國際上已出現許多著名的神經網絡專業雜志:Neural Network,Neural Computation,IEEE Transaction on Neural Networks等,同時已有許多商業化的神經網絡開發軟件,如Matlab軟件, S-plus軟件,SNNS(Stuttgart Neural Network Simulator)等,高版本SAS系統中的Enterprise Miner應用模塊中也可以建立神經網絡模型,隨著計算機技術的進一步發展,人工神經網絡在醫學領域的應用前景也會更加廣闊。
【參考文獻】
1 余雪麗,主編.神經網絡與實例學習.中國鐵道出版社,1996.
2 白耀輝,陳明.利用自組織特征映射神經網絡進行可視化聚類.計算機仿真,2006,23(1):180~183.
3 Jinua Huang,Hiroshi Shimizu,Suteaki Shioya.Clustering gene expression pattern and extracting relationship in gene network based on artificial neural networks.Journal of bioscience and bioengineering,2003,96(5):421~428.
4 曹暉,席斌,米紅.一種新聚類算法在基因表達數據分析中的應用.計算機工程與應用,2007,43(18):234~238.
5 鄧慶山.聚類分析在基因表達數據上的應用研究.計算機工程與應用,2005,41(35):210~212.
6 白云靜,申洪波,孟慶剛,等.基于人工神經網絡的中醫證侯非線性建模研究.中國中醫藥信息雜志,2007,14(7):3~4.
7 曹志峰. BP 神經網絡在臨床診斷中的應用與探討.實用醫技雜志,2005,12(9):2656~2657.
8 William G Baxt. Application of artificial neural networks to clinical medicine. The Lancet,1995,346(8983):1135~1138.
9 Ruth M.Ripley,Adrian L.Harris,Lionel Tarassenko.Non-linear survival analysis using neural networks. Statistics in medicine,2004,23(5):825~842.
10 David Faraggi,Richard Simon.A neural network model for survival data. Statistics in medicine,1995,14(1):73~82.
11 高蔚,聶紹發,施侶元,等.神經網絡在生存分析中的應用進展.中國衛生統計,2006,23(4):358~360.
12 Anny Xiang,Pablo Lapuerta, Alex Ryutov.Comparison of the performance of neural network methods and Cox regression for censored survival data.Computational statistics & data analysis,2000,34(2):243~257.
13 D.J.Groves,S.W.Smye,S.E.Kinsey.A comparison of Cox regression and neural networks for risk stratification in case of acute lymphoblastic leukaemia in children.Neural computing & applications,1999,8(3):257~264.
14 Lucila Ohno-Machado.A comparison of cox proportional hazards and artificial neural network models for medicial prognosis.Comput Biol Med,1997,27(1):55~65.
15 黃德生,周寶森,劉延齡,等.BP人工神經網絡用于肺鱗癌預后預測.中國衛生統計,2000,17(6):337~340.
16 賀佳,張智堅,賀憲民.肝癌術后無瘤生存期的人工神經網絡預測.數理統計與管理,2002,21(4):14~16.
17 黎衍云,李銳,張勝年.人工神經網絡及其在疾病篩查中的應用前景.環境與職業醫學,2006,23(1):71~73.
神經網絡是一個具有高度非線性的超大規模連續時間動力系統。是由大量的處理單元(神經元)廣泛互連而形成的網絡。它是在現代神經科學研究成果的基礎上提出的,反映了腦功能的基本特征。但它并不是人腦的真實描寫,而只是它的某種抽象、簡化與模擬。網絡的信息處理由神經元之間的相互作用來實現;知識與信息的存儲表現為網絡元件互連間分布式的物理聯系;網絡的學習和計算決定于各神經元連接權系的動態演化過程。因此神經元構成了網絡的基本運算單元。每個神經元具有自己的閾值。每個神經元的輸入信號是所有與其相連的神經元的輸出信號和加權后的和。而輸出信號是其凈輸入信號的非線性函數。如果輸入信號的加權集合高于其閾值,該神經元便被激活而輸出相應的值。在人工神經網絡中所存儲的是單元之間連接的加權值陣列。
神經網絡的工作過程主要由兩個階段組成,一個階段是工作期,此時各連接權值固定,計算單元的狀態變化,以求達到穩定狀態。另一階段是學習期(自適應期,或設計期),此時各計算單元狀態不變,各連接權值可修改(通過學習樣本或其他方法),前一階段較快,各單元的狀態亦稱短期記憶(STM),后一階段慢的多,權及連接方式亦稱長期記憶(LTM)〔1〕。
根據網絡的拓撲結構和學習規則可將人工神經網絡分為多種類型,如不含反饋的前向神經網絡、層內有相互結合的前向網絡、反饋網絡、相互結合型網絡等〔2〕。本文的人工神經網絡模型是采用BP算法的多層前饋網絡。
該模型的特點是信號由輸入層單向傳遞到輸出層,同一層神經元之間互不傳遞信息,每個神經元與鄰近層所有神經元相連,連接權用Wij表示。各神經元的作用函數為Sigmoid函數,設神經網絡輸入層的p個節點,輸出層有q個節點,k-1層的任意節點用l表示,k層的任意節點用j表示,k+1層的任意節點用l表示。Wij為k-1層的第i個神經元與k層的第j個神經元相連接的權值。k-1層的節點i輸出為O(k-1)i,k層節點j的輸出為:
k層節點j的輸出為:
Okj=f(netkj)
設訓練樣本為(X,Ye),X為p維向量,加到輸入層;Ye為q維向量,對應于期望輸出;網絡的實際輸出Y也是q維向量。網絡在接受樣本對的訓練過程中,采用BP算法,其權值調整量為:
ΔWij=-ηδkjO(k-1)i
其中,對于輸出層為:
δkj=yj(1-yj)(yej-yj)
對于非輸出層為:
η為訓練步長,取0<η<1。
用樣本集合反復訓練網絡,并不斷修改權值,直到使實際輸出向量達到要求,訓練過程結束〔3〕。
上述人工神經網絡可以完成多種信息處理任務,如從二進制數據中提取相關知識,完成最近鄰模式分類,實現數據聚集等。而本文要用的是其極強的數學逼近映射能力,即開發合適的函數f:ARnBRn,以自組織的方式響應以下的樣本集合:(x1,y1),(x2,y2)…,(xm,ym),其中yi=f(xi)。這里描述的是一般的數學抽象,像識別與分類這些計算都可以抽象為這樣的一種近似數學映射。
所謂診斷,實質上是一個分類問題。即根據候診者的癥狀,醫學檢查結果(如體溫、心跳等)等一些情況,它們可以用一向量(e1,e2,…,em)來表示,將其歸類為病人或非病人。這也可以轉化為尋找一差別函數f使得:
(1)f(e1,e2,…,em)>ε, (e1,e2,…,em)∈T
(2)f(e1,e2,…,em)>ε, (e1,e2,…,em)T
其中集合T表示患病。
因此,病情診斷最終也可作為一類函數的逼近問題。
而許多研究已表明,前向神經網絡可作為非線性逼近的標準型。對于實數空間的任一函數,只要它滿足一定的條件,一定存在唯一的具有單一隱層的前向網絡作為它的最優最佳逼近。而含有兩個隱含層的前向網絡可在任意的平方誤差內逼近某一實函數〔3〕。
診斷步驟
肺癌病例數據選自1981~1994年在某醫院住院的病人,共計551例。其中486例(88%)經病理學、細胞學診斷證實為肺癌。每一病例都包括多項數據,其中用于診斷的數據項有:病人的一般情況(如年齡、性別等),家族史、既往史、吸煙史、術后病理、X射線檢查、CT檢查、纖維支氣管鏡檢查、PAT痰檢等多達58項。因此,原則上 58項數據應作為神經網絡的輸入項,而神經網絡的輸出值就是病人是否患肺癌的結果。
1.網絡訓練集的確定:在最原始的551例病人數據中存在著各種各樣的差別,如性別差異(419例男性,132例女性),診斷結果的差異(486例經證實為肺癌),所患肺癌種類的差異(鱗癌、小細胞癌、大細胞癌等),患病程度上的差異(早、中晚期的不同)等等。顯然,訓練數據集應最大限度地保證兼顧各種病例情況。經過仔細篩選,選擇了含有460個病例的集合作為肺癌診斷用的網絡的訓練集。
2.神經網絡輸入和輸出數據的預處理
按照人工神經網絡的理論,神經網絡的輸入輸出數據都應該屬于(0,1)區間的實數,為此我們需對原始數據進行如下的規一化處理:
其中xi為原始數據項,而Max=max{xi∶xi∈X},Min=min{xi∶xi∈X}。這里X為原始數據集。經過(7)式變換后,yi將在(0,1)區間。因此,可作為神經網絡的輸入輸出。
3.應用神經網絡進行肺癌診斷
將描述病人各種情況的數據作為前向網絡的輸入數據加到其輸入端,并按(1)~(6)式計算各神經元的輸入和輸出,同時調整神經元之間的連接權值以使網絡的輸出和實際的病例情況相符。即當病人確實患肺癌時網絡的輸出結果也恰好指示為肺癌,反之亦然。如果對所有的訓練樣本集網絡的輸出基本上(95%或更高)能保證與實際結果一致,則訓練過程結束。我們認為神經網絡已建立起病人的各種因素與他是否是肺癌患者之間的函數映射關系。對于一個新的候診病人來說,只要將他的情況輸入到訓練好的神經網絡中去,根據網絡的輸出結果就可以知道他是否已患肺癌。
表1 基于不同發病因素的診斷網絡模型
類
型 訓練集精度 測試集精度
基于遺傳因素的診斷網 53.8% 46.3%
基于個人生活習慣的診斷網 57.1% 44.9%
基于病癥的診斷網 89.4% 83.3%
基于醫學檢查結果的診斷網 98.5% 92.6%
上述結果表明不同類型的因素應分開來考慮。于是我們將58項輸入數據分成四類,這四類有各自的BP診斷網,依次稱為診斷一、診斷二、診斷三、診斷四。它們先單獨測定,然后再將它們各自的結果綜合起來得出最后的判斷。
上述四種診斷網絡所得結果的可靠性各不相同。其中,根據醫學檢查結果所作的診斷準確性最高,因此在最后的綜合分析中要重點考慮它的診斷結果,我們給它設一個相對最高的權值。其次,根據病人的癥狀所作的診斷往往也具有較高的準確性,因此給它的權值也較高,但比醫學檢查結果的稍低。其他兩類因素在有關肺癌的診斷中僅具參考作用,因而所設的權值相對較小。
最后的結果O為:
O=a1.O1+a2.O2+a3.O3+a4.O4
a1+a2+a3+a4=1
其中Oi,ai,i=1,2,3,4分別為各診斷網的輸出及其對應的權值。
當O>0.5時最后的診斷結果為患肺癌,反之則正常。對所有的病例數據經上述方法的診斷結果見表2。
表2 神經網絡對肺癌診斷結果分析
神經網絡
診斷結果 訓練數據 測試數據
肺癌患者 非肺癌患者 肺癌患者 非肺癌患者
+ 460 2 25 3
- 0 38 1 22
其中對于訓練集,肺癌病人的正確檢出率為100%,非肺癌病人誤診率為5%。對于測試集,肺癌病人的正確檢出率為96.2%;非肺癌患者正確檢出率為88%,誤診率為12%。
討 論
1.本研究所采用的人工神經網絡的肺癌診斷方法的結果較好地符合了已知數據,具有較高的準確性,特別是對于肺癌患者一般都能準確地做出診斷,有利于肺癌的早期發現和治療。
2.要想進一步提高該方法的準確性,應該注意收集更多更全面的病例數據。人工神經網絡主要是利用它能自動從數據集中抽取函數的關系的功能。如果我們所使用的數據越多越全面,則其中所蘊含的事物本身的規律性就越強,利用人工神經網絡從中所抽取的函數關系就越具有普遍性,因而就更準確。
3.實現對肺癌的診斷的關鍵在于準確找到罹患肺癌的判定函數,可利用前向網絡的函數逼近功能來實現。但是這里涉及到兩個問題。首先,由于差別函數和預測率函數都是利用人工神經網絡從已知的病例數據集中抽取出來的,它實際反映的是這些數據集中輸入輸出對的映射關系。因此要想保證診斷具有較高的準確性,就應該使用來建立函數關系的這些數據集(稱訓練集)具有充分的代表性,即這些數據應基本蘊含肺癌診斷的醫學原理。這就涉及到如何選擇網絡合理的訓練集及關鍵的輸入項。另一個問題涉及到神經網絡本身的要求,即網絡的輸入輸出數據值都應在區間(0,1)中。這可以通過數據的編碼和歸一化來實現。
4.由于某些原因有些病人的病例數據不完整,約占總病例數據的10%左右。顯然,如果按照傳統的方法來建立肺癌病人的診斷模型〔4〕,這些有缺項的數據是不太好處理的,但是由于人工神經網絡有較強的容錯性,輸入數據在某些項上的錯誤對網絡最終結果的正確性影響不大。
參考文獻
1.焦李成.神經網絡系統理論.第1版.西安:西安電子科技大學出版社,1995,3
經訓練的ANN適用于利用分析振動數據對機器進行監控和故障檢測,預測某些部件的疲勞壽命[2]。非線形神經網絡補償和魯棒控制綜合方法的應用(其魯棒控制利用了變結構控制或滑動模控制),在實時工業控制執行程序中較為有效[3]。人工神經網絡(ANN)和模糊邏輯(FuzzyLogic)的綜合,實現了電動機故障檢測的啟發式推理。對非線形問題,可通過ANN的BP算法學習正常運行例子調整內部權值來準確求解[4]。
因此,對于電力系統這個存在著大量非線性的復雜大系統來講,ANN理論在電力系統中的應用具有很大的潛力,目前已涉及到如暫態,動穩分析,負荷預報,機組最優組合,警報處理與故障診斷,配電網線損計算,發電規劃,經濟運行及電力系統控制等方面[5]。
本文介紹了一種基于人工神經網絡(ANN)理論的保護原理。
1人工神經網絡理論概述
BP算法是一種監控學習技巧,它通過比較輸出單元的真實輸出和希望值之間的差別,調整網絡路徑的權值,以使下一次在相同的輸入下,網絡的輸出接近于希望值。圖1是人工神經Ui的結構模型,圖中Ui為神經元內部狀態,Qi為門檻值,Yi為輸出信號,Xi(i=1,2,…,n)為神經元接收信號。該模型可表示為:
式中Wji——連接權值。
BP算法的神經網絡圖形如圖2所示,設網絡的輸入模塊為p,令其作用下網絡輸出單元j的輸出為Opj。如果輸出的希望值是Tpj,則其誤差為Dpj=Tpj-Opj。若輸入模塊的第i個單元輸入為Ipi,則就輸入模塊p而言,輸入接點I與輸出接點j之間的權值變化量為:
ΔWpji=zDpjIpi
式中,z是某一個常數。當反復迭代該式時,便可使實際值收斂于目標值[6]。其中隱含層既有輸入網線,又有輸出網線,每一個箭頭都有一定的權值。
在神經網絡投運前,就應用大量的數據,包括正常運行的、不正常運行的,作為其訓練內容,以一定的輸入和期望的輸出通過BP算法去不斷修改網絡的權值。在投運后,還可根據現場的特定情況進行現場學習,以擴充ANN內存知識量。從算法原理看,并行處理能力和非線是BP算法的一大優點。
2神經網絡型繼電保護
神經網絡理論的保護裝置,可判別更復雜的模式,其因果關系是更復雜的、非線性的、模糊的、動態的和非平穩隨機的。它是神經網絡(ANN)與專家系統(ES)融為一體的神經網絡專家系統,其中,ANN是數值的、聯想的、自組織的、仿生的方式,ES是認知的和啟發式的。
如圖3所示,裝置可直接取線路及其周邊的模擬量、數字量,經模式特征變換輸入給神經網絡,根據以前學習過的訓練材料,對數據進行推理、分析評價、輸出。專家系統對運行過程控制和訓練,按最優方式收集數據或由分析過程再收集控制,對輸出結果進行評估,判別其正確性、一致性,作出最終判決,經變換輸出,去執行機構。即使是新型保護,也會存在著某些功能模塊不正確動作的可能,這時可以過后人為干預擴展專家系統數據庫或由專家系統作出判別,作為訓練樣本訓練ANN的這部分功能模塊,改變其某些網線的權值,以使下次相同情況下減少不正確動作的可能。
下面是一個簡單的ANN線路保護例子。當電力系統故障時,輸電線路各相、各序電壓、電流也隨之發生變化,特別是故障后故障相的相電壓和相電流,以及接地系統在接地故障的零序電流的變化有明顯的代表性。比如選輸入層神經元個數為14個,分別是Uar,Uai,Ubr,Ubi,UcrUci,Iai,Ibr,Ibi,Icr,Ici,Ior,Ioi(下標r和i分別代表實部與虛部),選定輸出層神經元個數為5個:YA(A相),YB(B相),YC(C相),YO(接地),YF(方向),各輸出值為1,代表選中;輸出值為0,代表沒選中(YF為0代表反向)。這5個輸出完全滿足線路方向保護的需求(沒考慮正向超越),隱含層神經元數目為2N+1(N為輸入層神經元數目)。訓練樣本集包含14個輸入變量和5個輸出變量,而測試樣本集中的樣本則只有14個輸入變量。選圖4的雙側電源系統作研究對象,輸電線路、系統的等值正、零序參數如圖4所示。
考慮的故障類型包括單相接地(K1),兩相短路(K2),兩相接地(K1—1),三相短路(K3)。
對圖4所示的500kV雙側電源系統的各種運行方式和故障情況建立訓練樣本。
在正常狀態下,令h∠δ=(EM)/(EN),h=1,δ
隨負荷變化,取為-60°,-50°,-40°,-30°,-20°,-10°,0°,10°,20°,30°,40°,50°,60°,有13個樣本。故障情況下,δ取值為-60°,-30°,0°,30°,60°,故障點選反向出口(-0km),正向出口(+0km),線路中部(150km),線末(300km)。接地電阻Rg取值0Ω,50Ω,100Ω,150Ω,200Ω,相間電阻Rp取值0Ω,25Ω,50Ω,則共有5×4×(5+3+5×3+3)=520個樣本。每個樣本的5個輸出都有一組期望的輸出值,以此作為訓練樣本。而實際運行、故障時,保護所測到的電流、電壓極少直接與樣本相同,此時就需要用到模糊理論,規定某個輸出節點。如YA(A相)在某一取值范圍時,則被選中。
文獻[1]認為全波數據窗建立的神經網絡在準確性方面優于利用半波數據窗建立的神經網絡,因此保護應選用全波數據窗。
ANN保護裝置出廠后,還可以在投運單位如網調、省調實驗室內進行學習,學習內容針對該省的保護的特別要求進行(如反措)。到現場,還可根據該站的干擾情況進行反誤動、反拒動學習,特別是一些常出現波形間斷的變電站內的高頻保護。
3結論
本文基于現代控制技術提出了人工神經網絡理論的保護構想。神經網絡軟件的反應速度比純數字計算軟件快幾十倍以上,這樣,在相同的動作時間下,可以大大提高保護運算次數,以實現在時間上即次數上提高冗余度。
一套完整的ANN保護是需要有很多輸入量的,如果對某套保護來說,區內、區外故障時其輸入信號幾乎相同,則很難以此作為訓練樣本訓練保護,而每套保護都增多輸入量,必然會使保護、二次接線復雜化。變電站綜合自動化也許是解決該問題的一個較好方法,各套保護通過總線聯網,交換信息,充分利用ANN的并行處理功能,每套保護均對其它線路信息進行加工,以此綜合得出動作判據。每套保護可把每次錄得的數據文件,加上對其動作正確性與否的判斷,作為本身的訓練內容,因為即使有時人工分析也不能區分哪些數據特征能使保護不正確動作,特別是高頻模擬量。
神經網絡的硬件芯片現在仍很昂貴,但技術成熟時,應利用硬件實現現在的軟件功能。另外,神經網絡的并行處理和信息分布存儲機制還不十分清楚,如何選擇的網絡結構還沒有充分的理論依據。所有這些都有待于對神經網絡基本理論進行深入的研究,以形成完善的理論體系,創造出更適合于實際應用的新型網絡及學習算法[5]。
參考文獻
1陳炳華.采用模式識別(智能型)的保護裝置的設想.中國電機工程學會第五屆全國繼電保護學術會議,[會址不詳],1993
2RobertE.Uhrig.ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans,1994,10(3).(1):371~377
3LeeTH,WangQC,TanWK.AFrameworkforRobustNeuralNetwork-BasedControlofNonlinearServomechannisms.IEEETrans,1993,3(2).(3):190~197
人工神經網絡模擬人腦生物神經網絡系統處理信息的方式,是通過經驗而不是通過設計好的程序進行學習、訓練,這些構成了人工神經網絡具有模式識別、預測、評價和優化決策等能力的基礎。本文就神經網絡近年來在藥劑學的處方設計及優化、制備工藝及體內體外相關性評價等方面的應用做一綜述。
【關鍵詞】 人工神經網絡;藥物制劑
Abstract:Artificial neural networks simulating the process of human brains nerve systems to deal with information,which learning and training date according with the experience other than the designed programme,is the base of the ability that the artificial neural network could be used for pattern distinguish,prediction and optimization etc.This papertbriefly reviewed the application of neural networks in pharmaceutical fields,such as formulation optimization,preparation parameters optimization and in vitro-in vivo correlation evaluation.
Key words:artificial neural networks;pharmaceutic
藥物制劑研究是一個復雜的過程,包括制劑處方,制劑制備工藝及制劑體內體外評價等,其中任何一個方面都屬于多因素,多水平的復雜優化問題。例如處方設計過程中涉及不同質量不同用量的各種敷料配比及壓力、溫度、水分等,這些因素直接影響劑型的安全性和有效性;制劑設備工藝涉及眾多紛繁復雜的工藝參數優化,制劑體內體外評價更是受生物系統的極端復雜性影響。過去人們通常依靠某一方面的專家來承擔相應的工作,免不了受許多經驗化主觀因素的影響,效率較低,而基于人工智能的神經網絡則很適于處理這類復雜的多變量非線性系統,并可通過網絡的預測能力實現多因素的同步優化[1-3]。
1 神經網絡理論
人工神經網絡(artificial neural network)是一種由大量簡單處理單元以某種方式相互連接而成,對連續的輸入做出狀態響應的動態信息處理系統。它模擬人腦生物神經網絡系統處理信息的方式,通過經驗而不是通過設計好的程序進行學習、訓練。因此,人工神經網絡具有人腦的某些重要特性,如聯想記憶、并行處理、自學習、自組織、自適應和容錯性等能力,這些構成了人工神經網絡具有模式識別、預測評價和優化決策等能力的基礎。
如圖1所示,這是含有一個隱含層的神經網絡示意圖,其中空心圓圈表示神經元,神經元是神經網絡(neural network)的基本單元,也稱為節點。每層中可以包含多個節點,多層節點之間按一定的方式相互連接構成神經網絡。神經網絡的信息處理功能由神經元的輸入和輸出、網絡的拓撲結構、連接權的大小(突觸聯系強度)以及神經元的閾值所決定的。輸入層節點的輸入變量為自變量(樣本圖1 神經網絡結構示意圖
Fig.1 Delineation of structure of artificial neural networks
參數),輸出層節點的輸出變量為應變量(目標函數),當多個輸入進入神經元后,其加權求和值超過神經元的閾值后會形成輸出,通過連接權連接,傳遞到下一層神經元,作為下一層神經元的輸入值,這樣按網絡的拓撲結構依次傳遞。根據神經網絡的計算原理,每一神經元的輸入值將更新變化,最后到達輸出層。將輸出值與樣本的期望輸出值進行比較,計算出誤差,按學習規律將誤差反向傳播到前一層神經元,調整連接權大小,重新計算,再輸出。如此反復,直到訓練集樣本輸出誤差和達到期望值。至此得到固定的連接權值,就達到對未知樣本進行預測和分析。其中網絡的信息主要儲存在連接權中[4]。
根據神經元之間的相互結合關系和作用方式,神經網絡模型可以分為很多種,其中反向傳播神經網絡(back-propagation neural network)即BP[5]神經網絡是目前藥劑領域中應用最廣泛、計算能力最強的人工神經網絡模型之一。由于這種網絡的權值和閾值調整采用了反向傳播的學習算法,解決了感知器所不能解決的問題,可以實現從輸入到輸出的任意非線性映射。在確定了網絡的結構后,利用輸入樣本集對其進行訓練,即對網絡的權值和閾值進行學習和調整。經過訓練的BP網絡,對于不是樣本集中的輸入樣本也能給出合適的輸出,利用這種方式可以使用該網絡對未知樣本進行預測。
2 人工神經網絡在藥劑中的應用
2.1 藥物制劑處方設計及優化
制劑處方設計及優化是目前神經網絡在藥物制劑中應用最多[6-11],也是比較有發展前景的方向之一,尤其是應用于緩控釋制劑的處方優化和設計中。
梁文權[12]等將人工神經網絡應用于優化HPMC緩釋片處方。以藥物的溶解度、含藥量、HPMC的量、HPMC的固有黏度、輔料的量、黏合劑的濃度、溶出儀的轉速為神經網絡的輸入,藥物的累計釋放量作為輸出,采用BP網絡對52個樣本進行訓練,建立BP神經網絡模型。然后與優化算法相結合實現對乙酰氨基酚、甲氧芐氨嘧啶、米諾地爾、氧氟沙星等模型藥物在不同的含藥量、不同轉速條件下的處方進行優化。試驗結果發現利用神經網絡預測藥物的釋放、訓練處方和測試處方的實測值和預測值能很好吻合,得到的4個優化處方的釋放值均和目標值很接近。魏曉紅[13]等選取9種藥物作為模型藥物,按HPMC:糊精=5-0.2∶1配比制成不同釋放度的緩釋片,測定各個處方的釋放度,以每個藥物的溶解度和處方中HPMC∶糊精的配比值作為網絡的輸入,以釋放度測量中每個給定取樣時間點藥物的累積釋放量作為輸出變量,得到含一個隱含層,迭代次數為25次的BP神經網絡,通過優化,成功擬定了4個制劑處方,按此處方制備的緩釋片的實測釋放值與神經網絡預測值相符。根據此法,可以從藥物的溶解度設計符合一定釋放度要求的緩釋制劑處方。
駱快燕[14]等用干壓包衣技術制備卡托普利延時起效延緩片時,用人工神經網絡預測釋藥時滯。運用一個3層BP神經網絡,以釋放度作為輸入層神經元,以對應時間點作為輸出層神經元,得到一個含8個隱含層神經元的BP網絡,其中變換函數為雙曲正切函數,學習規則為歸一化累積Delta規則,目標誤差為0.001,學習速率為0.01。神經網絡預測釋藥時滯結果為后面用SAS進行多元線性回歸提供了可靠的數據,使預測優化處方很快達到設計要求。
吳濤等[15]在硫酸沙丁胺醇滲透泵控釋片的處方篩選中采用反應曲面法和人工神經網絡法優化法。選擇包衣液中PEG 1 500含量與包衣膜的厚度為網絡的輸入因素,以各個處方1~8小時的積累釋放度對實踐的相關系數和各處方8小時的累積釋放度為輸出因素,在36個實驗處方中隨機抽取24個作為網絡的訓練數據,其余作為網絡的測試數據檢測網絡預測性能,建立了含一個隱含層的BP神經網絡建立模型,最后根據預測結果實現處方優化。比較結果證實神經網絡方法較優。
2.2 藥物制劑制備工藝方面的應用
藥物劑型的制備工藝過程中,存在著諸如溫度、壓力、粘度、流速等諸多影響因素,這些工藝參數與制劑質量指標之間往往存在很強的非線性和耦合性,很難用傳統的方法建立有效的質量控制模型。基于人工智能的人工神經網絡具有辨識和逼近任意復雜非線性系統的能力,而且具有一定的容錯能力,可以同步優化制備工藝中的多個工藝參數[16]。
張宇飛等[17]收集某大型中藥企業滴丸制劑生產線的100多個生產批次,每個批次包含多個數據的樣本作為神經網絡訓練集,設計了一個具有三個層的BP神經網絡,輸入層的5個節點分別為化料溫度,化料時間,滴制溫度,滴制速度及冷凝溫度;輸出層的結點為滴丸成品率,建立了某滴丸制劑過程工藝參數與滴丸成品率之間的神經網絡映射模型。然后利用遺傳算法對模型輸入參數空間進行尋優,搜索使滴丸成品率達到最優時所對應的工藝參數值。經生產試制,利用優化后的工藝參數值進行生產,能使該制劑過程的成品率提高約2.6個百分點,表明利用神經網絡與遺傳算法對制劑過程進行建模與優化是合理的,該項目屬于國家863高技術研究發展計劃項目。
2.3 藥物制劑體內-體外相關性評價的應用
建立體內外相關性評價方法對藥物制劑研究非常重要。一個好的體內外相關性模型應能使預測值與實測值相互吻合,從而用體外的釋藥數據預測藥物的體內過程,設計與已知制劑生物等效的制劑,或者制定藥物制劑的質量標準及指導臨床用藥。但是生物系統是極其復雜的,藥物在體內的代謝過程也是相當復雜的,使得判定藥物療效與生物學、藥物動力學及藥物分布等各因素之間的關系非常困難[18]。人工神經網絡是模擬生物神經系統對外界系統的認知過程,它給我們提供了一個很好的研究體內外相關性的方法[19-20]。
李凌冰[21]等采用人工神經網絡結合Wagner-Nelson法,研究氯氮平非pH依賴型緩釋片的體內體外相關性。以處方中HPMC與琥珀酸的用量為神經網絡輸入變量,考慮到緩控釋制劑的特點,以2h的血藥濃度,12h的血藥濃度一時間曲線下面積AUCl2,以及血藥濃度的峰值(max數據為輸出,建立了氯氮平非pH依賴型緩釋制劑處方組成和血藥濃度之間的關系模型。以此為基礎,繪制輸出三個輸出變量的等高線圖譜,分別在3個等高線圖譜上標記最佳變量所取值的范圍,將3個圖中的最佳區域結合在一起從而求得生物利用度最佳的處方。李凌冰等[22]應用人工神經網絡研究紅霉素緩釋微囊的體內外相關性。以明膠為囊材制備紅霉素緩釋膠囊,以體外釋放度的數據作為網絡輸入,血藥濃度數據作為網絡輸出,通過比較血藥濃度實測值與預測值的差異考察了網絡的可靠性,結果令人滿意。
3 結語
人工神經網絡技術作為一種新方法新技術雖然已在藥劑研究領域取得了一定的進展,但仍然有許多問題需要進一步的研究。例如神經網絡雖然可用于制劑制備工藝參數的優化,但能否利用神經網絡實時監控工藝過程以控制質量還需要進一步探討;人工神經網絡通常需要大量的數據訓練網絡,但有時數據的獲得比較困難,尤其是體內的試驗數據;神經網絡拓撲結構的選擇規律、傳遞函數的選取,防止過擬合和陷入局部最優等問題也需要在模型的建立過程中考慮;在制劑分析中的方法適應性和重現性等基礎工作也還需要深入的研究。
總之,神經網絡是一個充滿了活力的研究領域,通過以上的簡述可以發現神經網絡在藥劑學研究領域具有廣闊的應用前景,相信隨著神經網絡理論和技術的不斷發展,神經網絡以其獨特的模擬、學習、預測能力必將在藥劑學的各個方面得到更充分的應用。
參考文獻
[1]Takayama K,Fujikawa M,Obata Y,et al.Morishita M,Neural Network Based Optimization of Drug Formulations[J].Advanced Drug Delivery Reviews,2003,55(9):1 217-1 231.
[2]Agatonovic-Kustrin S,Beresford R.Basic Concepts of Artificial Neural Networks Modeling and Its Application in Pharmaceutical Research[J].Journal of Pharmaceutical and Biomedical Analysis,2000,22(4):717-727.
[3]K Takayama,A Morva, M Fujikawa,et al.Formula Optimization of Theophylline Controlled-release Tablet Based on Artificial Neural Networks [J].Journal of Controlled Release,2000,68(2):175-186.
[4]Hassoun M.Fundamentals of Artificial Neural Networks[M].The MIT Press,1995:25.
[5]R J Erb.Introduction to Backpropagation Neural Network Computation[J].Pharmaceutical.Research,1993,10(2):165-170.
[6]P.C.Wu,Y.Obata,M.Fujikawa,et al.Simultaneous Optimization Based on Artificial Neural Networks in Ketoprofen Hydrogel Formula Containing O-enthyl-3-butylcyclohexanol as Percutaneous Absorption Enhancer[J].Journal of Pharmaceutical Sciences,2001,90(7):1 004-1 014.
[7]A P Plumb,R C Rowe,P York,et al.The Effect of Experimental Design on the Modeling of a Tablet Coating Formulation Using Artificial Neural Networks[J].European Journal of Pharmaceutical Sciences,2002,16(3):281-288.
[8]Onuki Y,Hoshi M,Okabe H,et al.Formulation Optimization of Photocrosslinked Polyacrylic Acid Modified with 2-hydroxyethyl Methacrylate Hydrogel as an Adhesive for a Dermatological Patch[J].Journal of controlled release,2005,108(2-3):331-340.
[9]Fan T,Takayama K,Hattori Y,et al.Formulation Optimization of Paclitaxel Carried by PEGylated Emulsions Based on Artificial Nneural Network[J].Pharmaceutical Research,2004,21(9):1 692-1 697.
[10]Lim CP,Quek SS,Peh KK.Prediction of Drug Release Profiles Using an Intelligent Learning System:an Experimental Study in Transdermal Iontophoresis[J].J Pharm Biomed Anal,2003,31(1):159-168.
[11]Plumb AP,Rowe RC,York P,et al.Effect of Varying Optimization Parameters on Optimization by Guided Evolutionary Simulated Annealing(GESA)Using a Tablet Film Coat as an Example Formulation[J].European Journal of Pharmaceutical Sciences,2003,18(3-4):259-266.
[12]范彩霞,梁文權.神經網絡多目標同步優化HPMC緩釋片處方[J].中國藥學雜志,2004,39(10):768-771.
[13]魏曉紅,吳建軍,梁文權.神經網絡用于口服緩釋制劑的處方設計[J].藥學學報,2001,36(9):690-694.
[14]駱快燕,姚彤煒,黃安琪.卡托普利延遲起釋型緩釋片的研制[J].中國現代應用藥學雜志,2005,22(3):224-228.
[15]吳淘,潘衛三,陳濟民,等.多目標同步優化法優化硫酸沙丁胺醇滲透泵控釋片的制備工藝[J].藥學學報,2000,35(8):617-621.
[17]張宇飛,邵秀麗,雷建軍.基于神經網絡和遺傳算法的中藥滴丸制劑過程建模與優化[J].計算機工程與應用,2005,2(2):191-194.
[18]James AD.Artificial Network Applied to the in Vitro-in Vivo Correlation of an Extended-release Formulation:Initial Trials and Experience[J].Journal of pharmaceutical Science,1999,88(1):154-160.
[19]Fu XC,Chen CX,Wang GP,et al.Prediction of Human Intestinal Absorption Using an Artificial Neural Network[J].Pharmazie,2005,60(9):674-676.
一、引言(研究現狀)
自改革開放以來,我國生產力極大發展,生活水平總體上得到了提高。但是,地區間的發展不平衡始終存在,而且差距越來越大,不同地區人民的生活水平也存在顯著的差異。據此,我們利用自組織人工神經網絡方法對全國31個省市自治區的人民生活水平質量進行分析評價。
二、指標選取與預處理
1.指標選取
遵循合理性、全面性、可操作性、可比性的原則,從以下5個層面共11個二級指標構建了人民生活質量綜合評價指標體系(如下表所示)。
人民生活質量綜合評價指標體系
2.指標預處理
(1)正向指標是指標數據越大,則評價也高,如人均可支配收入,人均公園等。
正向指標的處理規則如下(1):
Kohonen 自組織神經網絡
輸入層是一個一維序列,該序列有N個元素,對應于樣本向量的維度;競爭層又稱為輸出層,該層是由M′N=H個神經元組成的二維平面陣列其神經元的個數對應于輸出樣本空間的維數,可以使一維或者二維點陣。
競爭層之間的神經元與輸入層之間的神經元是全連接的, 在輸入層神經元之間沒有權連接,在競爭層的神經元之間有局部的權連接,表明競爭層神經元之間的側反饋作用。訓練之后的競爭層神經元代表者不同的分類樣本。
自組織特征映射神經網絡的目標:從樣本的數據中找出數據所具有的特征,達到能夠自動對樣本進行分類的目的。
2.網絡反饋算法
自組織網絡的學習過程可分為以下兩步:
(1)神經元競爭學習過程
對于每一個樣本向量,該向量會與和它相連的競爭層中的神經元的連接權進行競爭比較(相似性的比較),這就是神經元競爭的過程。相似性程度最大的神經元就被稱為獲勝神經元,將獲勝神經元稱為該樣本在競爭層的像,相同的樣本具有相同的像。
(2)側反饋過程
競爭層中競爭獲勝的神經元會對周圍的神經元產生側反饋作用,其側反饋機制遵循以下原則:以獲勝神經元為中心,對臨近鄰域的神經元表現為興奮性側反饋。以獲勝神經元為中心,對鄰域外的神經元表現為抑制性側反饋。
對于競爭獲勝的那個神經元j,其鄰域內的神經元在不同程度程度上得到興奮的側反饋,而在Nj(t)外的神經元都得到了抑制的側反饋。Nj(t)是時間t的函數,隨著時間的增加,Nj(t)圍城的面積越來越小,最后只剩下一個神經元,而這個神經元,則反映著一個類的特征或者一個類的屬性。
3.評價流程
(1)對n個輸入層輸入神經元到競爭層輸出神經元j的連接權值為(6)式:
(2)獲勝鄰域j*(t),設定為鄰域函數(h)t,表示第i個神經元與獲勝神經元之間的距離函數。S2會隨著學習的進行而減小,從而鄰域在學習初期很寬,隨著學習的進行會變窄。因此,權值隨著學習的進行從較大幅度調整向微小幅度調整變化。鄰域函數產生了有效的映射作用。其中鄰域函數的表達式如下(8)式所示
分析結果如下:
第一類:北京,天津,遼寧,上海,江蘇,浙江,廣東
第二類:福建,山東,湖北,重慶,陜西
第三類:河北,山西,內蒙古,吉林,黑龍江,江西,湖南
第四類:安徽,河南,廣西,海南,四川,貴州,云南,,甘肅,青海,寧夏,新疆基于分類結果,得知第一類中的各地區的人民生活質量最高,主要分布于東部沿海。這些地區共同點是:工業和經濟文化實力雄厚,基礎設施建設齊全,醫療衛生事業、教育水平高度發達。
對于第二類,他們的生活質量相對于第一類次之,但比第三、四類的評價則較優。福建是東南部沿海的經濟大省,山東、湖北、陜西具有較強的工業實力和較高的教育水平;重慶市內地唯一的直轄市,境內有長江干道,這五省的共同他點在于其工業實力較強,教育水平發達,基礎設施齊全。
第三類中的諸多省份均是我國農業和采礦業大省,相比前兩類,他們則是缺少雄厚的工業基礎,但有良好的氣候條件社會環境和豐富的自然資源。
第四類,造成這些地區的人民生活質量較差的原因多且復雜。就安徽、河南而言,自古以來河南是華夏文化的中心,安徽是有名的產量大省,是什么因素限制了它們生活水平的發展還值得考究。廣西,海南,貴州,云南,,等的一個共性在于自然條件的劣勢。廣西,海南自古以來是官員貶庶之地;貴州、則云南困于云貴高原,交通向來閉塞;、青海更是由于自然環境惡劣而在各方面的發展較為欠缺;寧夏、甘肅、新疆則是身居內地,生活用水奇缺,種植業較為薄弱,多以畜牧為主,自古有甘涼不毛之地之說。四川則居于天府之國,但人口基數龐大且發展不平衡,所以人民生活質量也不是很高。
總體而言,此分類結果與實際基本吻合;但受變量體系等因素的干擾,部分地區仍然存在疑問,具體原因還值得進一步探討。
五、模型評價
網絡結構簡單、自組織自學習能力強和學習速度快是自組織網絡所具有的優點,在樣本識別上具有很強的優勢。此外,它將輸出表現成一維或者二維的概率密度分布,因此運用越來越來廣泛。對于實際中復雜和高維度的數據,該網絡具有較好的適應性和識別性。它本屬于一種無監督的自主競爭學習的神經網絡,網絡根據樣本的特征進行自組織學習競爭、聚類,將高維數據映射到低維度的二維平面,能夠較好地在保持數據拓撲結構不變的情況下進行數據壓縮和識別。其聚類的客觀性,更適用于于處理海量未知數據問題。以此同時,由于模型的可視化,在人們開發和構建新型網絡變得更加簡潔,易于被人們接受。
自組織神經網絡的二維拓撲映射圖的可視性很強,通過映射圖,可以直接觀察到數據的特征。同時,清晰的了解其分類情況。但是,傳統自組織特征映射神經網絡采用了向量內積、歐氏距離函數等確定輸入樣本最為相似的連接權向量,這就要求數據必須是連續的,若數據是離散的或者數據為順序型或者屬性型,則就不能勝任聚類這項任務。
參考文獻:
[1]張建萍,劉希玉.基于聚類分析的K-means算法研究及應用[J].計算機應用研究,20075(5):166-168.
[2]么枕生.用于數值分類的聚類分析[J].海洋湖沼通報,1994(2):2-12.
[3]劉慧,馮乃琴,南書坡,王偉.基于粗糙集理論和SOFM神經網絡的聚類方法[J].計算機與應用軟件,200926(8):228-230.
[4]郭偉業,趙曉丹,龐英智,奇志.數據挖掘中SOM神經網絡的聚類方法研究[J].情報科學,2009,7(6):874-876.
[5]王家偉,周浩宇,同慶,田宏杰,賈花萍.基于MATLAB的自組織特征映射網絡的實際應用[J].電子設計工程,2013,21(6):47-48.
[6]郭麗華.人工神經網絡基礎[M].哈爾濱:哈爾濱工程大學出版社,2008.
[7]王國梁,何曉群.多變量經濟數據統計分析[M].西安:西安陜西科學技術出版社,1993.
[8]宋浩遠.基于模型的聚類方法研究[J].重慶科技學院學報,2008(7):71-71.
[9]何曉群.多元統計分析[M].3版.北京:北京中國人名大學出版社,2012.