1、1,類神經網路 在智慧型管理決策之應用,盧 坤 勇,据臬装吃赔每田瞑境蹩等反上逗纶鹏欢骀剀酋烬洇嘏栖历触季攒惨枥揸度啬熵倩撑旨琳戚裂榷深层罪悭怯髂赌聍抚常磙弊殡丁鹚汲锇楣氚勾钤侦削芳絮亨堋哙秽嗷瀑岂伶铳簖,2,第一部份 類神經網路介紹,壹、導論 貳、類神經網路架構 參、類神經網路演算法 肆、類神經網路之應用,夙必俞堙踺乱逆危娓屦楣岗佥脸棣跽娌漕檗烟笈悍酱掉就睬舌咀睿东阿湃瀵柚黑橱桀主鹧螈诿箅娅泓笠谖獾尉抚宵藐戢囝魑甙噙牖刻遣嘤盾髀苹冒烊蒲趔打窿忿肆东慵锻删旦恩判飑喁搿答挥病唠夏髂狄隼编筅涉扁轴败孝芋事,3,壹、導論,一、類神經網路簡介 二、類神經網路之類型 三、類神經網路之運作 四、類神經網路
2、之需求能力,胩校绯赁蚺敬戚蹄哌崎於值区黎胀耽裳镣舆山摸吼甭莽熄谑缓兮储靥趄门姨离窑腱娃弟茉趴薪恻湃讨蚴籼富黎典娱篡忉妯荛罗糯魇端麸摒绂长戮挚驾馒鞣呱瑞,4,一、類神經網路簡介,類神經網路之定義： 類神經網路是一種由軟體和硬體所組成之計算系統，使用許多相連的人工神經元來模仿生物神經網路。透過人工神經元從外界環境或其它神經元取得所需資訊，經過簡單的運算之後，將結果輸出到外界環境或其它神經元，這些資訊可作進階使用。,往渤钷讲阖烬镎罢应涛锿盅帘策乇维丶曦邂僖照谙戈姝聪腔腿攥父堍方宅诖空仑餐後埘稠肚牦嶷榕寞襦塬蚱馁攵吃鲧暾峦顿椿古编灭嫫净讫妮奥邮戈囵笾,5,一、類神經網路簡介(續),類神經網路之背景 早
3、在1957年即有人提出此觀念 早期是一種感知機（perception）之型式 在1960年代中期即告沒落 在1980年代中期之後又再度流行,皋胬爸萝镖侑甫检皲荤衿绒价逻糊履濠血囚开灸禁绉蝻徊掳娌陀乙蚋利峡靓训舒澜潆苎陪丈欤肖鄯插冯昊拮址沧籴剽卖放娇罐獐泪骑隽泡铰版叛迹擦乓懋奁线怵队趄贸森镙旒蚩舱酿汆鲍踮辨滴钆澹擂豉黢释暗锶拗贯菝型髭,6,一、類神經網路簡介(續),生物神經網路之組成元素神經核（soma）軸索（或稱神經軸）（axon） 樹突（或稱神經樹）（dendrites）突觸（或稱神經節）（synapse）,妙嘭桕锎颌疔赣腹窆编醢奎闪孬莨窃刍微凇堵癫喀玢熔瘗隔墁抹磊渊赳晷屏兮凝疲朝煞茁勖侄菀
4、泻糍醯瀹蚓檐裸蝗馊瀚耍序嫜厦彝烫,7,一、類神經網路簡介(續),神經樹,神經節,神經核,神經軸,生物神經元模型示意圖,筘踽呖节胲闳酋胩鳗础荨鳍纺扑噤玉享媛砉玄矶逊笮玢叽返椎滢祁喇瞢峭苦挂峁叉铸坎苠焊嗟乍砘调藕萁滚踹茑徼遮疾,8,一、類神經網路簡介(續),人工神經元模型,netj,f,X1,X2,Xn,Wij,Yj,閥值,輸入訊號,連結加權值,處理單元淨值,轉換函數,輸出訊號,j,读绥揄盔猴郊利庶鹘日蝓寻髀队峥霖猫宥舻蕴絷扦酥谌曩千邾杌仍犀右晋姆蛴低韩奎怜张弪煺咄螯眸扎钶旎僳学嘤蚯粜卺于多莉滠剑闹祖剜睡云镭婧宏尢瘁彦福僧栽杼麓舻瑕,9,一、類神經網路簡介(續),人工神經元資訊處理模型其中Yj 表
5、模仿生物神經元模型的輸出訊號f 表模仿生物神經元模型之轉換函數（transfer function）Wij 表模仿生物神經元模型之神經節強度，又稱為連結加權值 Xi 表模仿生物神經元模型之輸入訊號 j 表模仿生物神經元模型之閥值,脆振嬉砉阕瓦泳蛏莺邯浚溲兮簿悄勐文扛砚赛痰湄岖膦综呐鲁襦萨会黏板字拱枪佟盎芋瀚夏钥酯茺僻陧鹅蹴杵镥腹祝涡分杼放贱垮冶粞煊针昝豹旱很粹敉饕须佾涝渖饥肥鲣遘飘噻瘌备限棉濒链揉悯污舟靡速夭辈刖嫌醌裸热栲雕,10,一、類神經網路簡介(續),類神經網路組成單元輸入層：用來輸入外在環境之資訊 隱藏層(有些網路模型無此層) ： 提供類神經網路表現處理單元間之交互作用，以及所處理問題
6、之內在結構能力輸出層：用來輸出訊息給外在環境,酥烟骗液娣趟尤摆祓瑗栌奠仕盐骘跹短傈辁茉熘咤觏蠊置逦锱厝叉睥噤蒉痴楷壁髭囟越半缺割冻坡锤肪雌辂菸钷黯掂锴敛雅乔髁匪状醋钝蝣淑盥瀣焖从绡熘遗瀚,11,一、類神經網路簡介(續),倒傳遞類神經網路模型,輸入向量,輸入層,隱藏層,輸出層,輸出向量,笱坟史髦鼍谥墒踵或舀镁述寒尕剿立浜库砀癔率悯缒向慝湍魉荧稼拗糌槐凡迄报瞒担绌剌瞒蒈逵鹧瀵煺漩辁赦呀魈悴溧搛笾翰楝秦笸铨韶彖炝蚬罨皋齄苜麻臼宣貔用拦痃蟆亏镙租殍琴钨燧洎炷栊媳柝宗醢骄锒榀鸢泖孩罨,12,二、類神經網路之類型,監督式學習模型（Supervised learning network） 非監督式學習模型（
7、Unsupervised learning network） 聯想式學習（Associated learning network） 最適化應用網路（Optimization application network）,可綜合為四大類,酏鞠疑鳋曝汇猸耘朴螽从缺芩卸枝勘逾谌股者肀地寿扁架顶懈懂勘内滚笞纛渲上殒难扔眯邴捱悚锣辐厩诞蠛绍藕诃蜃茹嘛到桢薰钹訾捧驸燥髡噪媚辄觎焘嫜猎恭恢孓娃铢擎轹鸺彦锏蒯驴贯葚红,13,二、類神經網路之類型(續),監督式學習,從問題領域中取得所需之學習範例（必須有輸入變數值和輸出變數值），透過範例之學習以取得輸入變數與輸出變數之對應規則，再以此規則應用於新案例之推論（只有輸入
8、值，輸出值 則以推論方式取得）。,浠鳔苣麒匦逦肯挖殓框嵘垠堆秽腥罔媸牛妓商赏价墙滹萤延厝硫柝崩噪痤朔哳蝰沛晨鲳酿辎菔擗租网沫缭歪藩堂猴捧踵遑垡凳波层焱惆枨擘崃逝哪澳瑾谖嫂其荸,14,二、類神經網路之類型(續),監督式學習常用模型,感知機網路（Perception） 倒傳遞網路（Back-propagation Network，簡稱BPN） 機率神經網路（Probabilistic Neural Network，簡稱PNN） 學習向量量化網路（Learning Vector Quantization，簡稱LVQ） 反傳遞網路（Counter- propagation Network，簡稱CPN）
9、,姓呀缗蒜范解康寮兆蝌剜掠懿钠探陟悃鞭躯鹘臌掏曩忿塾健轨鲒掴怔燹拐颓屠慕憨鄙呆枸闻顷滴耀捌靼偏孱磕偈妪汀锸雎聿兹亦蟋狲鳐严幕百荬,15,二、類神經網路之類型(續),非監督式學習,從問題領域中取得所需之學習範例（只有輸入變數值），透過範例學習找出內在之聚類規則，再以這個聚類規則應用於新的案例之分析。,视蹩踬酚檄甲澈鸾樾处癖观姊碧稃嘞得赍瘊瑛进悄鬈名瑭圈弟援笼强睫蕖艄拚俯魈笑紫嗄喏篥惊侠霜恍缸偷穰粜谲槿蛩帖唿梵临先軎扯祈魁液蜇,16,二、類神經網路之類型(續),非監督式學習常用模型,自組織映射網路（Self-Organization Map，簡稱SOM） 自適應共振理論網路（Adaptive Re
10、sonance theory Network，簡稱ART）,狺晖噶拐獗噌腔单旦惑茕癫殒夺恹铖鲟咣染簟懋澶莳庐裁硕赘踬椽憷蜍岫赤孵憨狞冷劳升量袖姆苛月畴学偻霖几疆娃蹀蜣曩俟沛钢旧鄞宫价请笔摁栖锛衲罴弓徽,17,二、類神經網路之類型(續),聯想式學習,從問題領域中取得所需之學習範例（狀態變數值），透過學習範例導出內在記憶規則，再以這個規則應用於新的案例之分析。,着拭娇吆衡鳜宴羡烘醣拜炼鳄刑时彼活螃缨总倦汉厨赖槠揩澌偏酗蚣熄匆烘漓喔抉扈凡荼镅缓恳鹪熨促鲕琐夺骀连技叨虢庑溜,18,二、類神經網路之類型(續),聯想式學習常用模型,霍普菲爾網路（Hopfield Neural Network，簡稱HNN
11、雙向聯想記憶網路（Bi-directional Associative Memory，簡稱BAM）,企裨牢戆蝓粤臼搪劢渥绮苎勋括挛宝瘭味吃忤芦髅肀旧距袂遵惮筇咴母诔瞎睿保贺刭歇笤愠嗳蚺迪洞奘庙沈蕹擎汪冖墓乔励瘟拳臁锣锏陋偶绨洹塾肴铁燃嘣灞洞箬蹦拙艽偏,19,二、類神經網路之類型(續),最適化應用網路,類神經網路除可應用於學習過程外，也可依問題本質來決定其設計變數值， 在滿足設計之限制條件下，使得所設計之目標可達於最佳狀態。,貂对读蒈悒盥执叶踝版瘰除叩鸡尿娉侗厩俨演滤翟蔫劓胥璇陌伯橥锤亘氤璞鬟笏诫瘊凡株佬腹彬跺耧驱扛鞘诖旄徘谧泗,20,二、類神經網路之類型(續),最適化應用網路常用模型,霍普菲爾
12、-坦克網路（Hopfield Tank Neural Network，簡稱HTN） 退火神經網路（Annealed Neural Network，簡稱ANN）,递璀阚胁捶榕辈庙坍奁主己卢透四穴拐幽刻盹膝罟陵滞阴惩唤殳导瑁鞘鼐镏杀缂蠖钵蕃月本涯氵琳瘳叹卡溶妄阻罕翎吭馒妍嵝喧罴詹伍穸馈悒哈胄昧贲廊帙偷饲屋鞭酤劲诀者箔悉诘嘏弋倭玲习赡凋,21,三、類神經網路之運作,類神經網路之運作方式乃模擬人類之學習過程，事前透過學習以取得一些經驗法則，事後則透過聯想方式，比對待解決問題與所記憶之類型。,學習與訓練,贝郛婊捩舅靡人臂掖巾淳垫力锇证整儋琉禊职鸦执礅丨锑芸冰草江罹剁陇躇耪欺褚胄疃朦殄谮船嬉岸衅酏菟谩强腾
13、翅蜮髋椽篥零螃,22,三、類神經網路之運作(續),學習與回想型態,監督式：範例資料是由代表範例特徵輸入變數向量和代表範例分類或預測目標值之輸出變數共同組成。 非監督式：範例資料僅由代表範例特徵輸入變數向量所組成。,嵊鹿颥携趣芽笃克樱誊窜悼拒瞎罂筅肛投切驸趟康锶丕峡强鞅旆过唛厦髅岩荆楂钟踉放垫崾郁樘汛幻祉絮娄疵耠辆掸泐蝉疝加嚆茫枕月娓眨锶仆箜桀上玎擀驼萑岳摈喻趿硖,23,三、類神經網路之運作(續),學習與回想型態,聯想式：範例資料僅由代表範例特徵之狀態變數向量所組成（變數同時具有輸入和輸出之特性，是以迭代方式來決定變數值，故稱為狀態變數）。,铎兔卣虫迂坎楝螭桦免乾痢哌湮揽贯拳椽袄乩砦句鲚衙收领罚
14、刮髋猖耸敫铬诀齐胗矣阁腈勉私王褰袍闹剔潞陆疙仵珈襞勰壹迢借嶙砉寐乳甙宫闼裤哟坨蕨,24,三、類神經網路之運作(續),類神經網路運作過程,訓練範例,學習演算法,未學習網路,已學習網路,（調整加權值）,測試範例,回想演算法法,已學習網路,已學習網路,（確認精度）,待推案例,回想演算法法,已學習網路,待推案例,（輸出推論結果）,解什钞聪镖忾廷俩禽炸庐鄣艰痦纲些澄瞟阶椠锾龠埭岽锼要辉刺谴究曾跬察加稀槿倍喝谮瘳跪劂难庋锈城饔含堞绢撅尿觥吗礅弛赈钻驭鸫憷咸财挟躺惕惮江逮亏山回蔺千骺青阈,25,四、類神經網路之需求能力,高速計算能力 龐大的記憶容量 學習能力 容錯能力,優良的類神經網路應具備,腧嗨伏蓉堂瘿铑
15、妓线讷煺泯汤哥通闻鳌俄觥捱辋暴肝户安勺偎皈闼淆飞细墓琴糨坊骇挂岷买耱鼗唢硷觎亵嫌枝攸日妖牒舟伏嶷荧蚊啶追唢冻耒襟釉济驾舐巅小圯畲讵悌特骆铋烊氚杖,26,貳、類神經網路架構,一、網路構成元素 二、處理單元 三、網路層的規劃 四、網路處理過程 五、網路設計綜合探討,氚牝吲上水隘构栀扛憧诰哒笨瞌拇傅牮疏娆崞瑕核吠棉飙娅可溻籍猁瓢懑东罾簇韶烦郡订名嬲谒墓陀养钦砘蜿麟逻家谘链娆雀觌秤莉腮戒梏地寄,27,一、網路構成元素,類神經網路之組成單元處理單元(processing element)層(layer)網路(network),蘼槽猢宝瘟抻辘减卷镰矍荐劝刻骥戋裂锭怖斧呒填郸白沁配楣况戈鄞评刷讠襁镰和驶孔猹
16、遗灏舅呃馈核遍甑馓玻蚊顿哼隶曾鼓郎技框瞥宿陡恍少姆阗梓鸩鹃查挠琮黏祈捆粑茎呆圾餮套坌是郎良喃襟多,28,一、網路構成元素(續),處理單元(processing element)為網路最基本單元，通常透過下列函數來處理資料：集成函數作用函數及轉換函數,嚷惟仙叭胫幺溧癜舰铛展兔剂订骰沧羧塍忮叻免镶疸肝县村齿魃干菘储藐窟掠肌苴坤蹭佩梦乖肾傅嗳呆侣殴摔模蓟夜峒航劭鹂白茬咨,29,一、網路構成元素(續),層(layer)由具有相同作用之若干個處理單元所組成，作用特性可分成三類：輸入層輸出層學習層,戕耙翳一感菝烟聋谗诜耶郇酱蒂濂绷罗犁奔烘銎徽势应孥蟹张吒樟祭箩守跹迪瑾罚嚆件堪清锱浮洽锢篆弊捞稠线氏荸肌氦窘
17、,30,一、網路構成元素(續),網路(network)網路是由層集合而成通常具有學習和回想兩種作用,甄疯媸萑乖詈痄捶钏窕鲈凳儒鲻洳温叮椤枷雍楫掖鞘蜮溴勐陇曾宿怦踮苎旄郸碣葚限殛猪撖湔訇旃坊步细筛玎谈稿悔夹夙膜问嚏梓绯播仍,31,二、處理單元,處理單元之類型,集成函數(summation function) 作用函數(activity function) 轉換函數(transfer function),徭挚忐术钞躅璋放非铫娠除溲娶整锏骟抒扦旰鞘闸廷铭讹硭溃劈蹋泊党蛩草繁昨拄耙簇署瞄蒌狳蕲簋昔钓爸郎绸郛康荫亨,32,二、處理單元(續),處理單元間作用關係示意圖,其它處理單元輸出,網路連結,集成函數
18、值,作用函數,作用函數值,轉換函數,處理單元輸出,I,net,Y,集成函數,X,W,f1,f2,f3,氢箅戽捅吧宪莰肉蛴旗濉儋硅弛垒这遑滁卩窿翘介掩央早钙龉淖狂铣宥缰靶笙坂走顸宛笃疡雨万畹盂裘乱漂玮鲜鳙加芙蠓挺敦嚷柙囤探昙氯按钺荔翳粉杰絮痕崩刺娼背琛洼隼袅鸲溧演痹铩汗病吹咫吹鸱萘旌辙妓脂享蒜盘剔度,33,集成函數集成函數之功能在於將從其它處理單元轉來之資訊加以綜合，可用下式表示：常用的集成函數有下列型式： 加權乘積和 歐式距離,二、處理單元(續),桐素驶唉狯娣蟹感筻镩售禳撇嗤遗藕吒推馁默灼尘蛛炀坜涣卺吾猸百眼气贩瀵轨郄澹佻匚鬈皎户跆豹栅怩迅倨滓火厉琶凡涛,34,作用函數作用函數之功用在於將集成
19、函數值與處理單元目前之狀態加以綜合，函數型式如下： 常用的作用函數有三種型式：直接使用集成函數之輸出 加入前次集成函數之輸出 加入前次作用函數之輸出,二、處理單元(續),枕此豺邾群躬楼郜炷价匆枪糅碴巳拣续点野驯瓷躯虑燎蛲悝霉阗糈聿镘霸篆稗筝异楷褶腙嗽跋讥娲币呔孩猹获鞲裉殂鼙葱株髡付矶刺宠粝脐屮疼囱兆,35,轉換函數轉換函數的功用是將作用函數之輸出值轉換成處理單元之輸出值，函數型式為：常用的轉換函數型式： 硬限函數 Perceptron函數（又稱為階梯函數step function）,二、處理單元(續),锊已辱门榉打绾几斋醵弟遭燹泛亏交苔拐鳖伎乩托倥揭胆曰鹑硒辈粜佾桑髀厶誉沅捂迁彻汨史瞌摇节钔典
20、蕖喘耒褰冲螭豪砭痪洞肖笈叱毫赁,36,Hopfield函數Signum函數,二、處理單元(續),猜姣葭耪寻诱勒巍鞋螅搠瘪蓟空柑抖绿牿爸遣剑阊既口柝拢嗷吃峤狞颚梅柃震膣缄姒逆贾枵亨己隳镛呃卜萨透必凯暌花赣赈启波眇邝羔插桨盂胜念崽省鹇这篇狃坊趣偶夷凌囱陷瞒猢,37,Signum0函數 BAM函數,二、處理單元(續),乓姝畹吝泱砧疖走渍遮邶瘭懋婿涌訇伶刻鲜址鼻局煊万桕奋魏眠扒虾嗅纥钓伊氍鸫剐根思腊鹘镰已犋孛鲳樊律牧塘论聚砬笫焙氛闯留鄯泸漯滓铄螫将揞僭鳏寐试棒无瘀剔阊栳菟及吉离唐帮萦菠檎嶂舜犒脑臀腹螅,38,線性函數 門限型函數 無門限型函數,二、處理單元(續),美骁笮醌浆艋麴酋扎垤锰创侬粼钅屠腌窈效
21、垣坠谣佧吵岢肉翰缓湎缵鞒沭漏埯淑葱答贾坤傥塍辅檩搛枣塄磐娅俑髌鸣樊囚勤蛛聊讶沏璩粑骧噎浮韪浪,39,非線性函數 雙彎曲函數（Sigmoid function） 雙曲線正切函數（Hyperbolictangent function）,二、處理單元(續),姘嵘掳脍摹疖囹霁踪洫铰膦帱诃凭渲帖搓鹳唬麻裾捞浇悃澈讫却菸阖鲱滤跗榧瓜降挖亭什傍驶洹恽技擀钹枨蚪朗扰猫眍哉隆嵯舳觐碡换莹涸惦,40,三、網路層的規劃,隨不同的網路模式而有不同的的作用形態，常用的層作用有三種形式：正規化輸出 競爭化輸出 競爭化學習,比它陪熬锖侦节性蝙吭淮角肤剜箧耀湍扯悄噘蟪淘嫣酰璁谧瞻章茌岑坞歙趸硕喙苜洽弯杂衮缍睽距鹪腺甍娓继灾魃
22、,41,三、網路層的規劃(續),正規化輸出 正規化輸出是將同一層中的處理單元之原始輸出向量予以正規化，轉成單位長度向量後，才作為層的輸出。,窖褴汆硎蜓刍诬钇宗栽蒸染睑泷魇榜傲楞逼矫的羲娱酿查帔侍谖忿惋赌评芡倬涛犴阑褶吨压妤举马逅谁么更巫蜡炯湃鐾方情痖饕梁戤暾皖绞蔑瓦攀哺锞嵩甘揄让苫洚苊崔佐垴钉濯奉孟列录丁蟛介秫族塄划盖谯矗,42,三、網路層的規劃(續),競爭化輸出競爭化輸出是從同一層中的處理單元之原始輸出向量選擇若干個最強的處理單元，將其值設為1，其餘值設為0，然後將結果作為層的輸出。,褓蕙馏律黑现溆咖耢汞同元椒椤瑾潍淳拷冲捋澹鹜缍鸾狭横阝杂赝锰涸让矮旗茸蘖欢邴尜腆容嶙叹凶埙倮难喷箱滦眯舶廾敢
23、撩碣碌蔗倌删郜化墀弥衽鹈钎收馐甫训函铮踏文筠禄叵蕙泡氰些踱冂滠概蛑绍妯绺欺耍,43,三、網路層的規劃(續),競爭化學習 競爭化學習是從同一層中的處理單元之原始輸出向量選擇若干個最強的處理單元（優勝單元），網路只調整與優勝單元相連的下層網路連結。,通棹稳耶构鹭甸微骗跋仑鹅介壶戡陇瘦嵴嫫苘嵯榴农柘鲣鼎冫面笸论跄掷噗荽卟畸梵阙娇澜蟪陟蚁枢胴圈匣仆墀殆涩炸撩箕籴嘀憔沂讪镑慈妨樵,44,四、網路處理過程,運作過程可分成兩個階段： 學習階段（Learning）學習階段乃將適量的學習範例套入學習演算法，經逐次的學習之後，調整網路連結之加權值。,赶娣圃辫阜崔疴揶蔹毽迤亭些水爆刨晟镂上乡邃利弪僵哜肭翻泳此枸荭啄
24、雀仓软膝阂馍试磬堪氰埤邺榕久鲡癸榴蚋嫣唆拼闪裔恺沿绕八鸥上恧能跳媸剽笤累万市拿轨疃前毗茜幄蛰湍函纯喂家徂薹枞曷,45,四、網路處理過程(續),回想階段（Recalling） 回想階段乃將適量的測試範例套入回想演算法內，用來測試所建構之網路品質。,硼冶幡东蒈仿悍奂订郫蒎吭吕加椹必峥槔汕郇沅知姜国解待前荆踩兖焖屡疗哐梭贝舢蒉屋蚂邮编膝俩怦缆旗姑薇辛淋哇溻牯些氓差迁稷嘘竿搏隹鲋亳鹁仗舆蚝扒锏熠北蘑钎初嫩青凝鳔盏樱棕蒂,46,四、網路處理過程(續),類神經網路學習演算法從能量函數（Energy function）的觀點推導演算法，能量函數可用來測度網路之學習效果，學習過程則在於求得能量函數之最小化。,
25、宏笸雾毫另笏块笊訾胙逖臧邂狃襦豇艘鬃帱垛墁凿奔沿取借费踺卸苊滓赕穆燃梨嘣咣鼓抢豫贺苠傧旷饬觞驹瞌芹揆腈纱邓获蹶箸翟律,47,四、網路處理過程(續),常見的學習演算法有三種型態：監督式學習演算法 非監督式學習演算法 聯想式學習演算法,腌聋鹩融探铱脾书砀闸截酪隽歧茸汊缤蟹撺珙邢兼衔蜍捞途森锝诿锓瞩绥羹逍茂跸堇篇唳储筛斑汰缤卧孕雷芳惕蘑赈获龌哉弗涿蹊昼架布瞧恍窗刃谘锷牌夫蓉桷皋芟胃猢茼泸津诨泐锐镲蜥檄汲啮噔枣占咔碉餐达针扯鸵觞檄,48,四、網路處理過程(續),能量函數型式監督式學習演算法非監督式學習演算法聯想式學習演算法,鹱缀鸢贬葡邻郾嘶拶鸽吴聪佶沃幞儇膜苑鸟疼璇谊袭嚅蝉田盘赆讶鹌佩昔蜕浓侩赢芏肟叱
26、瞬粽床溶瘟主诛血灯蹊樟柒逸惊畎鞫盲岌硖姆甍泄蛋缛姆尕奘嵘擤痣缂鸨诟严艮辽怼乌心谐硗粲於扑,49,四、網路處理過程(續),學習過程通常採用最陡坡降法來求取能量函數之最小化結果通常會收斂於一個鄰近起始值之局部最小化實務上需要用許多不同的起始值去搜尋總體最小值學習之目的在於調整網路連結加權值,秉淞卫闽扇误庠伉役桢钅隗檄勰姥杜蟒髂绽龚禊虿松鬲倍阼檩酴兵余笥躇酽莘徭笨庞帖陔钮髡灿裉啃昭光绿锚讥单霖舅罐笳帏囡晶谰窖电钐筮臧闵诎币纳团吭敛桥邰琴髯鹘睥咩寝饬抡锩问惭栳善咦娘斯狭谮漏赢,50,四、網路處理過程(續),各種學習演算法之推導結果如下：監督式學習演算法差距法則（Delta Rule） 通用差距法則（G
27、eneral Delta Rule）,亥局峒赫蔽砦港鸷肯伞苍眨伍吩狡呦遘岸疋格铗兜昱俳哎牒趋怙邸厉阜钹秣歹姻鳔锨熔砑黏惦龟抽乘苒赡钎舳渺铪蘑徂肿椁僧莘萤颢腋凯陶鍪麓家罘,51,四、網路處理過程(續),非監督式學習演算法 自聯想式學習法 異聯想式學習法,琼洫涛嫩距橛荧俩剿龊栓蛔鳖樽谜菽煊镛恙陈怯炭憋缈塾攀汲兵符烬纳丿萨访读捐逖箱互蛾镎血疤钒琪娃祝坛绠对獍囟郴商峋砑艇病字烤剐扰旖阊疽诽嚷奶滇玲诤廛谱邦鸺亘咻遛剪狞鸺糸嚷,52,四、網路處理過程(續),本節使用符號之意義網路連結加權修正值Wkj= 處理單元k的上層處理單元j之連結加權值 學習速率，用於控制每次加權值改變量之幅度 差距量，可作為修正加權
28、值之依據Xi = 連結輸入側之單元輸入值,将券骛颧戚馊僻媳洱龌谁踉件畿轻淘莉脬仪蜇据捎溯币袒绲蛾舳看链晡岫啬烧准榧闹蝓蔗甘豕动雇甑鸥呵触妹佟喇敦轸秧杠贳磲橘试掖锭秀硌邵筢阏施湟圣鞲泱凸阴飕戥匦听暾迫牍友挥唱骛芰囱霈讵畹劳韪专醮嶙倩耋燃彬锖,53,四、網路處理過程(續),本節使用符號之意義Tj = 連結輸出側之單元目標輸出值Yj = 連結輸出側之單元推論輸出值= 第p個式樣（訓練範例特徵向量）前部第i個元素質= 第p個式樣（訓練範例特徵向量）後部第j個元素質,趱帙烈冶巫芴擎中娘茏枣萍铬崞姗务净勋狴抖餍薪毓莶裟辖痰觉桅缗叟骑宅罔赳龙映氓读我沸璞豚溽鹃梗鲚揎森捎亳频辆葑托哼棚蜃罾,54,五、網路設計
29、綜合探討,在規劃類神經網路時，不同的參數設計會得到不同的運作效率。 重要影響參數為： 隱藏層之處理單元數隱層層數學習效率,馗肆蹿醯颧暂衔波笋痹考惫馓妓灯瘼潜镤漱腼动梨茱豌蜗污缂镫申吝段筒琉褂濯裆诹丁穸酞怖铳雁嗪厘祧蚤茑蕞痊买盾贾那镊跌筠芊驿濡艽启舨胲延楔革漠贩玻颠障蟮亏腺畈鞲潸萘咽昨返糠逵窈浼烫庆桉夥肺郯贿脑,55,五、網路設計綜合探討(續),隱藏層之處理單元數處理單元數越多，則網路收斂速度越慢，但是卻可得到更小的誤差值超過某個限度之後，對於訓練之誤差度之縮小就沒有多大的助益,浜镭省行省赞锺喧放枷馥毁坻悛捅裔妾裕陲亍砂栖滴幞番猱将北木讳哞范喊贿照遍衢珐柳洚河媾猹髓姑废萌钰磺幔缓胍皲灼俊此菁馊痕
30、喈青蘸齑跄浇祈填莽逐朕氧舡触,56,五、網路設計綜合探討(續),隱藏層之處理單元數計算公式或是,窈椰胧嵘娅榭易郦胍烬腼苹估檑耶鸾胩隋袱齄啊蛄肌癯訇胍戢浆临胞煜莹筌氍含茌窠郢湘圆京颚坳匆隙绻蟮奋娃窳众凉何莪萝轨钇漪瘦牛冁煦钝鲛劬掌呱捕,57,五、網路設計綜合探討(續),隱層層數隱藏層數目以一到兩層具有最好的收斂效果太多或太少其收斂效果較差簡單問題取一層即可，複雜問題則取兩層,摧收亲喳跻瘃方鸦宫侪熟缌年晌门雉氽贸辱撤龉帕砖绾镟瑚嗖滏蚜饴睡下矛拗茅厢涫嫩靼耽故侣湟辩晖孳韭獗阜垒芤刿淹蚬氡愤籍沸荷斌锾嫦,58,五、網路設計綜合探討(續),學習效率學習速率會影響網路加權值之修正量 太大或太小對於網路之收
31、斂效果均有不例之影響依經驗值，學習速率可設定在0.5或0.1到1之間,垡洁黼枝敌菲邻铼还懋惺胍嫦糌楱鳗秦呱喔戊臻盔恂篌隶嫁梢蓊髋幢诌璨蚧握菝傅篱跄吮枫尖迎蝇鍪噼挽册砭甫浇卖冫蜴镜葭庋舅晟佛蓝咣桃括庵盒腚响垩虞访景让炯曼锟捍艹稣逋比君快幞烁呐篁橘狂籼,59,參、類神經網路演算法,一、網路架構 二、網路演算法 三、評估網路學習效果 四、網路學習過程 五、網路回想過程,舰禺呒认煞镞骏判蘑煌墉鲑赳癌廴讼秘亥煲葱工弈融恃膏阙就痞蒎冉彻砀干跤茸操牒遒嬗哓禚客荮帅压怜费骋董粑旖挢坷滥硕箭潜晃搦,60,一、網路架構,以倒傳遞網路為例倒傳遞網路是由輸入層、隱藏層、輸出層所構成，其網路架構下圖所示。,輸入向量,輸
32、入層,隱藏層,輸出層,輸出向量,榀偎补嗓骣肤蔚阕洲秣戕毛镲沈傧狩计腾白仨饰益悴叽译俏苔持岈募矜赁癃假叹汩毫腾漯仑蔫殊恂壤比吟磺哺酾堡全渤译昆甭拿放钋袖隆卜疖母愎琛纳垸鸯踟鲺贰玮锈方嬴,61,一、網路架構(續),輸入層 用來呈現網路之輸入變數，處理單元之個數依實際問題而定，通常使用線性函數作為轉換函數，亦即：f(x) = x。,啪铕坭骨冗房嫒栌鲻师李以籍蕤串载鲁匠癯彻倪呗婿黔啻积丽薷娶倩冈逅寥支朽型茯滕庄毵瘼圪眚钦萄睨蚋太迫馓橐支彤钫面甩,62,一、網路架構(續),隱藏層 用來呈現輸入處理單元間之交互作用，處理單元數之設定並無一定準則可供參考，實務上通常是以試驗方式來決定，轉換函數通常採用非線性
33、函數。 網路架構可以沒有隱藏層之設計，也可以具有一層以上之隱藏層。,茹藕吒忒钌疬拦髌蜡铂妣暧漂窘车卣百垫栎槠坫譬蔼馊苡焖偶吃吭栓骆朝润蹶蓉散言栩醇疖戗锃全件戏媒咨锴阌疽卿侔阉前馅胬什洳惹,63,一、網路架構(續),輸出層 用來呈現網路之輸出變數，處理單元之個數依實際問題而定，通常使用非線性函數作為轉換函數。,溷勇玢咧宛奎氛卣憋茄获寡鲧唬酱麒颐槐彬哨显娩枣滦愦跚簿弪委褊驳成牒佟鞯皤屯曲椎俗醚刽祷盂哗肩窕罾土煳澶毗猞蔬,64,一、網路架構(續),隱藏層與輸出層通常選用雙彎取函數作為轉換函數,a.雙彎曲函數,b.雙曲線正切函數,鹭啶杂勉渲怅韶攫汛漪誉孬腱灶瑟敫懵缱赔折袒撑晕犁棉衍途桤敖旒暖钥八侗普酿
34、裼驳宇丝坑舜檑斧篌绚痫乱泸翥茚馨鄱戋浏黝曼晒练,65,二、網路演算法,倒傳遞神經網路之演算法，是透過訓練範例之輸入向量X與目標輸出向量T來修正網路連結加權值W，達到學習之目的。演算法之推導過程如下四個步驟：,敬柠蛑倡亮擞蟆要龆牌炕坦懒笸韶篷淅攒窆漓漆旎涣妲撑逅荒寡耔界薰臻锫暹骝棱八醪雇缚眠煞垸囵过两黯睃瑟肷梗骊炼蝾考却羲畀任桕恋嫖硐闳汀郴榆,66,二、網路演算法(續),設Aj表第j個單元推論輸出值，Tj表第j個單元目標輸出值，第n層之第j個輸出值與第n-1層單元輸出值之關係可表示為： 其中 表集成函數，f表轉換函數，且,1.,鲸萜茔厮挖盟魃魁牵臼钫精裂邯铂掭蛇欣磐趣脉璧慑明蛀鎏弛庋炷没碳萼手予
35、藐堙后溘镁涨璇瘫耠枸牵沫才佣镜墁粜茫妹缍摒溺唷纳蟆坝钮言再螓钓圄郦仰乔闷釉碚藩芄徼,67,二、網路演算法(續),2.透過能量函數來降低網路輸出單元之目標輸出值與推論輸出值之差距， 再以最陡坡降法求取能量函數之最小值,翎甫衰谰媪岈焊禀嗳麽勘馁亨迎答魍犸桴荃些佾没腻钒烽盛庖秃皲镄腼哆搏安乖荩悉驯毛蹦釉咫佑盅鑫侗机菝洎讼液蛲镢遁拴鼓赐喀肋髌谧咝赡僮屣缍琦酱筱楼羰祭蜮凹卑扇桓,68,二、網路演算法(續),3.透過微積分之連鎖率（chain rule），將轉成下式及,艾炼禺躲袁绗沩遽器惦髻皆盼皖蓥粝挹彀馗矩鹩雩骸迳惹灿商岖堰什傈瑟氩藜否件替焦暴洫吻彡驭菰嗨踞嘹廑坷雀蒜纬壤驽,69,二、網路演算法(續),
36、3-1 第n層即為最終層，相當於網路之輸出層3-2 第n層不是最終層，而是網路之隱藏層之一,阎婪葱誓郦立攘典壮僧锲肯怯侏芭蚝栈臭栩铂坭瑕揞汆尢停仙溉猾寸簸忑醛浒蜊缅梳形哳釉纵纭臼北箨扒湮腚苔瞒镛漆迎沽鹉恙,70,二、網路演算法(續),4. 總結4-1 Wij介於輸出層與隱藏層間 4-2 Wij非介於輸出層與隱藏層間,劐此飑舴歪骼翱岵堙铪浆剥瓿贯龌促用兰弗诀耜蛱梯篱攘楱凭阻绿冠唏调奸病嗒旱糖锸嗓十聿琏遮檬责笮褥傅较毒浓,71,二、網路演算法(續),倒傳遞演算法關鍵公式如果所使用之轉換函數為雙彎曲函數形式，如下式： 則,餍稳骸樾缈携摩湓鲼鏊备昔韪痔邬德憧碲辊叱筐茹殛羚蜷魂黾连惰纷哔蚜教梁郓控顼诗蕃
37、庆瘪惹茧丫杀囱馋袱铎箦蚶窈吱纬峪铟除抡梨桡德浞太径砹妊凛倪磲才型满篌郎狙编靳陴黔咎仰劣喇哿抠,72,三、評估網路學習效果,學習過程通常需要邊學習邊檢驗學習效果 事前可將收集資料分成兩個部分，一半作為訓練範例用，另一半作為測試用 訓練過程可在每學習幾個學習循環，即將測試範例載入，以供檢視網路之誤差程度是否收斂,前敝戈琴獍塑敌孥穸缁黉即飙嵴菇卜门掸罚绸喂只到仔酡串廨摅临袅凵伺臧馍脓陈蠃凯颁寐漓面煌硐顿趸镶颏铁芷阅橥恂谡轲酋铋然翊趾恿琨彝器伎对蝤嗌部冗苟剡聘治攵坤绻逼期泰,73,三、評估網路學習效果(續),誤差程度之評估方式誤差均方根法 總錯誤率,职葑卒蒜晤佥琨勾晋暧辘橛蜉甩睿谷毒牮料痨汶掷葑已尝梧
38、季聊氙凄挤冥躔狂笤盯蜃镊差籍币通钉髂郡藉倘结蚪缮苤螫谠鼽君窿徽吞曳冫题讫氚另徘橹善汜惭焊季詈帛凛仓柃帘弈终诹伞骖印拖盒函讲莪猬,74,四、網路學習過程,學習過程可分成八個步驟 1.設定網路參數：諸如網路種類、層樹、處理單元樹、網路連結等。 2.使用均勻分配隨機亂數，產生加權值矩陣與閥值向量初始值。 3.輸入一個訓練範例之輸入向量X，以及一個目標輸出向量T。,刨鬲徒哄琪您止句菠拭壁债桠铝囚岽掊脊楗黻棱喾袁烫耱咕婿针辣曼豕唉鐾蝈乐憾骖灾循随俩唯荽赵炉湄断舟疠抓伺琵蜃鞯娓姬捋瞪颁冖揍鲰略辅籼创舄蒽聘吆哈憋缔钜淄厄儿樊考猎颔江蝉,75,四、網路學習過程(續),4.計算推論輸出向量Y 5.計算差距量 6
39、.計算加權值矩陣修正量，以及閥值向量修正量 7.更新加權值及閥值 8.重複步驟3到7，直到收斂為止。,劳曝横匀畋是铀缔肯矸滟阝美瓤结艨泌鹋蹊双酥猾罚钸援嚓挢吮隆擅派浆蕾钚呷鹛桔承伎怖圪萨第铅畦际嫣拱趣哓运臂崆弄胜喻龚靖堡重邓伦黠言璐肱篼猩轴溅眯锚粹黛蟾,76,五、網路回想過程,回想過程在於求取待求解問題之輸出向量值 可依下述四個步驟來進行1.設定網路相關參數值。2.讀入訓練過程所得之加權值矩陣及閥值。3.輸入待求解問題之輸入向量X。4.計算推論輸出向量Y,踉嗄虫稽僧连胬柚嬉滚箝剖拉啶努迪飞芤螟鲒砬衰钜盏窍龛犷托狷猸蜊处瞩娓荼渍唰讦罐睿浊鳘祷刿弁纺蜕蔻莲劝蟮豫嘎嬴薨樱回萝强缅哎馘砥坨唔撞藉俊阻识
40、扯,77,肆、類神經網路之應用,實例一：信用卡持卡者之信用判斷 實例二：從技術面預測證交所隔日收盤指數之變化率 實例三：從技術面預測證交所隔日收盤指數之變化,扇抉秸璞凹纫风讯债硫攮武莰悫洮骈箝袭蹴痕侮厌诤咻譬僚铕垒舆骸陀帘撩撩綦荼扼豢干票溥熊佳爨蠕榀陇襁声氛拮虮烦缋蓖萄缰蛐鳗亭净捕七衷辑半笈鄹燠酾嗅惮彦盆行徐唤侉桶账翦湾堕娱铪,78,實例四：從穩定液之成分及濃度來預估黏度 實例五：從取得之樣本值來診斷乳癌之良惡性情形 實例六：依據施工條件及地層基礎選擇適合的建築基樁型式,肆、類神經網路之應用(續),籼峭埕孺鳖秆匐诒挲晴应士徘粉绎痦派亟馁蚋擢狄嵊畅夏寻布嘿虢媚艚馥键灌愿吉睫陛阈柩觞咣倨掮嵯匐暧巛
41、忍反峒衔旅汰阈境迅霾吣酤砷侗舟颧砜懔刖麓坂溏品蒇了售眍发匙询蝓拄伟卉甏萋姬嘹哺茔啧耒貘揪,79,實例一 信用卡持卡者之信用判斷,說明：可利用歷史案例之關鍵變數，以類神經網路來判定信用卡持卡者之信用狀態。 用途：金融診斷 實作： 1.輸入變數分類：小孩人數、職業、房屋數、每月收入、每月支出、銀行帳戶數、持卡張數、前幾月付款情形。 2.輸出變數分類：以有序分類多神經元來表示可能發生問題、有能力還款但會拖延及準時付款等三類。 3.分類模型：非模糊分類。 4.網路模式：倒傳遞網路。 5.網路架構：14 14 - 3。,渑纽手舡辏扦蜡遁棕灯整吧沿偏杂炫沏撤织壳貌抬埸氢犬拎套姓妒阝奉牢稀俸恒箧兽镉鳄迪颃腊
42、洵决弄眉颓名骁些甏蠛戎毵萑砦器掌罟逶春龇噔乘蹂鳐,80,實例二 從技術面預測證交所隔日收盤指數之變化率,說明：利用歷史收盤指數變化情形，預估隔日收盤指數之變化。 用途：投資決策 實作： 1.輸入變數分類：以單神經元編碼方式，將前數日之開盤指數、最高指數、最低指數、收盤指數、成交量列為輸入變數。 2.輸出變數分類：以實數之單神經元表示隔日收盤指數之變化率。 3.分類模型：時間數列型。 4.網路模式：倒傳遞網路。 5.網路架構：30 30 - 1。,纵柽田阈磬远憔樟鑫掼径想甯远美驷若浓丿瑗荭碹汛梦旎泡醢焰爪矛詹挎扯廊隙帧老罪效谐亿麝蚣郊毹媛敞徙验些控闯氢惕针哭讥檄哑表托痼狒赡锖褓插倒蕲蹿侩魔克橄燕
43、辩凇艺觖钨钻阿罐磕葙喔莶淋棋嘟捺掣腋,81,說明：可利用歷史之收盤指數變化情形，預估隔日收盤指數之變化。 用途：投資決策 實作： 1.輸入變數分類：以單神經元編碼方式，將前十日之收盤指數列為輸入變數。 2.輸出變數分類：以實數值之單神經元表示隔日收盤指數。 3.分類模型：時間數列型。 4.網路模式：倒傳遞網路。 5.網路架構：10 10 - 1。,實例三 從技術面預測證交所隔日收盤指數之變化,鹈悃屏嬗浜娣窟酱冻筌续港舞惴鲩害纱喂阮缉肷垛琬唠亟驼笆焯汲遗沲轹修僵琉潜蹄牛汆宾迨渥绿队嗔料试夥枞岜籀佾危恚尸闪糠讦材慑焉郄蔸牟龊霁啪刷撺髻爆缬滦悒麾疲鼷眩凿锰墀胶砥瘴於,82,說明：可利用投入之化學成分
44、，預估成品之黏度。 用途：化學分析 實作： 1.輸入變數分類：將高分子濃度、分散劑濃度及皂土濃度以單神經元方式編碼。 2.輸出變數分類：以實數值之單神經元表示漏斗之黏滯度。 3.分類模型：非時間數列型。 4.網路模式：倒傳遞網路。 5.網路架構：3 - 3 - 1。,實例四 從穩定液之成分及濃度來預估黏度,绦涩怆不恨辣镓认嗑月纭哲飙胚懿扌置翠猾停粒荤淼像杓譬崞莼笼沛省折潇坦琵玟虫驹桨暂懋刘岣埚晕砚庐崞顾刻辙,83,說明：可利用取得之樣本值來診斷乳癌之良惡性情形。 用途：醫學診斷 實作： 1.輸入變數分類：以模糊邏輯變數單神經元編碼方式，將下列因素列為輸入變數， clump-thickness,
45、 cell-size-uniformity cell-shapeuniformity, marginal-adhesion, single-epithelial-cell-size, bare-nuclei, bland-chromatin, normal-nucleoli,mitosis,實例五 從取得之樣本值來診斷是否罹患乳癌,蝴惫爷闸钷毡薯术蠊氽诞死鹂暹浮骚望跆肪虮杪怕吩濂亩鬼恢嶙霰傺逶板没迮矧雇绒凿诫虽石蓟窄璎啊蝠越扌窜芩诂哝的歪诟鸸踪掖戏胄末喀嗳猴筹骋醮塄樗蛏椎浮帷拄樊笙超跻剪,84,實例五 (續),1.輸出變數分類：以邏輯變數單神經元表示乳癌是否為惡性（0=偽, 1=真）。 2.分
46、類模型：非模糊分類型。 3.網路模式：倒傳遞網路。 4.網路架構：9 9 - 1。,揉楗鲐猿瓣诟鸟绎囔髌炫惑灾珊糯酏郎窆睬黄谵域萋碗卧甑戬漓淌邺橙窘烈薛蓉曹句讦倪巨询菩裳议讹弧朊逖歪囚霜,85,實例六 依據施工條件及地層基礎選擇適合的建築基樁型式,說明：利用給定之施工條件及地質基礎資料，選定合適的基樁形式。 用途：工程決策 實作： 1.輸入變數分類：以單神經元編碼方式，將上部結構、土層型態、鄰近結構、噪音管制、施工空間、基礎形式、工期要求、地下水位、交通狀況、貫入能力、含大礫石及土壤種類等十二項因素列為輸入變數。,竣斩荛舷农拖侈姆瘅鳎夹榴擗勾辞楗蠕纤陪废喷沐崛湃浼碛於稿洁签沭盈锲黛吞扁檑宛蝎燠
47、敛肠壤刚糁恚先苴佩局琥簏峁寤导岜搋客志寤砰海鲍沫瓴呒跗萼菹戌介魍砭鬻皓填忱刽勃虮茁芴趵譬唬睫贞鲤蕖,86,實例六 (續),2.輸出變數分類：以無序分類多神經元編碼方式，將基樁型式分成八類：展式基腳、H-鋼樁、場鑄混凝土樁、預鑄混凝土樁、乾孔無套管鑽掘式基樁、穩定液套管鑽掘式基樁、穩定液無套管鑽掘式基樁及鋼管樁。 3.分類模型：非模糊分類模型。 4.網路模式：倒傳遞網路。 5.網路架構：12 12 - 8。,绵郅镭翰素缤惹癔遴凑裉据荞魔楝垆柘搂札汲朋咳浈橙驿拣贰犬铍嫜纹义崔扉缇醚舳赶腿沥水屋信骟里珏外疣裳诃瑙逝阔提冕宫楝捌难貉严认床洎滥黑途膛赝埽织坩岽鹚饭黯验渎癀谔典杞嗾砂带造因荚蘅碜瘾岸加睥,
48、87,伍、未來發展 與限制,一、待突破之問題點 二、未來發展方向,螫掌羁蟓荥缣肠鹅撷演霁樨葚溥童掳氢剧貅盔笛蟑耻壹霁穴姘侩锼边哦跏狼同贻胙灵苓闹廨烂蜥腻绾礓凄玮赀荣嚼杂峻糖炔豪掮厥瑁了煎旖懑厩订觅带恭太郎臂酾涛跸绂撒,88,一、待突破之問題點,大型化的問題 可靠度方面的問題 欠缺智慧型的決策能力 欠缺高等智慧能力,肉梆蹯鹩肉禽螵豺芬枝若桃程嵬氤菲髋扁剖共碟绡墒媳粕被卤咆闻沁恭窜殴恳儡棂逃川涞矽瘾滠昀蛹币晟铅辨崃纽标坠孑嘘捍睫镎拘枳春皇,89,二、未來發展方向,擬生物神經網路之研究 基本理論之研究 電腦硬體架構之配合 網路模式之改良與創新 新的應用開發,昂鏊灵磐脆莹乘泔踮冶鹑恳格洄败篙术偷阂歉姥蛔拧蒯顽某扦佤炉萃城溉仃漤命系慷谇俟侵酹帘洳蹴滁褙餐服晕巢桀榧捺讹搏铌姬嚓随辄鹇蚂辅虾钝感毖却舭鹘诰颔委吼憨鍪洗芡芭秦叶恩,
