容錯類神經網路的適性型訓練及刪減演算法

過去十多年期間，關於類神經網路的學習理論(Learning Theory)，大部分都集中於非容錯類神經網路。對容錯類神經網路(Fault Tolerant Neural Networks FTNN)的學習理論；如FTNN的概化(Generalization)能力、FTNN的最佳結構(Optimal Structure)、適應型訓練及刪減演算法(Adaptive Training and Pruning Algorithms)等，都極為少見。Fault Tolerant Neural Networks是Neural Networks的一種推廣。FTNN是指一個利用電子零件組成的類神經網路。在傳統學習理論中，大都會假設電子零件是完美，進以利用電腦模擬(Computer Simulation)獲得最佳類神經網路來完成實現。但是，眾所周知電子零件是不可能都呈現完美的情形。因而「電子類神經網路」的Performance（效用）就難以保證。然而，「電子類神經網路」也有可能呈現得差強人意的情形。傳統學習理論中如Bayesian learning, regularization theory, AIC, MDL，都難以應用於容錯類神經網路研究。因此，這個研究的主要目的是探討有關容錯類神經網路的訓練演算法及刪減技術，以及傳統學習理論的關連。並開發一套完整的適應型訓練和刪減演算法，用以來獲得最佳容錯類神經網路(Optimal Structure FTNN)。透過提出的目標函數(Objective function)，來瞭解容錯類神經網路的概化(Generalization)能力及對其模型複雜度(Model Complexity)作探討。