A Global Optimization Method of Radial Basis Function Networks for Function Approximation

본 논문에서는 방사 기저함수 네트워크의 파라미터를 전 영역에서 최적화하는 학습 알고리즘을 제안한다. 기존의 학습 알고리즘들은 지역 최적화만을 수행하기 때문에 성능의 한계가 있고 최종 결과가 초기 네트워크 파라미터 값에 크게 의존하는 단점이 있다. 본 논문에서 제안하는 하이브리드 모의 담금질 기법은 모의 담금질 기법의 전 영역 탐색 능력과 경사 기반 학습 알고리즘의 지역 최적화 능력을 조합하여 전 파라미터 영역에서 해를 찾을 수 있도록 한다. 제안하는 기법을 함수 근사화 문제에 적용하여 기존의 학습 알고리즘에 비해 더 좋은 학습 및 일반화 성능을 보이는 네트워크 파라미터를 찾을 수 있으며, 초기 파라미터 값의 영향을 크게 줄일 수 있음을 보인다. This paper proposes a training algorithm for global optimization of the parameters of radial basis function networks. Since conventional training algorithms usually perform only local optimization, the performance of the network is limited and the final network significantly depends on the initial network parameters. The proposed hybrid simulated annealing algorithm performs global optimization of the network parameters by combining global search capability of simulated annealing and local optimization capability of gradient-based algorithms. Via experiments for function approximation problems, we demonstrate that the proposed algorithm can find networks showing better training and test performance and reduce effects of the initial network parameters on the final results.