ニューラルネットと遺伝子アルゴリズム Neural Net and Genetic Algorithm

ニューラルネットと遺伝子アルゴリズム　Neural Net and Genetic Algorithm

　ニューラルネットの教育は結局、最適化の問題だ。最適化を行うのに、最急降下法と遺伝子アルゴリズムがある。Neural Net Training is an optimization process after all.  To perform optimization, we can use steepest gradient method as well as genetic algorithm.

　現状のニューラルネットはほとんど、最急降下法で作られている。このため、微分で発散しがちな関数は学習に時間がかかってしまい、様々なテクニックが毎週のように発表されている。Current majority of Neural Net is built on steepest gradient method. Hence it takes time for functions with jumpy 1st order derivatives, resulting in lots of techniques developed and presented almost weekly.

　しかし、遺伝子アルゴリズムは微分を用いないため、効率的な教育が可能。現在、多くの研究が発表されており、Tensorflow等にも組み込まれる日も近いかもしれない。楽しみだ。However, since genetic algorithm does not use derivation, it provides efficient training. Currently lots of researches are done and the day may come soon when it will be part of Tensorflow functionality.  I am very much looking forward to seeing it.