機械学習で用いられているパラメーター学習法である、最急降下法とニュートン法について整理。 基本的には、こちらの文章を参考にさせていただきました。 https://brage.bibsys.no/xmlui/bitstream/handle/11250/2433761/16128_FULLTEXT.pdf 書いていて面倒…

勾配ブースティングについて、ざくっと整理。 アルゴリズムの基本原理は、 「構築した学習器まででの予想値と実測値の残差（勾配）を次の学習器で学習する。」 目的変数が二乗誤差の場合は、 実測値と予測値の差分が、次の学習器での学習対象となります。 な…