numpyのndarrayをitertools.productに渡すのは微妙だからnumpy.nditerを使うほうがいい。それかnumpy.meshgrid。

別ディレクトリにあるモジュールではないpyファイルを読み込む方法をメモ。

非厳密直線探索の終了条件。

BFGS公式による準ニュートン（Quasi-Newton）法はいまのところ実用上最も優れているといえる最適化手法だ。超1次収束かつ各反復における計算オーダが変数の数の2乗で済むため、変数の2乗が許容される規模の問題である限り実用的にベストな解法として使われる。

ロジスティック回帰からソフトマックス関数と交差エントロピーのまでの導出を簡潔かつ分かりやすくメモ。