誤差逆伝播学習法

2026.3.6

pirika.comで化学
>チャピエモン-3rd Pirika Origin (CPO)
> ハンセン溶解度パラメータ (HSP)
> 化学全般
> 情報化学 　>物性化学　>高分子化学　>化学工学　>その他の化学　>昔のもの
>情報化学ツール　>MAGICIAN養成講座　>STEAM
>Pirika ツール群
ブログ
業務案内
お問い合わせ

情報化学 > 情報化学ツール > 誤差逆伝播学習法

[1. 概要]

1997年ごろのニューラルネットワーク法は、誤差逆伝播法があったから流行り、誤差逆伝播法の欠点によって終焉したと山本は思っている。誤差逆伝播(EBP: Error Back Propagation)法は簡単に収束し、とても高い相関係数が得られた。しかし予測性能が低かった。最新のDeep Learning法の予測性能がどのようなレベルなのかは不勉強で知らない。当時の化学系はデータ数が少ない。教師データに実験誤差が含まれる。コンピュータは遅くメモリーやHDは小さい。EBP法の欠点を克服できなかった。

[2. ３層型ニューラルネットワーク]

図1のような3層型のニューラルネットワークがあったとする。入力層には18種類の酸化物のmol%が入力される。中間層にはn個のニューロンが配置される。中間層のニューロンjは入力層のニューロンiと結合荷重Wxijで結合する。中間層のニューロンは出力層のニューロンと結合荷重Wyjで結合する。

図１　３層型ニューラルネットワークの模式図

ニューラルネットワーク法で行いたいのは、物性値の教師データ(t)を一番よく再現できるような結合荷重行列(Wx, Wy)を見つけることだ。
物性値は次式で表す事ができる。

prop.=∑j=1nWy,jSigmoid(∑i=1mWx,ij⋅xi)prop.= \sum_{j=1}^{n} W_{y,j} \; \mathrm{Sigmoid} \left( \sum_{i=1}^{m} W_{x,ij} \cdot x_i \right)

xi​=i番目の酸化物の mol%

シグモイド関数はαの値によって図２に示す曲線になる。

図2 シグモイド関数

α>1の時には、ある閾値θで急に値が変わる関数になる。生物の刺激ー応答曲線に似ているため、ニューラルネットワーク法と呼ばれている。

非線形な解であるので収束計算が必要になる。

[3. 誤差逆伝播法のアルゴリズム]

誤差逆伝播法という学習手法は1960年代に開発された。しかし、定着せず、その後、何度も再発見され、1986年より標準的な手法として普及した。
まずある物性値(t)とその説明変数(xi)の組みがある。tの事を教師データという。

図１でj番目の中間ニューロンの出力値Ojとしたときに、Oj は yjの関数f()になる。
xiを入力層i番目の入力値とすると、yjはxiと結合荷重Wijをかけたものの総和になる。

Oj = f(yj)
yj=ΣWij＊xi

評価関数Eは、tjを教師ベクトルのj番目の要素とした時に次式になる。

E=(1/2)*Σ(Oj-tj)2

EのWijについての偏微分値∂E/∂Wijに比例した量（∂Wij)だけWijを変化させる。

∂Wij= – ε* ∂E/∂Wij

この時に、誤差が曲面上を最も急な傾斜方向へ進む。これを最急下降法(Gradient Descent Method)という。

EをWijで偏微分する。

∂E/∂Wij=(∂E/∂Oj)*(∂Oj/∂yi)* (∂yi/∂Wij)

(∂E/∂Oj) = Oj-Tj
(∂Oj/∂yi)= f’(yj)
(∂yi/∂Wij)= xi
書き直すと次式になる。
∂Wij= – ε* (Oj-Tj)*f’(yj)*xi

f’()はf()がシグモイド関数である時次式が成立する。

f’(yj)=f(yi)*[1-f(yi)]*α

最終的に∂Wijは次のようになる。

∂Wij= – ε* (Oj-Tj)* f(yi)*[1-f(yi)]*α*xi

これを全ての中間ニューロンjについて行う。
εが小さいと収束に非常に時間がかかる。
大きいと、極値を超えて飛び跳ね収束しない。

Σ(Oj-tj)2は関数の出力と教師値の誤差になる。これを偏微分係数をもとに、Wjを修正し、W ijを修正していくので誤差が図１の一番右から左の方へ（逆向きに）伝播していく。これが名称の由来になる。

[4. 誤差逆伝播法の問題点]

特に化学系の場合、実験値に誤差が含まれる事がある。それが非線形性の問題なのか、誤差のせいなのかはわからない。誤差逆伝播法は教師データが正しいという前提でその誤差を無くすように荷重行列を修正していく。中間ニューロンの数を調整すると複雑な現象にも追随できるが、実験誤差にも追随してしまう。

さらに、得られた荷重行列は一般的にはブラックボックスで情報の流れは追えない。

図３ 結合荷重から情報の流れは解析できない。



あるところで急に大きくなり、少し外れると小さくなるような急峻な山のようなデータの解析には適さない。

図4　超臨界炭酸ガスの熱伝導率。超臨界発散現象

超臨界炭酸ガスの熱伝導率は図4のように超臨界発散を起こす[*1]。
このような系をニューラルネットワーク法で学習するのは適さない。

[5. Pirika内リンク]

*1 超臨界二酸化炭素の熱伝導度の推算

単純な誤差逆伝播法はpirikaでは使っていない。pirikaでの最新のツールとの比較で計算し直すことがある。

Copyright pirika.com since 1999-
Mail: yamahiroXpirika.com (Xを@に置き換えてください)
メールの件名は[pirika]で始めてください。