JP7609419B2 - 演算装置、共通演算設定装置、共通演算設定方法およびプログラム - Google Patents

演算装置、共通演算設定装置、共通演算設定方法およびプログラム Download PDF

Info

Publication number
JP7609419B2
JP7609419B2 JP2021041855A JP2021041855A JP7609419B2 JP 7609419 B2 JP7609419 B2 JP 7609419B2 JP 2021041855 A JP2021041855 A JP 2021041855A JP 2021041855 A JP2021041855 A JP 2021041855A JP 7609419 B2 JP7609419 B2 JP 7609419B2
Authority
JP
Japan
Prior art keywords
function
common
parameter value
unit
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021041855A
Other languages
English (en)
Other versions
JP2022141513A (ja
Inventor
智晴 長尾
直規 葛谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokohama National University NUC
Original Assignee
Yokohama National University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokohama National University NUC filed Critical Yokohama National University NUC
Priority to JP2021041855A priority Critical patent/JP7609419B2/ja
Publication of JP2022141513A publication Critical patent/JP2022141513A/ja
Application granted granted Critical
Publication of JP7609419B2 publication Critical patent/JP7609419B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Complex Calculations (AREA)

Description

本発明は、演算装置、共通演算設定装置、共通演算設定方法およびプログラムに関する。
ニューラルネットワークのエッジにおける信号の重み付けに非線形素子を使用し、非線形素子のパラメータ値を学習対象とする技術が提案されている（非特許文献１参照）。
Xiaolei Zhang, Yan Zhao, Kai Guo, Gaoliang Li and Nianmao Deng, "An Adaptive B-Spline Neural Network and Its Application in Terminal Sliding Mode Control for a Mobile Satcom Antenna Inertially Stabilized Platform", Sensors 2017, 17, 978,２０１７年
非線形素子では、線形素子よりも自由度が高い分、パラメータの個数が多くなる。ニューラルネットワークのエッジにおける信号の重み付けに、非線形素子による非線形関数を使用する場合など、非線形関数を使用する箇所が多い場合、パラメータを記憶するための記憶容量をなるべく小さくできることが好ましい。
本発明の目的の一例は、非線形関数のパラメータなど、関数を定める値を記憶するための記憶容量を比較的小さくすることができる演算装置、共通演算設定装置、共通演算設定方法およびプログラムを提供することである。
本発明の第１の態様によれば、演算装置は、関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎に、前記関数を定める１組の値のうちの一部の値を記憶する共通関数情報記憶部と、前記関数を定める１組の値のうち前記共通関数情報記憶部が記憶する値以外の値を前記関数演算部毎に記憶する個別関数情報記憶部と、を備える。
前記関数演算部は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される前記関数を用いる演算を行い、前記共通関数情報記憶部は、前記グループ毎に、そのグループに含まれる関数演算部に共通のパラメータ値を、前記関数を定める値として記憶するようにしてもよい。
前記共通関数情報記憶部は、前記グループ毎に、前記関数を定める値である前記関数の引数値と関数値とを、前記引数値と前記関数値とが紐付けられた関数テーブルにて記憶し、前記関数演算部は、前記関数テーブルを参照して前記関数を用いた演算を行うようにしてもよい。
本発明の第２の態様によれば、共通演算設定装置は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けするグループ化部と、前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出する共通パラメータ値算出部と、パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させるパラメータ値共通モデル設定部と、を備える。
本発明の第３の態様によれば、共通演算設定装置は、パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うグループ仮設定部と、前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値の学習を前記パラメータ値共通モデル演算装置に行わせる学習制御部と、前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択するグループ分け決定部と、前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させるパラメータ値共通モデル設定部と、を備える。
本発明の第４の態様によれば、共通演算設定方法は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けすることと、前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出することと、パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させることと、を含む。
本発明の第５の態様によれば、共通演算設定方法は、パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うことと、前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値を学習によって算出することと、前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択することと、前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させることと、を含む。
本発明の第６の態様によれば、プログラムは、コンピュータに、パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けすることと、前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出することと、パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させることと、を実行させるためのプログラムである。
本発明の第７の態様によれば、プログラムは、コンピュータに、パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うことと、前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値を学習によって算出することと、前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択することと、前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させることと、を実行させるためのプログラムである。
上記した演算装置、共通演算設定装置、共通演算設定方法およびプログラムによれば、関数を定める値を記憶するための記憶容量を比較的小さくすることができる。
第１実施形態に係る情報処理システムの装置構成の例を示す図である。 第１実施形態に係るニューラルネットワークの一部の構成の例を示す図である。 第１実施形態に係るパラメータ値個別モデル演算装置の構成の例を示す図である。 第１実施形態に係るパラメータ値共通化装置の構成の例を示す図である。 第１実施形態に係るパラメータ値共通モデル演算装置の構成の例を示す図である。 第１実施形態に係るテーブル化装置の構成の例を示す図である。 第１実施形態に係る共通パラメータ値が示す関数の例を示す図である。 第１実施形態に係る共通パラメータ値が示す関数の量子化の例を示す図である。 第１実施形態に係るテーブル算出部が生成する関数テーブルの例を示す図である。 第１実施形態に係るテーブル共通モデル演算装置の構成の例を示す図である。 第１実施形態に係る情報処理システムが、パラメータ値共通モデル演算装置およびテーブル共通モデル演算装置の設定の設定を行う場合の処理の手順の例を示すフローチャートである。 第１実施形態に係るパラメータ値共通化装置がパラメータ値を共通化する処理手順の例を示すフローチャートである。 第１実施形態に係るテーブル化装置が関数を関数テーブル化する処理手順の例を示すフローチャートである。 第１実施形態に係るパラメータ値共通モデル演算装置の運用時における共通方式重み処理部の処理手順の例を示すフローチャートである。 第１実施形態に係るテーブル共通モデル演算装置の運用時における共通テーブル方式重み処理部の処理手順の例を示すフローチャートである。 第１実施形態に係るパラメータ値混合モデル演算装置の構成の例を示す図である。 第１実施形態に係るテーブル混合モデル演算装置の構成の例を示す図である。 第１実施形態に係るパラメータテーブル併用モデル演算装置の構成の例を示す図である。 第１実施形態に係るニューラルネットワークシステムの構成の例を示す図である。 第２実施形態に係る情報処理システムの装置構成の例を示す図である。 第２実施形態に係るグループ設定方式学習制御装置の構成の例を示す図である。 第２実施形態に係る情報処理システムが、パラメータ値共通モデル演算装置およびテーブル共通モデル演算装置の設定の設定を行う場合の処理の手順の例を示すフローチャートである。 第２実施形態に係るグループ設定方式学習制御装置が、パラメータ値共通モデル演算装置を制御して学習を行わせる処理手順の例を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
＜第１実施形態＞
図１は、第１実施形態に係る情報処理システムの装置構成の例を示す図である。図１に示す構成で、情報処理システム１は、パラメータ値個別モデル演算装置１１と、パラメータ値個別学習制御装置１２と、パラメータ値共通化装置１３と、パラメータ値共通モデル演算装置１４と、パラメータ値共通学習制御装置１５と、テーブル化装置１６と、テーブル共通モデル演算装置１７とを備える。
情報処理システム１は、変形可能な関数を用いて演算を行う演算装置の関数を設定するシステムである。図１の各部のうち、パラメータ値個別モデル演算装置１１と、パラメータ値共通モデル演算装置１４と、テーブル共通モデル演算装置１７とが、変形可能な関数を用いて演算を行う演算装置の例に該当する。変形可能な関数を用いて演算を行う演算装置を、単に演算装置とも称する。
以下では、情報処理システム１が扱う演算装置が、変形可能な関数を用いてエッジにおける信号の重み付けを行うニューラルネットワークが実装された装置である場合を例に説明する。ただし、情報処理システム１が扱う演算装置は、これに限定されない。
図２は、ニューラルネットワークの一部の構成の例を示す図である。図２では、階層型かつ全結合のニューラルネットワークの、２つの中間層のノードおよび、ノード間のエッジが示されている。ただし、情報処理システム１が扱う演算装置にニューラルネットワークが実装される場合、実装されるニューラルネットワークの種類は特定の種類に限定されない。
図２に示す構成で、ニューラルネットワークシステム１１０は、ノード演算部１１１と、重み処理部１１２とを備える。
ノード演算部１１１は、ニューラルネットワークのノードとして機能する。以下では、ノード演算部１１１が、ノード演算部１１１自らへの入力の合計値を活性化関数に入力し、得られる関数値を出力する場合を例に説明する。ただし、情報処理システム１が扱う演算装置にニューラルネットワークが実装される場合、実装されるニューラルネットワークのノードの種類は特定の種類に限定されない。
重み処理部１１２は、ニューラルネットワークのエッジとして機能する。以下では、重み処理部１１２が、エッジにおける信号（ノードからノードへ伝達される数値）に対する重み付けを行う場合を例に説明する。特に、重み処理部１１２が、変形可能な関数を用いて重み付けの計算を行う場合を例に説明する。ただし、情報処理システム１が扱う演算装置にニューラルネットワークが実装される場合、ノード間の信号の重み付けの方法は特定の方法に限定されない。
図３は、パラメータ値個別モデル演算装置１１の構成の例を示す図である。図３に示す構成で、パラメータ値個別モデル演算装置１１は、ノード演算部１１１と、個別方式重み処理部１２０とを備える。個別方式重み処理部１２０は、関数演算部１２１と、個別パラメータ値記憶部１２２とを備える。
パラメータ値個別モデル演算装置１１は、は、ニューラルネットワークシステム１１０の例に該当する。個別方式重み処理部１２０は、重み処理部１１２の例に該当する。
個別方式重み処理部１２０は、変形可能な関数を用いてエッジにおける信号の重み付けを行う。具体的には、関数演算部１２１が、パラメータを有する関数の演算を行う。個別パラメータ値記憶部１２２は、関数のパラメータ値を記憶する。関数演算部１２１が演算を行う関数は、個別パラメータ値記憶部１２２が記憶するパラメータ値を関数のパラメータに設定することで特定される。関数が特定されることを、関数が定まるとも称する。
関数演算部１２１は、ノード演算部１１１から出力される値を、パラメータ値によって特定された関数に入力し、算出する関数値をノード演算部１１１に出力する。関数演算部１２１が行う演算は、ニューラルネットワークのエッジにおける重み付けとして機能し、個別パラメータ値記憶部１２２が記憶するパラメータ値が、学習によって更新される。
パラメータ値個別モデル演算装置１１の関数演算部１２１は、第１演算部の例に該当する。
パラメータを有する関数を関数テンプレートとも称する。関数テンプレートのパラメータにパラメータ値を設定することで関数が定まる。個別パラメータ値記憶部１２２が記憶する関数のパラメータ値は、関数テンプレートのパラメータに設定されることで、その関数が特定されるパラメータ値であるといえる。
全ての関数演算部１２１が、同じ内容の関数テンプレートを１つずつ備えていてもよいが、関数演算部１２１によって備える関数テンプレートが異なっていてもよい。
個別方式重み処理部１２０の個別パラメータ値記憶部１２２が記憶するパラメータ値を関数テンプレートのパラメータに設定することで定まる関数を、その個別方式重み処理部１２０の関数とも称する。
関数演算部１２１が演算を行う関数は、非線形関数または区分線形関数であってもよい。例えば、関数演算部１２１が演算を行う関数は、Ｂ－スプライン関数（B-Spline Function）であってもよい。ここでいうＢ－スプライン関数は、グラフがＢ－スプライン曲線（B-Spline Curve）を示す関数である。
Ｂ－スプライン関数は区分多項式なので、ある一つのパラメータ値を更新しても関数全体の形状が変わるのではなく、一部の定義域での関数値の変更にとどまる。この点で、Ｂ－スプライン関数を学習による更新の対象とした場合に、学習が比較的速く収束することが期待される。
ただし、関数演算部１２１が演算を行う関数は、Ｂ－スプライン関数に限定されない。
パラメータ値個別モデル演算装置１１のように、非線形関数または区分線形関数など比較的複雑な関数を学習における更新対象とすることで、重み係数の乗算による重み付けの場合と比較して、１つのノードで表せる情報がより多い。この点で、比較的複雑な関数を学習における更新対象とすることで、ニューラルネットワークのノード数を比較的少なくすることができると期待される。
一方、比較的複雑な関数を学習における更新対象とする場合、関数のパラメータの個数が多くなり、パラメータ値を記憶するための記憶容量が大きくなる。装置の小型化の観点から、あるいは、比較的性能の低い実装する場合、記憶容量をなるべく小さくできることが好ましい。
そこで、情報処理システム１は、学習済みのパラメータ値個別モデル演算装置１１の関数のパラメータ値から、エッジ（図２の重み処理部１１２）のグループ毎にパラメータ値を算出し、パラメータ値共通化装置１３に設定する。
パラメータ値個別学習制御装置１２は、パラメータ値個別モデル演算装置１１に学習を行わせる。パラメータ値個別モデル演算装置１１の学習方法として、例えば誤差逆伝播法（Backpropagation）などの公知の方法を用いることができる。
パラメータ値共通化装置１３は、パラメータ値個別モデル演算装置１１の個別パラメータ値記憶部１２２が記憶するパラメータ値に基づいて個別方式重み処理部１２０をグループ分けし、グループ毎にパラメータ値を算出する。パラメータ値共通化装置１３は、算出したグループ毎のパラメータ値を、パラメータ値共通モデル演算装置１４に設定する。
パラメータ値共通化装置１３は、共通演算設定装置の例に該当する。
図４は、パラメータ値共通化装置１３の構成の例を示す図である。図４に示す構成で、パラメータ値共通化装置１３は、グループ化部３１１と、共通パラメータ値算出部３１２と、パラメータ値共通モデル設定部３１３とを備える。
グループ化部３１１は、パラメータ値個別モデル演算装置１１の個別パラメータ値記憶部１２２が記憶するパラメータ値に基づいて個別方式重み処理部１２０をグループ分けする。
個別方式重み処理部１２０の各々は、関数演算部１２１を１つ備える。したがって、個別方式重み処理部１２０のグループ分けは、個別方式重み処理部１２０の関数演算部１２１（第１演算部）のグループ分けにも該当する。
また、個別パラメータ値記憶部１２２が記憶するパラメータ値によって、１つの個別方式重み処理部１２０について１つの関数が特定される。したがって、個別方式重み処理部１２０のグループ分けは、関数のグループ分けにも該当する。
グループ分けをグループ化とも称する。
グループ化部３１１は、個別方式重み処理部１２０の関数について、関数同士の類似度の指標値を算出する。そして、グループ化部３１１は、類似度が所定の条件以上に高い個別方式重み処理部１２０が同一のグループに含まれるように、個別方式重み処理部１２０のグループを決定する。
グループ化部３１１が、関数の類似度の指標値を算出する方法は、特定の方法に限定されない。
例えば、グループ化部３１１が、複数の関数それぞれについて関数値をサンプリングし、２つの関数の関数値の差の大きさを、関数が類似するほど値が小さくなる指標値として算出するようにしてもよい。
グループ化部３１１が、関数への所定の入力値に対する関数値を算出し、算出した関数値をサンプリング値として用いるようにしてもよい。グループ化部３１１が、関数への複数の入力値のそれぞれについて、関数値をサンプリングして指標値を算出するようにしてもよい。
あるいは、パラメータ値の差が小さいほど関数が類似すると評価できる場合、グループ化部３１１が、パラメータ値の差の大きさを、関数が類似するほど値が小さくなる指標値として算出するようにしてもよい。
グループ化部３１１が、個別方式重み処理部１２０のグループ分けを行う方法は、特定の方法に限定されない。
例えば、グループ化部３１１が、同じグループに含まれる２つの個別方式重み処理部１２０の組み合わせの何れについても、関数が類似するほど値が小さくなる指標値が所定の閾値以下になるように、個別方式重み処理部１２０のグループを決定するようにしてもよい。
共通パラメータ値算出部３１２は、グループ化部３１１が設定した個別方式重み処理部１２０のグループ毎に、そのグループに含まれる個別方式重み処理部１２０に共通のパラメータ値を算出する。グループに含まれる個別方式重み処理部１２０に共通のパラメータ値を共通パラメータ値とも称する。共通パラメータ値は、個別方式重み処理部１２０の関数演算部１２１のグループに含まれる全ての関数演算部１２１における関数の代わりに用いられる１つの関数のパラメータ値であるといえる。
共通パラメータ値算出部３１２がパラメータ値を算出する方法は、特定の方法に限定されない。
共通パラメータ値算出部３１２が、１つのグループに含まれる全ての個別方式重み処理部１２０の関数を近似する関数のパラメータ値を算出するようにしてもよい。例えば、共通パラメータ値算出部３１２が、１つのグループに含まれる全ての個別方式重み処理部１２０の関数の平均的な関数のパラメータ値を算出するようにしてもよい。ここでいう個別方式重み処理部１２０の関数は、その個別方式重み処理部１２０の個別パラメータ値記憶部１２２が記憶するパラメータ値によって特定される関数である。
さらに例えば、共通パラメータ値算出部３１２が、関数への複数の入力値のそれぞれについて、１つのグループに含まれる全ての個別方式重み処理部１２０の関数のサンプリングを行って入力値毎に平均を算出するようにしてもよい。そして、共通パラメータ値算出部３１２が、入力値の個数分得られる点（座標）を近似する曲線を示す関数を、平均的な関数として算出するようにしてもよい。
パラメータ値共通モデル設定部３１３は、共通パラメータ値算出部３１２が算出する、グループ毎のパラメータ値をパラメータ値共通モデル演算装置１４に設定する。
また、パラメータ値共通モデル設定部３１３は、個別方式重み処理部１２０のグループに基づいて、パラメータ値共通モデル演算装置１４における重み処理部である共通方式重み処理部のグループを決定し、共通方式重み処理部の各々に設定する。
例えば、パラメータ値共通モデル演算装置１４が、ニューラルネットワークのノードおよびエッジがパラメータ値個別モデル演算装置１１におけるニューラルネットワークのノードおよびエッジと一対一に対応付けられるように構成されていてもよい。そして、パラメータ値共通モデル設定部３１３が、パラメータ値個別モデル演算装置１１に設定されるグループに含まれる各部と、パラメータ値共通モデル演算装置１４に設定されるグループに含まれる各部とが、ニューラルネットワークのノードおよびエッジのレベルで同じになるように、パラメータ値共通モデル演算装置１４の共通方式重み処理部のグループを決定するようにしてもよい。
図５は、パラメータ値共通モデル演算装置１４の構成の例を示す図である。図５に示す構成で、パラメータ値共通モデル演算装置１４は、ノード演算部１１１と、共通パラメータ値記憶部１３０と、共通方式重み処理部１４０とを備える。共通方式重み処理部１４０は、関数演算部１２１と、グループＩＤ記憶部１４１と、パラメータ値取得部１４２とを備える。
パラメータ値共通モデル演算装置１４は、ニューラルネットワークシステム１１０の例に該当する。共通方式重み処理部１４０は、重み処理部１１２の例に該当する。
関数演算部１２１は、パラメータ値を取得する相手以外は、パラメータ値個別モデル演算装置１１の関数演算部１２１の場合と同様である。パラメータ値共通モデル演算装置１４では、関数演算部１２１は、パラメータ値取得部１４２を介して共通パラメータ値記憶部１３０からパラメータ値を取得する。パラメータ値共通モデル演算装置１４の関数演算部１２１は第２演算部の例に該当する。
共通方式重み処理部１４０は、関数演算部１２１を１つずつ備える。したがって、共通方式重み処理部１４０のグループ分けは、共通方式重み処理部１４０の関数演算部１２１（第２演算部）のグループ分けにも該当する。
共通パラメータ値記憶部１３０は、共通パラメータ値を記憶する。すなわち、共通パラメータ値記憶部１３０は、パラメータ値共通化装置１３の共通パラメータ値算出部３１２がグループ（図５の例では、共通方式重み処理部１４０のグループ）毎に算出するパラメータ値を記憶する。
共通パラメータ値記憶部１３０が記憶するグループ毎のパラメータ値は、関数を定める値の例に該当する。共通パラメータ値記憶部１３０は、共通関数情報記憶部の例に該当する。
共通パラメータ値記憶部１３０は、共通パラメータ値をグループＩＤと紐付けて記憶する。グループＩＤは、グループを識別する識別情報である。共通パラメータ値記憶部１３０は、共通方式重み処理部１４０のグループ毎に、そのグループを示すグループＩＤと、そのグループの共通パラメータ値とを記憶する。
共通パラメータ値記憶部１３０が、共通パラメータ値をグループＩＤと紐付けて記憶する方法は、特定の方法に限定されない。例えば、共通パラメータ値記憶部１３０が、グループＩＤの欄と共通パラメータ値の欄とを含む表形式のデータを記憶するなど、グループＩＤが明示されるデータを記憶するようにしてもよい。あるいは、共通方式重み処理部１４０のグループに順番が付けられ、共通パラメータ値記憶部１３０が、グループの順番に応じた順番で共通パラメータ値を記憶するなど、グループＩＤが明示されないデータを記憶するようにしてもよい。
共通方式重み処理部１４０は、パラメータ値個別モデル演算装置１１の個別方式重み処理部１２０の場合と同様、変形可能な関数を用いてエッジにおける信号の重み付けを行う。
ただし、共通方式重み処理部１４０では、関数テンプレートのパラメータ値を読み出す対象が、個別方式重み処理部１２０の場合と異なる。上記のように、個別方式重み処理部１２０は、個別方式重み処理部１２０自らが備える個別パラメータ値記憶部１２２からパラメータ値を読み出し、関数テンプレートのパラメータに設定する。一方、共通方式重み処理部１４０は、共通パラメータ値記憶部１３０がグループ毎に記憶するパラメータ値のうち、共通方式重み処理部１４０自らが含まれるグループのパラメータ値を読み出し、関数テンプレートのパラメータに設定する。
それ以外の点では、共通方式重み処理部１４０は、個別方式重み処理部１２０と同様である。
共通方式重み処理部１４０が共通パラメータ値記憶部１３０から読み出すパラメータ値を関数テンプレートのパラメータに設定することで定まる関数を、その共通方式重み処理部１４０の関数とも称する。
グループＩＤ記憶部１４１は、グループＩＤを記憶する。図５の例では、グループＩＤ記憶部１４１は、パラメータ値共通化装置１３のパラメータ値共通モデル設定部３１３が設定する、共通方式重み処理部１４０のグループを識別するグループＩＤを記憶する。
パラメータ値取得部１４２は、グループＩＤ記憶部１４１が記憶するグループＩＤを読み出す。そして、パラメータ値取得部１４２は、共通パラメータ値記憶部１３０が記憶する共通パラメータ値のうち、グループＩＤ記憶部１４１から読み出したグループＩＤに紐付けられる共通パラメータ値を読み出す。これにより、共通方式重み処理部１４０は、共通方式重み処理部１４０自らが含まれるグループの共通パラメータ値を取得する。
関数演算部１２１は、パラメータ値取得部１４２が取得した共通パラメータ値を関数テンプレートのパラメータに設定して関数を特定する。そして、関数演算部１２１は、特定した関数に、ノード演算部１１１からの値を入力して関数値を算出する。関数演算部１２１は、算出した関数値をノード演算部１１１へ出力する。
パラメータ値共通モデル演算装置１４では、関数テンプレートのパラメータ値を共通方式重み処理部１４０のグループ毎に共有する点で、パラメータ値個別モデル演算装置１１と比較して、パラメータ値を記憶するための記憶容量が小さくて済む。
パラメータ値個別モデル演算装置１１の場合と同様、パラメータ値共通モデル演算装置１４でも、全ての関数演算部１２１が、同じ内容の関数テンプレートを１つずつ備えていてもよいが、関数演算部１２１によって備える関数テンプレートが異なっていてもよい。同じグループに含まれる関数演算部１２１の関数テンプレートのパラメータに同じパラメータ値を設定可能であればよく、パラメータ値の設定によって特定される関数が、関数演算部１２１によって異なっていてもよい。
パラメータ値共通化装置１３が、パラメータ値共通モデル演算装置１４の設定を行った後、パラメータ値共通学習制御装置１５が、パラメータ値共通モデル演算装置１４に対して、パラメータ値共通モデル演算装置１４の処理の精度を向上させるための学習を行わせるようにしてもよい。
例えば、パラメータ値共通モデル演算装置１４がクラス分類を行う場合、ここでいう処理の精度は分類精度（例えば正解率）である。ただし、パラメータ値共通モデル演算装置１４が行う処理は、特定の処理に限定されない。
パラメータ値共通モデル演算装置１４の学習方法としてパラメータ値個別モデル演算装置１１の学習と同様の学習方法を用いるようにしてもよい。そして、個別パラメータ値記憶部１２２が記憶するパラメータ値の更新に代えて、共通パラメータ値記憶部１３０が記憶するパラメータ値を更新するようにしてもよい。
パラメータ値共通モデル演算装置１４を製品に実装するなど、パラメータ値共通モデル演算装置１４を運用するようにしてもよい。あるいは、関数演算部１２１が行う関数の演算を関数テーブル化することで、関数の演算の処理負荷を軽減するようにしてもよい。ここでいう関数テーブルは、関数の引数値（関数への入力値）とその引数値の場合の関数値（関数の出力値）とが紐付けられたデータである。
図６は、テーブル化装置１６の構成の例を示す図である。図６に示す構成で、テーブル化装置１６は、テーブル算出部３２１と、テーブル共通モデル設定部３２２とを備える。
テーブル化装置１６は、パラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０が記憶する共通パラメータ値が示す関数の関数テーブルを生成する。ここでいうパラメータ値が示す関数は、関数テンプレートのパラメータにそのパラメータ値を設定して得られる関数である。そして、テーブル化装置１６は、生成した関数テーブルをテーブル共通モデル演算装置１７に設定する。
テーブル共通モデル演算装置１７は、パラメータ値共通モデル演算装置１４における、関数テンプレートのパラメータに共通パラメータ値を設定して得られる関数の演算が、関数テーブルを参照することによる関数の演算に置き換えられた装置として構成される。
テーブル算出部３２１は、パラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０が記憶する共通パラメータ値毎に、共通パラメータ値が示す関数の関数テーブルを生成する。したがって、テーブル算出部３２１は、パラメータ値共通モデル演算装置１４における共通方式重み処理部１４０のグループ毎に、重み計算のための関数を示す関数テーブルを生成する。
図７は、共通パラメータ値が示す関数の例を示す図である。図７のグラフの横軸は、引数値（関数への入力値）を示す。縦軸は、関数値（関数の出力値）を示す。引数値および関数値は、浮動小数（浮動小数点数）などの小数で表されていてもよい。
図８は、共通パラメータ値が示す関数の量子化の例を示す図である。ここでいう量子化は、アナログ値を離散的なデジタル値で近似的に表すことである。図８のグラフの横軸は、引数値を示す。縦軸は、関数値を示す。
図８の例で、関数の定義域が２Ｎ個の区間に分割されている。各区間における引数値は、（０・・・０００）２、（０・・・００１）２、（０・・・０１０）２、・・・、（１・・・１１１）２のように、Ｎビット（ｂｉｔ）のビット列で表されるように量子化されている。Ｎは正の整数を表す。例えば、引数値がＮビットの固定小数（固定小数点数）で表されるように量子化されてもよい。
このように量子化された関数の関数テーブルを生成することで、関数テーブルを参照する際の検索キーがＮビットのビット列で表され、関数テーブルの検索を比較的容易に行うことができる。
なお、図８の横軸では、（０）１０＝（０・・・０００）２、（１）１０＝（０・・・００１）２、（２）１０＝（０・・・０１０）２、・・・のように、量子化された引数値が１０進数で示されている。
図８の例で、関数の値域についても２Ｎ個の区間に分割され、各区間における関数値がＮビットの整数で表されるように量子化されている。この量子化により、関数テーブルを参照して得られる関数値（関数テーブルからの出力値）がＮビットのビット列で表され、関数テーブルの検索結果を比較的容易に伝達することができる。
図９は、テーブル算出部３２１が生成する関数テーブルの例を示す図である。図９の例で、関数テーブルが表形式のデータとして表され、行毎に、引数値とその引数値の場合の関数値とが紐付けられている。引数値および関数値は、それぞれ、図８の例のようにＮビットの整数に量子化されている。
テーブル共通モデル設定部３２２は、テーブル算出部３２１が生成する、グループ毎の関数テーブルをテーブル共通モデル演算装置１７に設定する。
また、テーブル共通モデル設定部３２２は、共通方式重み処理部１４０のグループに基づいて、テーブル共通モデル演算装置１７における重み処理部である共通テーブル方式重み処理部のグループを決定し、共通テーブル方式重み処理部の各々に設定する。
例えば、テーブル共通モデル演算装置１７が、ニューラルネットワークのノードおよびエッジがパラメータ値共通モデル演算装置１４におけるニューラルネットワークのノードおよびエッジと一対一に対応付けられるように構成されていてもよい。そして、テーブル共通モデル設定部３２２が、パラメータ値共通モデル演算装置１４に設定されるグループに含まれる各部と、テーブル共通モデル演算装置１７に設定されるグループに含まれる各部とが、ニューラルネットワークのノードおよびエッジのレベルで同じになるように、テーブル共通モデル演算装置１７の共通テーブル方式重み処理部のグループを決定するようにしてもよい。
関数テーブルを設定されるテーブル共通モデル演算装置１７は、関数の引数値を検索キーとして関数テーブル内の関数値を検索することで、その引数値の場合の関数値を読み出すことができる。
図１０は、テーブル共通モデル演算装置１７の構成の例を示す図である。図１０に示す構成で、テーブル共通モデル演算装置１７は、ノード演算部１１１と、共通テーブル記憶部１５０と、共通テーブル方式重み処理部１６０とを備える。共通テーブル方式重み処理部１６０は、テーブル参照部１６１と、グループＩＤ記憶部１４１とを備える。
テーブル共通モデル演算装置１７は、ニューラルネットワークシステム１１０の例に該当する。共通テーブル方式重み処理部１６０は、重み処理部１１２の例に該当する。
共通テーブル方式重み処理部１６０は、テーブル参照部１６１を１つずつ備える。したがって、共通テーブル方式重み処理部１６０のグループ分けは、テーブル参照部１６１のグループ分けにも該当する。
共通テーブル記憶部１５０は、テーブル化装置１６のテーブル共通モデル設定部３２２が設定する共通テーブル方式重み処理部１６０のグループ毎に、関数テーブルを記憶する。共通テーブル記憶部１５０が共通テーブル方式重み処理部１６０のグループ毎に記憶する関数テーブルは、そのグループに含まれる共通テーブル方式重み処理部１６０に共通の関数テーブルとして用いられる。グループに含まれる共通テーブル方式重み処理部１６０に共通の関数テーブルを共通テーブルとも称する。
共通テーブル記憶部１５０が記憶する関数テーブルにおける引数値および関数値は、関数を定める値の例に該当する。共通テーブル記憶部１５０は、共通関数情報記憶部の例に該当する。
共通テーブル記憶部１５０は、共通テーブルをグループＩＤと紐付けて記憶する。共通テーブル記憶部１５０は、共通テーブル方式重み処理部１６０のグループ毎に、そのグループを示すグループＩＤと、そのグループの共通テーブルとを記憶する。
共通テーブル記憶部１５０が、共通テーブルをグループＩＤと紐付けて記憶する方法は、特定の方法に限定されない。例えば、共通テーブル記憶部１５０が、グループＩＤの欄と共通テーブルの欄とを含む表形式のデータを記憶するなど、グループＩＤが明示されるデータを記憶するようにしてもよい。あるいは、共通テーブル方式重み処理部１６０のグループに順番が付けられ、共通テーブル記憶部１５０が、グループの順番に応じた順番で共通テーブルを記憶するなど、グループＩＤが明示されないデータを記憶するようにしてもよい。
共通テーブル方式重み処理部１６０は、パラメータ値共通モデル演算装置１４の共通方式重み処理部１４０の場合と同様、変形可能な関数を用いてエッジにおける信号の重み付けを行う。
ただし、共通テーブル方式重み処理部１６０では、ノード演算部１１１からの値を引数値として、その引数値の場合の関数値を取得する方法が、共通方式重み処理部１４０の場合と異なる。共通方式重み処理部１４０は、共通パラメータ値記憶部１３０から読み出す共通パラメータ値を関数テンプレートのパラメータに設定して関数を特定し、特定した関数に引数値を入力して関数値を算出する。一方、共通テーブル方式重み処理部１６０は、共通テーブル記憶部１５０が記憶する共通テーブルを参照して、引数値に紐付けられている関数値を読み出す。
それ以外の点では、共通テーブル方式重み処理部１６０は、共通方式重み処理部１４０と同様である。
共通テーブル方式重み処理部１６０が参照する共通テーブルが示す関数を、その共通テーブル方式重み処理部１６０の関数とも称する。
グループＩＤ記憶部１４１は、グループＩＤを記憶する。図１０の例では、グループＩＤ記憶部１４１は、テーブル化装置１６のテーブル共通モデル設定部３２２が設定する、共通テーブル方式重み処理部１６０のグループを識別するグループＩＤを記憶する。
テーブル参照部１６１は、グループＩＤ記憶部１４１が記憶するグループＩＤを読み出す。そして、テーブル参照部１６１は、共通テーブル記憶部１５０が記憶する共通テーブルのうち、グループＩＤ記憶部１４１から読み出したグループＩＤに紐付けられる共通テーブルを参照する。テーブル参照部１６１は、関数の引数値となるノード演算部１１１からの値を、Ｎビットのビット列に量子化し、量子化したビット列を検索キーとして共通テーブル内の関数値を検索する。この検索により、テーブル参照部１６１は、検索キーに示される引数値の場合の関数値を、量子化されたビット列にて読み出す。テーブル参照部１６１は、量子化されたビット列で示される関数値を、量子化を行わない場合の関数値に換算する。テーブル参照部１６１は、得られた関数値をノード演算部１１１へ出力する。
テーブル共通モデル演算装置１７では、関数テーブルを参照して関数値を読み出す点で、関数が複雑な場合でも関数値を取得する処理の負荷が比較的軽く、関数を取得する処理の時間が比較的短いことが期待される。
また、関数を関数テーブルの形式で表すために比較的大きい記憶容量が必要になる。この点について、テーブル共通モデル演算装置１７では、共通テーブル記憶部１５０は、共通テーブル方式重み処理部１６０のグループ毎に１つの共通テーブルを記憶すればよい。したがって、テーブル共通モデル演算装置１７では、共通テーブル方式重み処理部１６０の個数が多い場合でも、共通テーブル記憶部１５０が記憶する共通テーブルの個数が比較的少なくて済み、共通テーブルを記憶するための記憶容量が比較的小さくて済むことが期待される。
テーブル共通モデル演算装置１７を製品に実装するなど、テーブル共通モデル演算装置１７を運用するようにしてもよい。
図１１は、情報処理システム１が、パラメータ値共通モデル演算装置１４およびテーブル共通モデル演算装置１７の設定の設定を行う場合の処理の手順の例を示すフローチャートである。
図１１の処理で、パラメータ値個別モデル演算装置１１が、パラメータ値個別学習制御装置１２の制御に従って学習を行う（ステップＳ１１１）。パラメータ値個別モデル演算装置１１は、学習にて、個別パラメータ値記憶部１２２が記憶するパラメータ値を更新する。この学習は、パラメータ値個別モデル演算装置１１に実装されるニューラルネットワークの学習に該当する。
ステップＳ１１１の処理では、図１に示される装置のうちパラメータ値個別モデル演算装置１１と、パラメータ値個別学習制御装置１２とが有ればよく、それ以外の装置が用意されている必要は無い。
次に、パラメータ値共通化装置１３が、パラメータ値個別モデル演算装置１１の個別パラメータ値記憶部１２２が記憶するパラメータ値を共通化し、共通化の結果をパラメータ値共通モデル演算装置１４に設定する（ステップＳ１１２）。パラメータ値共通化装置１３は、共通化されたパラメータ値、および、パラメータ値の共通化における共通方式重み処理部１４０グループを、パラメータ値共通モデル演算装置１４に設定する。
ステップＳ１１２の処理では、図１に示される装置のうちパラメータ値個別モデル演算装置１１、パラメータ値共通化装置１３、および、パラメータ値共通モデル演算装置１４が有ればよく、それ以外の装置が用意されている必要は無い。
次に、パラメータ値共通モデル演算装置１４は、パラメータ値共通学習制御装置１５の制御に従って学習を行う（ステップＳ１１３）。パラメータ値共通モデル演算装置１４は、学習にて、共通パラメータ値記憶部１３０が記憶する共通パラメータ値を更新する。この学習は、パラメータ値共通モデル演算装置１４に実装されるニューラルネットワークの学習に該当する。
ステップＳ１１３の処理では、図１に示される装置のうちパラメータ値共通モデル演算装置１４と、パラメータ値共通学習制御装置１５とが有ればよく、それ以外の装置が用意されている必要は無い。
パラメータ値共通モデル演算装置１４は、学習済みのパラメータ値個別モデル演算装置１１の設定を移植されていると言える点で、既に学習済みであると言える。ステップＳ１１３でのパラメータ値共通モデル演算装置１４の学習は、パラメータ値共通モデル演算装置１４の処理の精度をより高めるファインチューニングに該当する。
次に、テーブル化装置１６が、パラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０が記憶する共通パラメータ値が示す関数を関数テーブル化し、関数テーブル化の結果をテーブル共通モデル演算装置１７に設定する（ステップＳ１１４）。テーブル化装置１６は、得られた関数テーブル、および、関数テーブル毎の共通テーブル方式重み処理部１６０のグループを、テーブル共通モデル演算装置１７に設定する。
ステップＳ１１４の処理では、図１に示される装置のうちパラメータ値共通モデル演算装置１４、テーブル化装置１６、および、テーブル共通モデル演算装置１７が有ればよく、それ以外の装置が用意されている必要は無い。
ステップＳ１４の後、情報処理システム１は、図１１の処理を終了する。
図１２は、パラメータ値共通化装置１３がパラメータ値を共通化する処理手順の例を示すフローチャートである。パラメータ値共通化装置１３は、図１１のステップＳ１１２で図１２の処理を行う。
図１２の処理で、グループ化部３１１は、パラメータ値個別モデル演算装置１１の個別方式重み処理部１２０の関数の類似度に基づいて、関数をグループ分けする（ステップＳ１２１）。１つの個別方式重み処理部１２０につき１つの関数が示されることから、グループ化部３１１が行う関数のグループ分けによって、個別方式重み処理部１２０もグループ分けされる。
次に、パラメータ値共通化装置１３は、個別方式重み処理部１２０のグループ毎に処理を行うループＬ１１を開始する（ステップＳ１２２）。ループＬ１１の処理では、処理対象となっている個別方式重み処理部１２０のグループを対象グループとも称する。
ループＬ１１の処理で、共通パラメータ値算出部３１２は、対象グループの共通パラメータ値を算出する（ステップＳ１２３）。上述したように、共通パラメータ値算出部３１２が、対象グループに含まれる全ての個別方式重み処理部１２０の関数を近似する関数のパラメータ値を共通パラメータ値として算出するようにしてもよい。
パラメータ値共通モデル設定部３１３は、共通パラメータ値算出部３１２が算出した共通パラメータ値を、グループＩＤと紐付けてパラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０に記憶させる（ステップＳ１２４）。
また、パラメータ値共通モデル設定部３１３は、対象グループに対応する共通方式重み処理部１４０のグループを決定し、決定したグループに含まれる共通方式重み処理部１４０のグループＩＤ記憶部１４１にグループＩＤを記憶させる（ステップＳ１２５）。
上述したように、パラメータ値共通モデル演算装置１４が、ニューラルネットワークのノードおよびエッジがパラメータ値個別モデル演算装置１１におけるニューラルネットワークのノードおよびエッジと一対一に対応付けられるように構成されていてもよい。そして、パラメータ値共通モデル設定部３１３が、対象グループに含まれる個別方式重み処理部１２０に対応付けられる全ての共通方式重み処理部１４０を纏めたグループを、対象グループに対応する共通方式重み処理部１４０のグループとして決定するようにしてもよい。
次に、パラメータ値共通化装置１３は、ループＬ１１の終端処理を行う（ステップＳ１２６）。具体的には、パラメータ値共通化装置１３は、ステップＳ１２１で得られた全てのグループについてループＬ１１の処理を行ったか否かを判定する。ループＬ１１の処理を行っていないグループがあると判定した場合、処理がステップＳ１２３に戻り、パラメータ値共通化装置１３は、引き続き未処理のグループに対してループＬ１１の処理を行う。一方、全てのグループについてループＬ１１の処理を行ったと判定した場合、パラメータ値共通化装置１３は、ループＬ１１を終了する。
ステップＳ１２６でループＬ１１を終了した場合、パラメータ値共通化装置１３は、図１２の処理を終了する。
図１３は、テーブル化装置１６が関数を関数テーブル化する処理手順の例を示すフローチャートである。テーブル化装置１６は、図１１のステップＳ１１４で図１３の処理を行う。
図１３の処理で、テーブル化装置１６は、共通方式重み処理部１４０のグループ毎に処理を行うループＬ２１を開始する（ステップＳ１３１）。ループＬ２１では、処理対象となっている共通方式重み処理部１４０グループを対象グループとも称する。
ループＬ２１の処理で、テーブル算出部３２１は、共通パラメータ値記憶部１３０が記憶する共通パラメータ値のうち、対象グループのグループＩＤと紐付けられる共通パラメータ値が示す関数を関数テーブル化する（ステップＳ１３２）。
テーブル共通モデル設定部３２２は、テーブル算出部３２１が生成した関数テーブルを、グループＩＤと紐付けてテーブル共通モデル演算装置１７の共通テーブル記憶部１５０に記憶させる（ステップＳ１３３）。
また、テーブル共通モデル設定部３２２は、対象グループに対応する共通テーブル方式重み処理部１６０のグループを決定し、決定したグループに含まれる共通テーブル方式重み処理部１６０のグループＩＤ記憶部１４１にグループＩＤを記憶させる（ステップＳ１３４）。
上述したように、テーブル共通モデル演算装置１７が、ニューラルネットワークのノードおよびエッジがパラメータ値共通モデル演算装置１４におけるニューラルネットワークのノードおよびエッジと一対一に対応付けられるように構成されていてもよい。そして、テーブル共通モデル設定部３２２が、対象グループに含まれる共通方式重み処理部１４０に対応付けられる全ての共通テーブル方式重み処理部１６０を纏めたグループを、対象グループに対応する共通テーブル方式重み処理部１６０のグループとして決定するようにしてもよい。
次に、テーブル化装置１６は、ループＬ２１の終端処理を行う（ステップＳ１３５）。具体的には、テーブル化装置１６は、共通方式重み処理部１４０の全てのグループについてループＬ２１の処理を行ったか否かを判定する。ループＬ２１の処理を行っていないグループがあると判定した場合、処理がステップＳ１３２に戻り、テーブル化装置１６は、引き続き未処理のグループに対してループＬ２１の処理を行う。一方、全てのグループについてループＬ２１の処理を行ったと判定した場合、テーブル化装置１６は、ループＬ２１を終了する。
ステップＳ１３６でループＬ２１を終了した場合、テーブル化装置１６は、図１３の処理を終了する。
図１４は、パラメータ値共通モデル演算装置１４の運用時における共通方式重み処理部１４０の処理手順の例を示すフローチャートである。ノード演算部１１１からの値の入力を受けた共通方式重み処理部１４０は、図１４の処理を行って関数値を算出しノード演算部１１１へ出力する。
図１４の処理で、パラメータ値取得部１４２は、グループＩＤ記憶部１４１からグループＩＤを読み出す（ステップＳ１４１）。
そして、パラメータ値取得部１４２は、グループＩＤ記憶部１４１から読み出したグループＩＤに紐付けられている共通パラメータ値を、共通パラメータ値記憶部１３０から読み出す（ステップＳ１４２）。
関数演算部１２１は、パラメータ値取得部が取得した共通パラメータ値を関数テンプレートのパラメータに設定する（ステップＳ１４３）。関数テンプレートのパラメータにパラメータ値を設定することで、関数が特定される。
そして、関数演算部１２１は、ノード演算部１１１からの値を特定された関数に入力して関数値を算出する（ステップＳ１４４）。関数演算部１２１は、算出した関数値をノード演算部１１１へ出力する。
ステップＳ１４４の後、パラメータ値共通モデル演算装置１４は、図１４の処理を終了する。
図１５は、テーブル共通モデル演算装置１７の運用時における共通テーブル方式重み処理部１６０の処理手順の例を示すフローチャートである。ノード演算部１１１からの値の入力を受けた共通テーブル方式重み処理部１６０は、図１５の処理を行って関数値を算出しノード演算部１１１へ出力する。
図１５の処理で、テーブル参照部１６１は、グループＩＤ記憶部１４１からグループＩＤを読み出す（ステップＳ１５１）。
そして、テーブル参照部１６１は、グループＩＤ記憶部１４１から読み出したグループＩＤに紐付けられている共通テーブルを参照して、ノード演算部１１１からの値を変換する（ステップＳ１５２）。
具体的には、テーブル参照部１６１は、共通テーブル記憶部１５０が記憶する共通テーブルのうち、グループＩＤ記憶部１４１から読み出したグループＩＤに紐付けられている共通テーブルを特定する。そして、テーブル参照部１６１は、ノード演算部１１１からの値を検索キーとして、特定した共通テーブル内の関数値を検索し、ノード演算部１１１からの値に紐付けられている関数値を読み出す。これにより、テーブル参照部１６１は、ノード演算部１１１からの値を引数値として関数に入力した場合の関数値を取得する。テーブル参照部１６１は、得られた関数値をノード演算部１１１へ出力する。
なお、図７から図９の例のように、共通テーブルに格納される値が量子化されている場合、テーブル参照部１６１は、ノード演算部１１１からの値を量子化し、量子化された値を検索キーとして、共通テーブル内の関数値を検索する。また、テーブル参照部１６１は、共通テーブルから読み出した関数値に対して量子化の逆演算を行い、逆演算後の関数値をノード演算部１１１へ出力する。
あるいは、テーブル共通モデル演算装置１７全体で、量子化された値を用いるようにしてもよい。この場合、個々の共通テーブル方式重み処理部１６０は、量子化の演算、および、量子化の逆演算を行う必要は無い。
ステップＳ１５２の後、共通テーブル方式重み処理部１６０は、図１５の処理を終了する。
情報処理システム１が、パラメータ値共通モデル演算装置１４に代えて、関数テンプレートのパラメータのうち一部のパラメータについてのみパラメータ値が共通化された装置を備えるようにしてもよい。
図１６は、パラメータ値混合モデル演算装置２４の構成の例を示す図である。パラメータ値混合モデル演算装置２４は、関数テンプレートのパラメータのうち一部のパラメータについてのみパラメータ値が共通化された装置の例に該当する。
図１６に示す構成で、パラメータ値混合モデル演算装置２４は、ノード演算部１１１と、共通パラメータ値記憶部２１０と、混合方式重み処理部２２０とを備える。混合方式重み処理部２２０は、関数演算部２２１と、グループＩＤ記憶部１４１と、パラメータ値取得部１４２と、個別パラメータ値記憶部２２２とを備える。
パラメータ値混合モデル演算装置２４は、ニューラルネットワークシステム１１０の例に該当する。混合方式重み処理部２２０は、重み処理部１１２の例に該当する。
共通パラメータ値記憶部２１０は、関数テンプレートのパラメータ値を記憶する。
共通パラメータ値記憶部２１０を、パラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０と比較すると、共通パラメータ値記憶部１３０が、関数テンプレートの全てのパラメータのパラメータ値を記憶するのに対して、共通パラメータ値記憶部２１０は、関数テンプレートのパラメータのうち一部のパラメータについてのみパラメータ値を記憶する。それ以外の点では、共通パラメータ値記憶部２１０は、共通パラメータ値記憶部１３０と同様である。共通パラメータ値記憶部１３０の場合と同様、共通パラメータ値記憶部２１０が記憶するパラメータ値を、共通パラメータ値とも称する。
パラメータ値混合モデル演算装置２４のグループＩＤ記憶部１４１は、パラメータ値共通モデル演算装置１４のグループＩＤ記憶部１４１と同様、グループＩＤを記憶する。パラメータ値混合モデル演算装置２４では、グループＩＤは、混合方式重み処理部２２０のグループを識別する。
パラメータ値取得部１４２は、グループＩＤ記憶部１４１が記憶するグループＩＤに紐付けられる共通パラメータ値を、共通パラメータ値記憶部２１０から読み出す。
パラメータ値混合モデル演算装置２４のパラメータ値取得部１４２が行う処理は、関数テンプレートの一部のパラメータのみのパラメータ値を読み出す点以外は、パラメータ値共通モデル演算装置１４のパラメータ値取得部１４２の場合と同様である。
個別パラメータ値記憶部２２２は、関数テンプレートのパラメータ値を記憶する。具体的には、個別パラメータ値記憶部２２２は、関数テンプレートのパラメータのうち、共通パラメータ値記憶部がパラメータ値を記憶しているパラメータ以外のパラメータのパラメータ値を記憶する。
個別パラメータ値記憶部２２２を、パラメータ値個別モデル演算装置１１の個別パラメータ値記憶部１２２と比較すると、個別パラメータ値記憶部１２２が、関数テンプレートの全てのパラメータのパラメータ値を記憶するのに対して、個別パラメータ値記憶部２２２は、関数テンプレートのパラメータのうち一部のパラメータについてのみパラメータ値を記憶する。それ以外の点では、個別パラメータ値記憶部２２２は、個別パラメータ値記憶部１２２と同様である。
関数演算部２２１は、パラメータ値取得部１４２が共通パラメータ値記憶部２１０から取得するパラメータ値と、個別パラメータ値記憶部２２２が記憶するパラメータ値とを関数テンプレートのパラメータに設定して関数を特定する。そして、関数演算部２２１は、特定した関数にノード演算部１１１からの値を入力して関数値を算出する。関数演算部２２１は、算出した関数値をノード演算部１１１へ出力する。
関数演算部２２１を、パラメータ値共通モデル演算装置１４の関数演算部１２１と比較すると、パラメータ値を取得する相手が異なる。関数演算部１２１は、パラメータ値取得部１４２を介して共通パラメータ値記憶部１３０からパラメータ値を取得する。これに対し、関数演算部２２１は、パラメータ値取得部１４２を介して共通パラメータ値記憶部２１０からパラメータ値を取得し、残りのパラメータ値を個別パラメータ値記憶部２２２から取得する。それ以外の点では、関数演算部２２１は、関数演算部１２１と同様である。
パラメータ値共通モデル演算装置１４の関数演算部１２１の場合と同様、全ての関数演算部２２１が同じ内容の関数テンプレートを１つずつ備えていてもよいが、関数演算部２２１によって備える関数テンプレートが異なっていてもよい。同じグループに含まれる関数演算部２２１の関数テンプレートのパラメータに同じパラメータ値を設定可能であればよく、パラメータ値の設定によって特定される関数が、関数演算部２２１によって異なっていてもよい。
このように、パラメータ値混合モデル演算装置２４は、関数テンプレートのパラメータに設定するパラメータ値を、共通パラメータ値記憶部２１０と個別パラメータ値記憶部２２２とに分けて記憶する。これにより、パラメータ値混合モデル演算装置２４では、記憶容量の低減と、高精度な処理の両立を図ることができる。
具体的には、パラメータ値混合モデル演算装置２４では、共通パラメータ値記憶部２１０が記憶する共通パラメータ値を複数の混合方式重み処理部２２０が共有することで、記憶容量が比較的小さくて済む。かつ、パラメータ値混合モデル演算装置２４では、混合方式重み処理部２２０毎に個別パラメータ値記憶部２２２を備えてパラメータ値を記憶することで、混合方式重み処理部２２０毎に異なる関数を特定することができ、この点で、高精度に処理を行えると期待される。
情報処理システム１が、テーブル共通モデル演算装置１７に代えて、関数テーブルの一部のみ共通化された装置を備えるようにしてもよい。
図１７は、テーブル混合モデル演算装置２７の構成の例を示す図である。テーブル混合モデル演算装置２７は、関数テーブルの一部のみ共通化された装置の例に該当する。
図１７に示す構成で、テーブル混合モデル演算装置２７は、ノード演算部１１１と、共通テーブル記憶部２３０と、混合テーブル方式重み処理部２４０とを備える。混合テーブル方式重み処理部２４０は、テーブル参照部２４１と、グループＩＤ記憶部１４１と、個別テーブル記憶部２４２とを備える。
テーブル混合モデル演算装置２７は、ニューラルネットワークシステム１１０の例に該当する。混合テーブル方式重み処理部２４０は、重み処理部１１２の例に該当する。
共通テーブル記憶部２３０は、関数の定義域の一部について、関数テーブルを記憶する。
共通テーブル記憶部２３０を、テーブル共通モデル演算装置１７の共通テーブル記憶部１５０と比較すると、共通テーブル記憶部１５０が、関数の定義域全体について関数テーブルを記憶するのに対して、共通テーブル記憶部２３０が、関数の定義域の一部についてのみ関数テーブルを記憶する。それ以外の点では、共通テーブル記憶部２３０は、共通テーブル記憶部１５０と同様である。共通テーブル記憶部１５０の場合と同様、共通テーブル記憶部２３０が記憶する関数テーブルを、共通テーブルとも称する。
テーブル混合モデル演算装置２７のグループＩＤ記憶部１４１は、テーブル共通モデル演算装置１７のグループＩＤ記憶部１４１と同様、グループＩＤを記憶する。テーブル混合モデル演算装置２７では、グループＩＤは、混合テーブル方式重み処理部２４０のグループを識別する。
個別テーブル記憶部２４２は、関数の定義域の一部について、関数テーブルを記憶する。具体的には、個別テーブル記憶部２４２は、関数の定義域のうち共通テーブル記憶部２３０が関数テーブルを記憶する区間以外の区間について関数テーブルを記憶する。
テーブル参照部２４１は、共通テーブル記憶部２３０または個別テーブル記憶部２４２の何れかを選択して関数テーブルを参照する。具体的には、テーブル参照部２４１は、関数の定義域のうち、共通テーブル記憶部２３０が関数テーブルを記憶する区間、および、個別テーブル記憶部２４２が関数テーブルを記憶する区間について既知である。ノード演算部１１１からの値の入力を受けた場合、テーブル参照部２４１は、共通テーブル記憶部２３０または個別テーブル記憶部２４２の何れか、ノード演算部１１１からの値について関数テーブルを記憶している方を選択する。そして、テーブル参照部２４１は、共通テーブル記憶部２３０または個別テーブル記憶部２４２の何れか選択した方から、引数値がノード演算部１１１からの値である場合の関数値を読み出す。テーブル参照部２４１は、得られた関数値をノード演算部１１１へ出力する。
共通テーブル記憶部２３０の共通テーブルを参照する場合、テーブル参照部２４１は、グループＩＤ記憶部１４１からグループＩＤを読み出す。そして、テーブル参照部２４１は、共通テーブル記憶部２３０が記憶する共通テーブルのうち、グループＩＤ記憶部１４１から読み出したグループＩＤと紐付けられている共通テーブルを参照する。
テーブル参照部２４１をテーブル共通モデル演算装置１７のテーブル参照部１６１と比較すると、関数テーブルの参照先が異なる。関数演算部１２１は、関数の定義域全体について、共通テーブル記憶部１５０が記憶する共通テーブルを参照する。これに対し、テーブル参照部２４１は、関数の引数値に応じて、共通テーブル記憶部２３０または個別テーブル記憶部２４２の何れかを選択して関数テーブルを参照する。それ以外の点では、テーブル参照部２４１は、テーブル参照部１６１と同様である。
このように、テーブル混合モデル演算装置２７は、関数テーブルを、共通テーブル記憶部２３０と個別テーブル記憶部２４２とに分けて記憶する。これにより、テーブル混合モデル演算装置２７では、記憶容量の低減と、高精度な処理の両立を図ることができる。
具体的には、テーブル混合モデル演算装置２７では、共通テーブル記憶部２３０が記憶する共通テーブルを複数の混合テーブル方式重み処理部２４０が共有することで、記憶容量が比較的小さくて済む。かつ、テーブル混合モデル演算装置２７では、混合テーブル方式重み処理部２４０毎に個別テーブル記憶部２４２を備えて関数テーブルの一部を記憶することで、混合テーブル方式重み処理部２４０毎に異なる部分関数を特定することができ、この点で、高精度に処理を行えると期待される。
例えば、パラメータ値混合モデル演算装置２４が、パラメータ値を共通パラメータ値記憶部２１０と個別パラメータ値記憶部２２２とに分けて記憶することで、関数テンプレートによっては、関数の定義域のうち、同一グループ内の混合方式重み処理部２２０に共通の部分関数となる区間と、混合方式重み処理部２２０毎に部分関数が設定される区間とに分かれることが考えられる。
この場合、関数の定義域のうち、同一グループ内の混合方式重み処理部２２０に共通の部分関数となる区間については、テーブル混合モデル演算装置２７の共通テーブル記憶部２３０が、関数テーブルを記憶するようにしてもよい。また、混合方式重み処理部２２０毎に部分関数が設定される区間については、テーブル混合モデル演算装置２７の個別テーブル記憶部２４２が関数テーブルを記憶するようにしてもよい。
情報処理システム１が、テーブル共通モデル演算装置１７に代えて、関数テンプレートと関数テーブルとを併用する装置を備えるようにしてもよい。
図１８は、パラメータテーブル併用モデル演算装置２８の構成の例を示す図である。パラメータテーブル併用モデル演算装置２８は、関数テンプレートと関数テーブルとを併用する装置の例に該当する。
図１８に示す構成で、パラメータテーブル併用モデル演算装置２８は、ノード演算部１１１と、共通テーブル記憶部１５０と、併用方式重み処理部２５０とを備える。併用方式重み処理部２５０は、関数演算部２５１と、グループＩＤ記憶部１４１と、個別パラメータ値記憶部１２２とを備える。
パラメータテーブル併用モデル演算装置２８は、ニューラルネットワークシステム１１０の例に該当する。併用方式重み処理部２５０は、重み処理部１１２の例に該当する。
共通テーブル記憶部１５０は、テーブル共通モデル演算装置１７の場合と同様、共通テーブルをグループＩＤと紐付けて記憶する。パラメータテーブル併用モデル演算装置２８の場合、共通テーブル記憶部１５０は、併用方式重み処理部２５０のグループ毎に、そのグループを示すグループＩＤと、そのグループの共通テーブルとを記憶する。共通テーブル記憶部１５０は、関数の定義域全体について、共通テーブルを記憶する。
グループＩＤ記憶部１４１は、テーブル共通モデル演算装置１７のグループＩＤ記憶部１４１と同様、グループＩＤを記憶する。併用方式重み処理部２５０では、グループＩＤは、併用方式重み処理部２５０のグループを識別する。
個別パラメータ値記憶部１２２は、パラメータ値個別モデル演算装置１１の個別パラメータ値記憶部１２２と同様、関数のパラメータ値を記憶する。
関数演算部２５１は、共通テーブル記憶部１５０の共通テーブルが示す関数と、関数テンプレートのパラメータにパラメータ値を設定して得られる関数とを併用して、関数の演算を行う。
具体的には、関数演算部２５１は、テーブル共通モデル演算装置１７のテーブル参照部１６１と同様、共通テーブルから関数値を読み出す。関数演算部２５１は、共通テーブル記憶部１５０が記憶する共通テーブルのうち、グループＩＤ記憶部１４１が記憶するグループＩＤと紐付けられている共通テーブルを特定する。そして、関数演算部２５１は、特定した共通テーブルから、ノード演算部１１１からの値が引数値である場合の関数値を読み出す。
グループＩＤ記憶部１４１が記憶するグループＩＤと紐付けられている共通テーブルが示す関数を、共通関数とも称する。
また、関数演算部２５１は、パラメータ値個別モデル演算装置１１の関数演算部１２１と同様、関数演算部１２１自らが備える関数テンプレートのパラメータに、個別パラメータ値記憶部１２２が記憶しているパラメータ値を設定して関数を特定する。
関数テンプレートのパラメータに、個別パラメータ値記憶部１２２が記憶しているパラメータ値を設定して特定される関数を、個別関数とも称する。
関数演算部２５１は、共通関数に対して、個別関数を用いた調整を行う。
例えば、関数演算部２５１が、個別関数を、引数値毎のオフセット値を示す関数として用いて調整を行うようにしてもよい。この場合、関数演算部２５１は、共通テーブルから読み出した関数値と、ノード演算部１１１からの値を個別関数に入力して算出する関数値とを足し合わせる。
あるいは、関数演算部２５１が、個別関数を、引数値毎の係数値を示す関数として用いて調整を行うようにしてもよい。この場合、関数演算部２５１は、共通テーブルから読み出した関数値と、ノード演算部１１１からの値を個別関数に入力して算出する関数値とを乗算する。
あるいは、関数演算部２５１が、個別関数を共通関数に対する後処理として用いて関数の合成を行うようにしてもよい。この場合、関数演算部２５１は、共通テーブルから読み出した関数値を個別関数に入力して関数値を算出する。
あるいは、関数演算部２５１が、個別関数を共通関数に対する前処理として用いて関数の合成を行うようにしてもよい。この場合、関数演算部２５１は、ノード演算部１１１からの値を個別関数に入力して関数値を算出する。そして、関数演算部２５１は、グループＩＤ記憶部１４１が記憶するグループＩＤと紐付けられている共通テーブルを参照して、個別関数で得られた関数値を共通関数に入力した場合の関数値を読み出す。
パラメータテーブル併用モデル演算装置２８によれば、複雑な関数を共通関数として扱うことができ、かつ、個別関数を用いて併用方式重み処理部２５０毎に関数を調整することができる。
共通テーブル記憶部１５０が、共通関数を関数テーブルの形式で記憶することで、関数演算部２５１は、共通関数が複雑な関数であっても、比較的軽い負荷で、かつ、比較的高速に、関数値を取得することができる。また、共通テーブル記憶部１５０が、併用方式重み処理部２５０のグループ毎に共通テーブルを記憶することで、共通テーブルを記憶するための記憶容量が比較的小さくて済む。
個別関数として、例えばランプ関数、線形関数、指数関数または対数関数など簡単な関数を用いることが考えられる。個別関数として簡単な関数を用いることで、個別パラメータ値記憶部１２２がパラメータ値を記憶するための記憶容量が小さくて済む。また、個別関数として簡単な関数を用いることで、関数演算部２５１が、比較的軽い負荷で、かつ、比較的高速に、関数値を算出することができる。
関数の共通化の対象は、ニューラルネットワークのエッジにおける信号の重み付けを行うための関数に限定されない。例えば、ニューラルネットワークの活性化関数が共通化の対象となっていてもよい。
図１９は、ニューラルネットワークシステム３４の構成の例を示す図である。ニューラルネットワークシステム３４は、ニューラルネットワークシステム１１０の例に該当する。共通方式ノード演算部２６０は、ノード演算部１１１の例に該当する。
図１９では、ニューラルネットワークシステム３４の各部のうち、共通パラメータ値記憶部１３０と、共通方式ノード演算部２６０とが示されている。共通方式ノード演算部２６０は、加算部２６１と、活性化関数演算部２６２とを備える。活性化関数演算部２６２は、関数演算部１２１と、グループＩＤ記憶部１４１と、パラメータ値取得部１４２とを備える。
加算部２６１は、共通方式ノード演算部２６０への入力値を合計する。
活性化関数演算部２６２は、加算部２６１の出力を活性化関数に入力した場合の関数値を算出する。
共通パラメータ値記憶部１３０、グループＩＤ記憶部１４１、パラメータ値取得部１４２、および、関数演算部１２１は、計算対象の関数が活性化関数である点以外は、パラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０、グループＩＤ記憶部１４１、パラメータ値取得部１４２、および、関数演算部１２１と同様である。
図１９の例では、共通方式ノード演算部２６０がグループ分けされ、グループ毎に活性化関数が設定される。したがって、ニューラルネットワークシステム３４では、共通方式ノード演算部２６０のグループ毎に異なる活性化関数を用いることができる。
また、共通パラメータ値記憶部１３０が記憶する共通パラメータ値を変化させることで活性化関数が変化する。活性化関数が学習の対象となっていてもよい。例えば、パラメータ値共通化装置が学習済みのパラメータ値個別モデル演算装置１１に基づいてパラメータ値共通モデル演算装置１４の設定を行うのと同様に、ノード毎に活性化関数を設定可能なニューラルネットワークの学習によって活性化関数が設定された後、活性化関数の類似度に基づくグループ分けを行い、グループ分けの結果に基づいてニューラルネットワークシステム３４の設定を行うようにしてもよい。
あるいは、ニューラルネットワーク以外のモデルの関数が共通化の対象になっていてもよい。
以上のように、関数演算部１２１は、関数を用いる演算を行う。共通関数情報記憶部は、関数演算部１２１がグループ分けされたグループ毎に、関数を定める値を記憶する。
演算装置によれば、関数を定める値を関数演算部のグループ毎に記憶する点で、関数を定めるための値を記憶するための記憶容量を比較的小さくすることができる。
共通パラメータ値記憶部１３０は、共通関数情報記憶部の例に該当する。パラメータ値は、関数を定める値の例に該当する。パラメータ値共通モデル演算装置１４は、演算装置の例に該当する。
また、共通テーブル記憶部１５０は、共通関数情報記憶部の例に該当する。関数テーブルの引数値および関数値は、関数を定める値の例に該当する。テーブル共通モデル演算装置１７は、演算装置の例に該当する。
また、関数演算部１２１は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う。共通パラメータ値記憶部１３０は、関数演算部１２１のグループ毎に、そのグループに含まれる関数演算部１２１に共通のパラメータ値を記憶する。
パラメータ値共通モデル演算装置１４によれば、関数のパラメータ値を関数演算部１２１のグループ毎に記憶する点で、パラメータ値を記憶するための記憶容量を比較的小さくすることができる。
また、共通テーブル記憶部１５０は、関数演算部１２１のグループ毎に、関数の引数値と関数値とが紐付けられた関数テーブルを記憶する。関数演算部１２１は、関数テーブルを参照して関数を用いた演算を行う。
テーブル共通モデル演算装置１７によれば、関数テーブルを関数演算部１２１のグループ毎に記憶する点で、関数テーブルを記憶するための記憶容量を比較的小さくすることができる。
また、個別関数情報記憶部は、１つの関数を定める１組の値のうちの一部の値を関数演算部１２１毎に記憶する。共通関数情報記憶部は、前記１つの関数を定める１組の値のうち個別関数情報記憶部が記憶する値以外の値を記憶する。
演算装置によれば、１つの関数を定める１組の値のうちの一部の値を関数演算部１２１毎に記憶する点で、件数演算部毎に関数を特定することができ、かつ、１つの関数を定める１組の値のうちの一部の値を関数演算部１２１のグループ毎に記憶する点で、関数を定めるための値を記憶するための記憶容量を比較的小さくすることができる。
個別パラメータ値記憶部２２２は、個別関数値記憶部の例に該当する。共通パラメータ値記憶部２１０は、共通関数情報記憶部の例に該当する。パラメータ値混合モデル演算装置２４は、演算装置の例に該当する。
また、個別テーブル記憶部２４２は、個別関数値記憶部の例に該当する。共通テーブル記憶部２３０は、共通関数情報記憶部の例に該当する。テーブル混合モデル演算装置２７は、演算装置の例に該当する。
また、関数演算部１２１は、ニューラルネットワークのエッジにおける信号の重み付けを行う。
演算装置によれば、信号の重み付けに比較的複雑な関数を用いることができ、これによってニューラルネットワークのノード数を比較的小さくすることができると期待される。
また、関数演算部１２１は、ニューラルネットワークのノードにおける活性化関数の計算を行う。
演算装置によれば、活性化関数をノードのグループ毎に設定することができ、これによってニューラルネットワークのノード数を比較的小さくすることができると期待される。
また、グループ化部３１１は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置１１の第１関数演算部を、第１関数演算部毎の関数の類似度に基づいてグループ分けする。共通パラメータ値算出部３１２は、第１関数演算部のグループ毎に、そのグループに含まれる全ての第１関数演算部における関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出する。パラメータ値共通モデル設定部３１３は、パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部１３０とを備えるパラメータ値共通モデル演算装置１４の、第２関数演算部に対して第１関数演算部のグループに応じたグループの設定を行い、共通パラメータ値記憶部１３０に共通パラメータ値を記憶させる。
パラメータ値共通化装置１３によれば、パラメータ値個別モデル演算装置１１の第１関数演算部毎の関数を、関数の類似度に基づくグループ毎に共通化したパラメータ値共通モデル演算装置１４を生成することができ、関数のパラメータ値を記憶するための記憶容量を低減させることができる。
また、テーブル算出部３２１は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の関数演算部１２１と、関数演算部１２１がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部１３０とを備えるパラメータ値共通モデル演算装置１４の、共通パラメータ値記憶部１３０が記憶するパラメータ値による関数の引数値と関数値とが紐付けられた関数テーブルをグループ毎に算出する。テーブル共通モデル設定部３２２は、関数の引数値と関数値とが紐付けられた関数テーブルを参照して演算を行う複数のテーブル参照部１６１と、テーブル参照部１６１がグループ分けされたグループ毎に関数テーブルを記憶する共通テーブル記憶部１５０とを備えるテーブル共通モデル演算装置１７の、テーブル参照部１６１に対して関数演算部１２１のグループに応じたグループの設定を行い、テーブル算出部３２１がグループ毎に算出した関数テーブルを共通テーブル記憶部１５０に記憶させる。
テーブル化装置１６によれば、パラメータ値共通モデル演算装置１４の共通パラメータが示す関数を関数テーブルに置き換えたテーブル共通モデル演算装置１７を生成することができ、関数のテーブル化による演算の高速化が期待される。
＜第２実施形態＞
図２０は、第２実施形態に係る情報処理システムの装置構成の例を示す図である。図２０に示す構成で、情報処理システム２は、パラメータ値共通モデル演算装置１４と、グループ設定方式学習制御装置２５と、テーブル化装置１６と、テーブル共通モデル演算装置１７とを備える。
パラメータ値共通モデル演算装置１４と、テーブル化装置１６と、テーブル共通モデル演算装置１７とは、図１の構成の場合と同様であり、ここでは詳細な説明を省略する。
情報処理システム２の構成を情報処理システム１の構成と比較すると、情報処理システム２は、パラメータ値個別モデル演算装置１１と、パラメータ値個別学習制御装置１２と、パラメータ値共通化装置１３とを備えていない。また、情報処理システム２は、パラメータ値共通学習制御装置１５に代えてグループ設定方式学習制御装置２５を備える。
情報処理システム１では、パラメータ値共通化装置１３が、学習済みのパラメータ値個別モデル演算装置１１の設定に基づいてパラメータ値共通モデル演算装置１４の設定を行う。これに対し、情報処理システム２では、パラメータ値共通モデル演算装置１４が、グループ設定方式学習制御装置２５の制御に従って学習を行う。パラメータ値共通モデル演算装置１４は学習によって共通パラメータ値を更新する。
図２１は、グループ設定方式学習制御装置２５の構成の例を示す図である。図２１に示す構成で、グループ設定方式学習制御装置２５は、グループ仮設定部３３１と、学習制御部３３２と、グループ分け決定部３３３と、パラメータ値共通モデル設定部３１３とを備える。
グループ設定方式学習制御装置２５は、共通演算設定装置の例に該当する。
グループ仮設定部３３１は、パラメータ値共通モデル演算装置１４の関数演算部１２１のグループ分けを複数通り行う。
学習制御部３３２は、グループ仮設定部３３１によるグループ分け毎に、パラメータ値共通モデル演算装置１４を制御して共通パラメータ値記憶部の共通パラメータ値の学習を行わせる。すなわち、学習制御部３３２は、パラメータ値共通モデル演算装置１４に学習を行わせ、学習によって共通パラメータ値を更新させる。
学習制御部３３２が、グループ分け毎の学習のそれぞれについて、共通方式重み処理部１４０のグループ分けと、学習完了時に共通パラメータ値記憶部１３０が記憶するグループ毎の共通パラメータ値とを記憶しておくようにしてもよい。学習制御部３３２が、共通方式重み処理部１４０のグループ分けとして、グループＩＤ記憶部１４１のそれぞれが記憶するグループＩＤを記憶しておくようにしてもよい。
グループ分け決定部３３３は、グループ分け毎の学習結果に基づいて何れかのグループ分けを選択する。
例えば、グループ分け決定部３３３が、パラメータ値共通モデル演算装置１４の処理の精度が高いほど評価が高くなり、かつ、共通パラメータ値記憶部１３０が記憶する共通パラメータ値の個数が少ないほど評価が高くなる評価関数を用いて、学習結果を評価するようにしてもよい。そして、グループ分け決定部３３３が、学習結果の評価が最も高いグループ分けを選択するようにしてもよい。
パラメータ値共通モデル設定部３１３は、パラメータ値共通モデル演算装置１４の関数演算部１２１に対して、選択されたグループ分けによるグループの設定を行う。具体的には、パラメータ値共通モデル設定部３１３は、共通方式重み処理部１４０のそれぞれについて、その共通方式重み処理部１４０が含まれるグループのグループＩＤをグループＩＤ記憶部１４１に記憶させる。
また、パラメータ値共通モデル設定部３１３は、選択されたグループ分けでの学習の結果得られた共通パラメータ値を、共通パラメータ値記憶部に記憶させる。
図２２は、情報処理システム２が、パラメータ値共通モデル演算装置１４およびテーブル共通モデル演算装置１７の設定の設定を行う場合の処理の手順の例を示すフローチャートである。
図２２の処理で、グループ設定方式学習制御装置２５は、パラメータ値共通モデル演算装置１４を制御して、共通方式重み処理部１４０の複数のグループ分けのそれぞれについて学習を行わせ、学習結果に基づいてパラメータ値共通モデル演算装置１４の設定を行う（ステップＳ２１１）。
パラメータ値共通モデル演算装置１４を製品に実装するなど、パラメータ値共通モデル演算装置１４を運用するようにしてもよい。
次に、テーブル化装置１６は、パラメータ値共通モデル演算装置１４の共通パラメータ値記憶部１３０が記憶する共通パラメータ値が示す関数を関数テーブル化し、関数テーブル化の結果をテーブル共通モデル演算装置１７に設定する（ステップＳ２１２）。ステップＳ２１２における処理は、図１１のステップＳ１１４における処理と同様である。
テーブル共通モデル演算装置１７を製品に実装するなど、テーブル共通モデル演算装置１７を運用するようにしてもよい。
ステップＳ２１２の後、情報処理システム２は、図２２の処理を終了する。
図２３は、グループ設定方式学習制御装置２５が、パラメータ値共通モデル演算装置１４を制御して学習を行わせる処理手順の例を示すフローチャートである。グループ設定方式学習制御装置２５は、図２２のステップＳ２１１で図２３の処理を行う。
図２３の処理で、グループ仮設定部３３１は、パラメータ値共通モデル演算装置１４の共通方式重み処理部１４０をグループ分けし、共通方式重み処理部１４０のグループを設定する（Ｓ２２１）。
ここでのグループ分けは、いろいろなグループ分けを試すための仮のグループ分けである。グループ仮設定部３３１が、共通方式重み処理部１４０のグループをランダムに設定するようにしてもよい。あるいは、グループ仮設定部３３１が、共通方式重み処理部１４０に可能なグループ分けを全て行うようにしてもよい。
グループ仮設定部３３１は、共通方式重み処理部１４０のグループを示すグループＩＤをグループＩＤ記憶部１４１に記憶させることで、その共通方式重み処理部１４０のグループの設定を行う。
次に、学習制御部３３２は、パラメータ値共通モデル演算装置１４の学習の初期設定を行う（ステップＳ２２２）。例えば、学習制御部３３２は、共通パラメータ値記憶部１３０に、グループ毎の共通パラメータ値の初期値を記憶させる。
そして、学習制御部３３２は、パラメータ値共通モデル演算装置１４を制御して学習を行わせる（ステップＳ２２３）。パラメータ値共通モデル演算装置１４は、学習によって共通パラメータ値を更新する。
パラメータ値共通モデル演算装置１４の学習が終了すると、グループ分け決定部３３３は、学習結果を評価する（ステップＳ２２４）。例えば、グループ分け決定部３３３が、共通方式重み処理部１４０のグループ分け毎に、所定の評価関数を用いて学習結果の評価値を算出し、記憶しておくようにしてもよい。
次に、学習制御部３３２は、パラメータ値共通モデル演算装置１４の学習の繰り返しの終了条件が成立しているか否かを判定する（ステップＳ２２５）。
ここでの終了条件は、特定の条件に限定されない。例えば、ステップＳ２２５における終了条件は、グループ分けを所定の回数以上行ったか否かであってもよい。あるいは、ステップＳ２２５における終了条件は、共通方式重み処理部１４０に可能なグループ分けを全て行ったか否かであってもよい。
終了条件が成立していないと学習制御部３３２が判定した場合（ステップＳ２２５：ＮＯ）、処理がステップＳ２２１へ戻る。
一方、終了条件が成立していると学習制御部３３２が判定した場合（ステップＳ２２５：ＹＥＳ）、グループ分け決定部３３３は、学習結果に基づいて何れかのグループ分けを選択する（ステップＳ２２６）。例えば、グループ分け決定部３３３は、ステップＳ２２４で算出した評価値が最も大きい（評価が最も高い）グループ分けを選択する。
次に、パラメータ値共通モデル設定部３１３は、グループ分け決定部が選択したグループ分けに応じて、パラメータ値共通モデル演算装置１４の設定を行う（ステップＳ２２７）。具体的には、パラメータ値共通モデル設定部３１３は、グループＩＤ記憶部１４１の各々に対し、選択されたグループ分けの際に記憶していたグループＩＤを再度記憶させる。また、パラメータ値共通モデル設定部３１３は、共通パラメータ値記憶部１３０に対し、選択されたグループ分けの学習にて得られた共通パラメータ値を再度記憶させる。
ステップＳ２２７の後、グループ設定方式学習制御装置２５は、図２３の処理を終了する。
情報処理システム１の場合と同様、情報処理システム２が、パラメータ値共通モデル演算装置１４に代えて、パラメータ値混合モデル演算装置２４を備えるようにしてもよい。情報処理システム２が、テーブル共通モデル演算装置１７に代えて、テーブル混合モデル演算装置２７を備えるようにしてもよい。
情報処理システム１の場合と同様、情報処理システム２でも、関数の共通化の対象は、ニューラルネットワークのエッジにおける信号の重み付けを行うための関数に限定されない。例えば、ニューラルネットワークシステム３４（図１９）のように、ニューラルネットワークの活性化関数が共通化の対象となっていてもよい。
あるいは、ニューラルネットワーク以外のモデルの関数が共通化の対象になっていてもよい。
以上のように、グループ仮設定部３３１は、パラメータを有する関数を用いる演算を行う複数の関数演算部１２１と、関数演算部１２１がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部１３０とを備えるパラメータ値共通モデル演算装置１４の、関数演算部１２１のグループ分けを複数通り行う。学習制御部３３２は、グループ分け毎に、関数演算部１２１のグループ毎のパラメータ値の学習をパラメータ値共通モデル演算装置に行わせる。グループ分け決定部３３３は、グループ分け毎の学習結果に基づいて何れかのグループ分けを選択する。パラメータ値共通モデル設定部３１３は、パラメータ値共通モデル演算装置１４の関数演算部１２１に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を共通パラメータ値記憶部１３０に記憶させる。
グループ設定方式学習制御装置２５によれば、パラメータ値個別モデル演算装置１１が無くてもパラメータ値共通モデル演算装置１４の設定を行うことができる。
図２４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。図１０に示す構成で、コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記のパラメータ値個別モデル演算装置１１、パラメータ値個別学習制御装置１２、パラメータ値共通化装置１３、パラメータ値共通モデル演算装置１４、パラメータ値共通学習制御装置１５、テーブル化装置１６、テーブル共通モデル演算装置１７、パラメータ値混合モデル演算装置２４、テーブル混合モデル演算装置２７、および、グループ設定方式学習制御装置２５のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。補助記憶装置７３０は、たとえば、CDC(Compact Disc)や、DVD(digital versatile disc)等の不揮発性(non-transitory)記録媒体である。
パラメータ値個別モデル演算装置１１がコンピュータ７００に実装される場合、ノード演算部１１１、個別方式重み処理部１２０、および、それらの各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、個別パラメータ値記憶部１２２に対応する記憶領域を主記憶装置７２０に確保する。
パラメータ値個別モデル演算装置１１と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。パラメータ値個別モデル演算装置１１とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
パラメータ値個別学習制御装置１２がコンピュータ７００に実装される場合、パラメータ値個別学習制御装置１２の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、パラメータ値個別学習制御装置１２が処理を行うための記憶領域を主記憶装置７２０に確保する。
パラメータ値個別学習制御装置１２と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。パラメータ値個別学習制御装置１２とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
パラメータ値共通化装置１３がコンピュータ７００に実装される場合、グループ化部３１１、共通パラメータ値算出部３１２、および、パラメータ値共通モデル設定部３１３の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、パラメータ値共通化装置１３が処理を行うための記憶領域を主記憶装置７２０に確保する。
パラメータ値共通化装置１３と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。パラメータ値共通化装置１３とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
パラメータ値共通モデル演算装置１４がコンピュータ７００に実装される場合、ノード演算部１１１、共通方式重み処理部１４０、および、それらの各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、共通パラメータ値記憶部１３０およびグループＩＤ記憶部１４１に対応する記憶領域を主記憶装置７２０に確保する。
パラメータ値共通モデル演算装置１４と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。パラメータ値共通モデル演算装置１４とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
パラメータ値共通学習制御装置１５がコンピュータ７００に実装される場合、パラメータ値共通学習制御装置１５の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、パラメータ値共通学習制御装置１５が処理を行うための記憶領域を主記憶装置７２０に確保する。
パラメータ値共通学習制御装置１５と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。パラメータ値共通学習制御装置１５とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
テーブル化装置１６がコンピュータ７００に実装される場合、テーブル算出部３２１およびテーブル共通モデル設定部３２２の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、テーブル化装置１６が処理を行うための記憶領域を主記憶装置７２０に確保する。
テーブル化装置１６と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。テーブル化装置１６とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
テーブル共通モデル演算装置１７がコンピュータ７００に実装される場合、ノード演算部１１１、共通テーブル方式重み処理部１６０、およびそれらの各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、共通テーブル記憶部１５０、および、グループＩＤ記憶部１４１に対応する記憶領域を主記憶装置７２０に確保する。
テーブル共通モデル演算装置１７と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。テーブル共通モデル演算装置１７とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行いユーザ操作を受け付けることで実行される。
パラメータ値混合モデル演算装置２４がコンピュータ７００に実装される場合、ノード演算部１１１、混合方式重み処理部２２０、および、それらの各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、共通パラメータ値記憶部２１０、グループＩＤ記憶部１４１、および、個別パラメータ値記憶部２２２に対応する記憶領域を主記憶装置７２０に確保する。
テーブル共通モデル演算装置１７と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。テーブル共通モデル演算装置１７とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行いユーザ操作を受け付けることで実行される。
テーブル混合モデル演算装置２７がコンピュータ７００に実装される場合、ノード演算部１１１、混合テーブル方式重み処理部２４０、および、それらの各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、共通テーブル記憶部２３０、グループＩＤ記憶部１４１、および、個別テーブル記憶部２４２に対応する記憶領域を主記憶装置７２０に確保する。
テーブル共通モデル演算装置１７と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。テーブル共通モデル演算装置１７とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
グループ設定方式学習制御装置２５がコンピュータ７００に実装される場合、グループ仮設定部３３１、学習制御部３３２、グループ分け決定部３３３、および、パラメータ値共通モデル設定部３１３の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、グループ設定方式学習制御装置２５が処理を行うための記憶領域を主記憶装置７２０に確保する。
グループ設定方式学習制御装置２５と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。グループ設定方式学習制御装置２５とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行いユーザ操作を受け付けることで実行される。
なお、パラメータ値個別モデル演算装置１１、パラメータ値個別学習制御装置１２、パラメータ値共通化装置１３、パラメータ値共通モデル演算装置１４、パラメータ値共通学習制御装置１５、テーブル化装置１６、テーブル共通モデル演算装置１７、パラメータ値混合モデル演算装置２４、テーブル混合モデル演算装置２７、および、グループ設定方式学習制御装置２５の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限定されない。
（付記１）
関数を用いる演算を行う複数の関数演算部と、
前記関数演算部がグループ分けされたグループ毎に、前記関数を定める値を記憶する共通関数情報記憶部と、
を備える演算装置。
（付記２）
前記関数演算部は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される前記関数を用いる演算を行い、
前記共通関数情報記憶部は、前記グループ毎に、そのグループに含まれる関数演算部に共通のパラメータ値を記憶する、
付記１に記載の演算装置。
（付記３）
前記共通関数情報記憶部は、前記グループ毎に、前記関数の引数値と関数値とが紐付けられた関数テーブルを記憶し、
前記関数演算部は、前記関数テーブルを参照して前記関数を用いた演算を行う、
付記１に記載の演算装置。
（付記４）
１つの関数を定める１組の値のうちの一部の値を前記関数演算部毎に記憶する個別関数情報記憶部をさらに備え、
前記共通関数情報記憶部は、前記１つの関数を定める１組の値のうち前記個別関数情報記憶部が記憶する値以外の値を記憶する、
付記１から３の何れか一つに記載の演算装置。
（付記５）
前記関数演算部は、ニューラルネットワークのエッジにおける信号の重み付けを行う、
付記１から４の何れか一つに記載の演算装置。
（付記６）
前記関数演算部は、ニューラルネットワークのノードにおける活性化関数の計算を行う、
付記１から５の何れか一つに記載の演算装置。
（付記７）
パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けするグループ化部と、
前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出する共通パラメータ値算出部と、
パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させるパラメータ値共通モデル設定部と、
を備える共通演算設定装置。
（付記８）
パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記共通パラメータ値記憶部が記憶するパラメータ値による前記関数の引数値と関数値とが紐付けられた関数テーブルを前記グループ毎に算出するテーブル算出部と、
関数の引数値と関数値とが紐付けられた関数テーブルを参照して演算を行う複数のテーブル参照部と、前記テーブル参照部がグループ分けされたグループ毎に関数テーブルを記憶する共通テーブル記憶部とを備えるテーブル共通モデル演算装置の、前記テーブル参照部に対して前記関数演算部のグループに応じたグループの設定を行い、前記テーブル算出部が前記グループ毎に算出した前記関数テーブルを前記共通テーブル記憶部に記憶させるテーブル共通モデル設定部と、
を備える共通演算設定装置。
（付記９）
パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うグループ仮設定部と、
前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値の学習を前記パラメータ値共通モデル演算装置に行わせる学習制御部と、
前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択するグループ分け決定部と、
前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させるパラメータ値共通モデル設定部と、
を備える共通演算設定装置。
（付記１０）
グループ分けされた関数演算部が、グループ毎にパラメータ値を記憶する共通パラメータ値記憶部からパラメータ値を読み出すことと、
前記関数演算部が、パラメータを有する関数テンプレートに、共通パラメータ値記憶部から読み出したパラメータ値を設定して示される関数を用いて演算を行うことと、
を含む演算方法。
（付記１１）
パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けすることと、
前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出することと、
パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させることと、
を含む共通演算設定方法。
（付記１２）
パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記共通パラメータ値記憶部が記憶するパラメータ値による前記関数の引数値と関数値とが紐付けられた関数テーブルを前記グループ毎に算出することと、
関数の引数値と関数値とが紐付けられた関数テーブルを参照して演算を行う複数のテーブル参照部と、前記テーブル参照部がグループ分けされたグループ毎に関数テーブルを記憶する共通テーブル記憶部とを備えるテーブル共通モデル演算装置の、前記テーブル参照部に対して前記関数演算部のグループに応じたグループの設定を行い、前記グループ毎に算出した前記関数テーブルを前記共通テーブル記憶部に記憶させることと、
を含む共通演算設定方法。
（付記１３）
パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うことと、
前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値を学習によって算出することと、
前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択することと、
前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させることと、
を含む共通演算設定方法。
（付記１４）
コンピュータに、
グループ分けされた関数演算部が、グループ毎にパラメータ値を記憶する共通パラメータ値記憶部からパラメータ値を読み出すことと、
前記関数演算部が、パラメータを有する関数テンプレートに、共通パラメータ値記憶部から読み出したパラメータ値を設定して示される関数を用いて演算を行うことと、
実行させるためのプログラム。
（付記１５）
コンピュータに、
パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けすることと、
前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出することと、
パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させることと、
を実行させるためのプログラム。
（付記１６）
コンピュータに、
パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記共通パラメータ値記憶部が記憶するパラメータ値による前記関数の引数値と関数値とが紐付けられた関数テーブルを前記グループ毎に算出することと、
関数の引数値と関数値とが紐付けられた関数テーブルを参照して演算を行う複数のテーブル参照部と、前記テーブル参照部がグループ分けされたグループ毎に関数テーブルを記憶する共通テーブル記憶部とを備えるテーブル共通モデル演算装置の、前記テーブル参照部に対して前記関数演算部のグループに応じたグループの設定を行い、前記グループ毎に算出した前記関数テーブルを前記共通テーブル記憶部に記憶させることと、
を実行させるためのプログラム。
（付記１７）
コンピュータに、
パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うことと、
前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値を学習によって算出することと、
前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択することと、
前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させることと、
を実行させるためのプログラム。
１、２情報処理システム
１１ パラメータ値個別モデル演算装置
１２ パラメータ値個別学習制御装置
１３ パラメータ値共通化装置
１４ パラメータ値共通モデル演算装置
１５ パラメータ値共通学習制御装置
１６ テーブル化装置
１７ テーブル共通モデル演算装置
２４ パラメータ値混合モデル演算装置
２５ グループ設定方式学習制御装置
２７ テーブル混合モデル演算装置
３４、１１０ ニューラルネットワークシステム
１１１ ノード演算部
１１２ 重み処理部
１２０ 個別方式重み処理部
１２１、２２１、２５１ 関数演算部
１２２、２２２ 個別パラメータ値記憶部
１３０、２１０ 共通パラメータ値記憶部
１４０ 共通方式重み処理部
１４１ グループＩＤ記憶部
１４２ パラメータ値取得部
１５０、２３０ 共通テーブル記憶部
１６０ 共通テーブル方式重み処理部
１６１、２４１ テーブル参照部
２２０ 混合方式重み処理部
２４０ 混合テーブル方式重み処理部
２４２ 個別テーブル記憶部
２５０ 併用方式重み処理部
２６０ 共通方式ノード演算部
２６１ 加算部
２６２ 活性化関数演算部
３１１ グループ化部
３１２ 共通パラメータ値算出部
３１３ パラメータ値共通モデル設定部
３２１ テーブル算出部
３２２ テーブル共通モデル設定部
３３１ グループ仮設定部
３３２ 学習制御部
３３３ グループ分け決定部

Claims (9)

  1. 関数を用いる演算を行う複数の関数演算部と、
    前記関数演算部がグループ分けされたグループ毎に、前記関数を定める１組の値のうちの一部の値を記憶する共通関数情報記憶部と、
    前記関数を定める１組の値のうち前記共通関数情報記憶部が記憶する値以外の値を前記関数演算部毎に記憶する個別関数情報記憶部と、
    を備える演算装置。
  2. 前記関数演算部は、パラメータを有する関数テンプレートにパラメータ値が設定されて示される前記関数を用いる演算を行い、
    前記共通関数情報記憶部は、前記グループ毎に、そのグループに含まれる関数演算部に共通のパラメータ値を、前記関数を定める値として記憶する、
    請求項１に記載の演算装置。
  3. 前記共通関数情報記憶部は、前記グループ毎に、前記関数を定める値である前記関数の引数値と関数値とを、前記引数値と前記関数値とが紐付けられた関数テーブルにて記憶し、
    前記関数演算部は、前記関数テーブルを参照して前記関数を用いた演算を行う、
    請求項１に記載の演算装置。
  4. パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けするグループ化部と、
    前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出する共通パラメータ値算出部と、
    パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させるパラメータ値共通モデル設定部と、
    を備える共通演算設定装置。
  5. パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うグループ仮設定部と、
    前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値の学習を前記パラメータ値共通モデル演算装置に行わせる学習制御部と、
    前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択するグループ分け決定部と、
    前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させるパラメータ値共通モデル設定部と、
    を備える共通演算設定装置。
  6. パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けすることと、
    前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出することと、
    パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させることと、
    を含む共通演算設定方法。
  7. パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うことと、
    前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値を学習によって算出することと、
    前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択することと、
    前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させることと、
    を含む共通演算設定方法。
  8. コンピュータに、
    パラメータを有する関数テンプレートにパラメータ値が設定されて示される関数を用いる演算を行う複数の第１関数演算部と、前記第１関数演算部毎にパラメータ値を記憶する個別パラメータ値記憶部とを備えるパラメータ値個別モデル演算装置の前記第１関数演算部を、前記第１関数演算部毎の前記関数の類似度に基づいてグループ分けすることと、
    前記第１関数演算部のグループ毎に、そのグループに含まれる全ての前記第１関数演算部における前記関数の代わりに用いられる１つの関数のパラメータ値である共通パラメータ値を算出することと、
    パラメータを有する関数を用いる演算を行う複数の第２関数演算部と、前記第２関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記第２関数演算部に対して前記第１関数演算部のグループに応じたグループの設定を行い、前記共通パラメータ値記憶部に前記共通パラメータ値を記憶させることと、
    を実行させるためのプログラム。
  9. コンピュータに、
    パラメータを有する関数を用いる演算を行う複数の関数演算部と、前記関数演算部がグループ分けされたグループ毎にパラメータ値を記憶する共通パラメータ値記憶部とを備えるパラメータ値共通モデル演算装置の、前記関数演算部のグループ分けを複数通り行うことと、
    前記グループ分け毎に、前記関数演算部のグループ毎の前記パラメータ値を学習によって算出することと、
    前記グループ分け毎の学習結果に基づいて何れかのグループ分けを選択することと、
    前記パラメータ値共通モデル演算装置の前記関数演算部に対して、選択されたグループ分けによるグループの設定を行い、選択されたグループ分けでの学習結果におけるパラメータ値を前記共通パラメータ値記憶部に記憶させることと、
    を実行させるためのプログラム。
JP2021041855A 2021-03-15 2021-03-15 演算装置、共通演算設定装置、共通演算設定方法およびプログラム Active JP7609419B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021041855A JP7609419B2 (ja) 2021-03-15 2021-03-15 演算装置、共通演算設定装置、共通演算設定方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021041855A JP7609419B2 (ja) 2021-03-15 2021-03-15 演算装置、共通演算設定装置、共通演算設定方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022141513A JP2022141513A (ja) 2022-09-29
JP7609419B2 true JP7609419B2 (ja) 2025-01-07

Family

ID=83403027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021041855A Active JP7609419B2 (ja) 2021-03-15 2021-03-15 演算装置、共通演算設定装置、共通演算設定方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7609419B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134697A (ja) 2008-12-04 2010-06-17 Canon Inc コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
JP2018055259A (ja) 2016-09-27 2018-04-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018073102A (ja) 2016-10-28 2018-05-10 キヤノン株式会社 演算回路、その制御方法及びプログラム
JP2018116469A (ja) 2017-01-18 2018-07-26 株式会社日立製作所 演算システムおよびニューラルネットワークの演算方法
JP2020197523A (ja) 2019-05-31 2020-12-10 キヤノンメディカルシステムズ株式会社 放射線検出装置、エネルギー校正方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134697A (ja) 2008-12-04 2010-06-17 Canon Inc コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
JP2018055259A (ja) 2016-09-27 2018-04-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018073102A (ja) 2016-10-28 2018-05-10 キヤノン株式会社 演算回路、その制御方法及びプログラム
JP2018116469A (ja) 2017-01-18 2018-07-26 株式会社日立製作所 演算システムおよびニューラルネットワークの演算方法
JP2020197523A (ja) 2019-05-31 2020-12-10 キヤノンメディカルシステムズ株式会社 放射線検出装置、エネルギー校正方法及びプログラム

Also Published As

Publication number Publication date
JP2022141513A (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
US12566962B2 (en) Dithered quantization of parameters during training with a machine learning tool
CN113313229B (zh) 模型压缩中对稀疏率的贝叶斯优化
CN110222821B (zh) 基于权重分布的卷积神经网络低位宽量化方法
Weng Neural network quantization for efficient inference: A survey
TWI791610B (zh) 對人工神經網路及浮點神經網路進行量化的方法及裝置
US20210019630A1 (en) Loss-error-aware quantization of a low-bit neural network
CN112740233B (zh) 网络量化方法、推理方法以及网络量化装置
CN115841137A (zh) 一种用于对待量化数据进行定点化处理的方法及计算装置
US20190311258A1 (en) Data dependent model initialization
CN112200296A (zh) 网络模型量化方法、装置、存储介质及电子设备
KR102765759B1 (ko) 딥 뉴럴 네트워크를 양자화하는 방법 및 장치
CN112771547A (zh) 通信系统中的端到端学习
JP7609419B2 (ja) 演算装置、共通演算設定装置、共通演算設定方法およびプログラム
US20210216867A1 (en) Information processing apparatus, neural network computation program, and neural network computation method
Dupuis et al. Approximations in deep learning
JP2022002087A (ja) 多目標最適化を行うための装置、方法及び記憶媒体
WO2021230006A1 (ja) ネットワーク量子化方法及びネットワーク量子化装置
US20220405561A1 (en) Electronic device and controlling method of electronic device
Xiu et al. Multiple graph regularized graph transduction via greedy gradient max-cut
US20250005329A1 (en) Context-Driven Generation of Diverse Questions
CN114861884B (zh) 一种余弦卷积神经网络量化方法、应用及系统
US20230342613A1 (en) System and method for integer only quantization aware training on edge devices
Xia et al. On stochastic roundoff errors in gradient descent with low-precision computation
CN114462595A (zh) 基于区块链的模型轻量化方法、装置、设备及存储介质
CN119441513B (zh) 一种视觉语言大模型混合量化方法、装置和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241212

R150 Certificate of patent or registration of utility model

Ref document number: 7609419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150