JP7205503B2 - 内燃機関の制御装置 - Google Patents

Description

本発明は、車両に搭載された内燃機関の制御装置に関する。

特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６－００６３２７号公報

上記フィルタには、内燃機関の効率や排気性状、乗員の快適性などの多数の要求を同時に満たす値をスロットルバルブの操作量として設定するものであることが求められるため、その適合は熟練者が多くの工数を掛けて行う必要がある。そうした実情は、スロットルバルブ以外のエンジンの操作部の操作量の適合についても同様となっている。

上記課題を解決する内燃機関の制御装置は、運転者のアクセルペダル操作に応じて車両の加減速を行う手動アクセル走行と、アクセルペダル操作に基づかずに車両の加減速を自動で行う自動アクセル走行と、を行う車両に搭載された内燃機関の操作部を操作することで同内燃機関の制御量を変化させる。そして、同制御装置は、内燃機関の状態を含む車両の状態と操作部の操作量との関係を規定するデータであって車両の走行中に更新される関係規定データが記憶されるとともに、車両の状態に基づく操作量の演算に用いられるデータであって車両の走行中に更新されない適合済みデータが予め記憶された記憶装置と、操作部の操作を実行する実行装置と、を備えている。実行装置は、適合済みデータを用いて車両の状態に基づき演算された操作量にて操作部を操作する第１操作処理と、関係規定データと車両の状態とにより定まる操作量にて前記操作部を操作する第２操作処理と、第２操作処理により前記操作部が操作されているときの車両の状態の検出値に基づいて報酬を算出する報酬算出処理と、第２操作処理により操作部が操作されているときの車両の状態、操作量、及び報酬に基づいて、報酬の期待収益を増加させるように関係規定データを更新する更新処理と、車両が手動アクセル走行を行っているか、自動アクセル走行を行っているかにより、第１操作処理により操作部の操作を実行するか、第２操作処理により操作部の操作を実行するかを切り替える切替処理と、を実行する。

上記内燃機関の制御装置では、予め記憶装置に記憶された適合済みデータを用いて操作量の演算が行われる第１操作処理による内燃機関の操作部の操作では、車両の出荷前に操作量の適合を済ませておく必要がある。これに対して、第２操作処理の実行中は、同第２操作処理による操作部の操作の結果として変化する車両の状態から報酬が算出されるとともに、その報酬の期待収益が増加するように関係規定データが更新される。すなわち、第２操作処理による内燃機関の操作部の操作時には、強化学習による操作量の適合が進められる。このように第２操作処理により操作部を操作する際の操作量については、車両の走行中に自動で適合することが可能なため、車両出荷前の熟練者による操作量の適合に係る工数を低減できる。ただし、そうした強化学習は車両の様々な状態のもとでそれぞれ時間を掛けて行う必要があり、車両の運用によっては適合の完了に時間を要することがある。そのため、車両の運用によっては、車両走行中の強化学習により操作量を適合するよりも、車両の出荷前に適合を済ませておいた方が、望ましい結果が得られる場合がある。以下の説明では、車両出荷前の操作量の適合を事前適合と記載し、車両走行中の強化学習による操作量の適合を現地適合と記載する。

なお、上記のような手動アクセル走行と自動アクセル走行とを行う車両では、手動アクセル走行時と自動アクセル走行時とで車両の運用形態が異なる場合がある。そうした車両では、手動アクセル走行時と自動アクセル走行時との２つの場合について、それぞれ個別に操作量の適合が必要となることがある。さらに、手動アクセル走行、自動アクセル走行のいずれか一方については事前適合よりも現地適合の方が望ましい結果が得られるが、もう一方については現地適合よりも事前適合の方が望ましい結果が得られることがある。

これに対して上記内燃機関の制御装置では、車両が手動アクセル走行を行っているか、自動アクセル走行を行っているかにより、第１操作処理により操作部の操作を実行するか、第２操作処理により操作部の操作を実行するかが切り替えられる。そのため、手動アクセル走行と自動アクセル走行とで望ましい結果が得られる適合手法が異なる場合にも、それぞれに適した手法で操作量の適合を行うことが可能となる。なお、そうした場合にも、手動アクセル走行、自動アクセル走行の双方における操作量の適合を事前適合で行う場合よりも、熟練者の適合に係る工数は少なくなる。したがって、上記内燃機関の制御装置によれば、内燃機関の操作部の操作量の適合に係る熟練者の工数を好適に軽減できる。

上記内燃機関の制御装置において、車両の状態に含まれる変数である状態変数を入力とするとともに操作量を出力とする写像を規定するデータが適合済みデータに含まれており、内燃機関の制御量の目標値に対する同制御量の検出値の偏差に応じてフィードバック補正値を演算するとともに、状態変数の検出値を入力とした上記写像の出力値を補正した値を前記操作量として演算するフィードバック補正処理が含まれている場合がある。そうしたフィードバック補正処理としては、例えば空燃比の目標値に対する検出値の偏差に応じて燃料噴射量をフィードバック補正する空燃比フィードバック制御における燃料噴射量の補正処理が該当する。こうしたフィードバック補正処理による目標値への制御量の収束にはある程度の時間を要する。そのため、第２操作処理による操作部の操作から第１操作処理による操作部の操作への切替と共にフィードバック補正処理を開始する場合には、制御量が目標値に収束するまでの間、内燃機関の制御性が悪化する虞がある。これに対しては、上記内燃機関の制御装置における実行装置は、操作部の操作に用いる処理を第２操作処理から第１操作処理に切り替える際に、第２操作処理による操作部の操作を終了して第１操作処理による操作部の操作を開始するよりも早い時期からフィードバック補正処理による操作量の演算を開始するとよい。

なお、上記操作処理の切替に際して、フィードバック補正処理を開始してから第１操作処理による操作部の操作が開始されるまでの期間は、フィードバック補正処理による操作量の演算値は実際の操作部の操作に反映されない。一方、このときの第２操作処理による操作量の演算値が制御量を目標値とする値であるとすると、フィードバック補正処理での操作量の演算値により操作部を操作した場合に制御量が取る値を、フィードバック補正処理、及び第２操作処理の双方の操作量の演算値から求められる。よって、第２操作処理部による操作部の操作中のフィードバック補正処理は、同フィードバック補正処理、及び第２操作処理のそれぞれによる操作量の演算値に基づき、フィードバック補正処理による操作量の演算値により操作部を操作したときの制御量である仮想制御量を求めるとともに、同仮想制御量を制御量の検出値の代わりに用いてフィードバック補正値を演算することで実施できる。

上記内燃機関の制御装置において、車両の状態に含まれる変数である状態変数を入力とするとともに操作量を出力とする写像を規定するデータが上記適合済みデータに含まれるとともに、状態変数の検出値を入力とするとともに同検出値に対して遅れを有して変化する値を上記写像の入力値として出力する処理、及び上記写像の出力値を入力とするとともに同出力値に対して遅れを有して変化する値を操作量の演算値として出力する処理のいずれか一方の処理である緩変化処理が上記第１操作処理に含まれる場合がある。こうした緩変化処理は、状態変数の急激な変化と共に内燃機関の制御量が急変することを避けるために行われ、例えばスロットル開口度の演算に際して実施される。こうした緩変化処理によっては、以前の状態変数の推移を反映した値として操作量が演算される。

第２操作処理による操作部の操作から第１操作処理による操作部の操作への切替と共に緩変化処理を開始した場合、第１操作処理の操作量の演算値には、その切替前の状態変数の推移は反映されなくなる。これに対しては、上記内燃機関の制御装置における実行装置を、操作部の操作に用いる処理を第２操作処理から第１操作処理に切り替える際に、第２操作処理による操作部の操作を終了して第１操作処理による操作部の操作を開始するよりも早い時期から、緩変化処理を通じた操作量の演算を開始するものとするとよい。こうした場合、第１操作処理における緩変化処理を通じた操作量の演算が、その演算値を用いた操作部の操作の開始よりも早い時期に開始される。そのため、第１操作処理による操作部の操作が開始される前の状態変数の推移が反映された値として、同操作の開始時の操作量を演算できる。

第１実施形態に係る内燃機関の制御装置の構成を模式的に示す図。 同制御装置における実行装置が実行する処理のフローチャート。 同制御装置が実行する第１操作処理でのスロットルバルブの操作に係る処理の流れを示す制御ブロック図。 同制御装置が実行する第１操作処理での燃料噴射弁の操作に係る処理の流れを示す制御ブロック図。 同制御装置が実行する第１操作処理での点火装置の操作に係る処理の流れを示す制御ブロック図。 同制御装置が実行する第２操作処理、報酬算出処理、及び学習処理に係る処理の流れを示すフローチャート。 第２実施形態の内燃機関の制御装置が実行する処理のフローチャート。 第３実施形態の内燃機関の制御装置が実行する処理のフローチャート。 同制御装置における第２操作処理による操作部の操作中の空燃比フィードバック補正値の演算に係る処理の流れを示す制御ブロック図。 （ａ）は要求トルクＴｏｒ＊及び要求トルク緩変化値Ｔｏｒｓｍ＊の推移を、（ｂ）は開口度指令値ＴＡ＊の推移を、それぞれ示すタイムチャート。 同制御装置における第２操作処理から第１操作処理への切替に際しての、（ａ）はモード変数ＭＶの推移を、（ｂ）はカウンタＣＮＴの推移を、（ｃ）はフラグＦ１の推移を、（ｄ）は噴射量指令値Ｑｉの推移を、（ｅ）は空燃比フィードバック補正値ＦＡＦの推移を、それぞれ示すタイムチャート。 スロットルバルブの操作処理の変更例における処理の流れを示す制御ブロック図。

（第１実施形態）
以下、内燃機関の制御装置の第１実施形態を、図１～図６を参照して詳細に説明する。
図１に、本実施形態の制御装置７０、及び同制御装置７０が制御対象とする車両ＶＣ１に搭載された内燃機関１０の構成を示す。内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４及び燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０及びピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

制御装置７０は、内燃機関１０の状態を示す制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６及び点火装置２６等の内燃機関１０の操作部を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６のそれぞれの操作信号ＭＳ１～ＭＳ３が記載されている。

制御装置７０は、内燃機関１０の制御量の制御のために、内燃機関１０の状態を検出する各種センサの検出値を取得する。内燃機関１０の状態を検出するセンサには、吸入空気量Ｇａを検出するエアフローメータ８０、吸気温ＴＨＡを検出する吸気温センサ８１、吸気圧Ｐｍを検出する吸気圧センサ８２、スロットルバルブ１４の開口度であるスロットル開口度ＴＡを検出するスロットルセンサ８３、クランク軸２８の回転角θｃを検出するクランク角センサ８４が含まれる。また、上記センサには、燃焼室２４でのノッキングの発生状況に応じたノック信号Ｋｎｋを出力するノックセンサ８５、燃焼室２４で燃焼された混合気の空燃比ＡＦを検出する空燃比センサ８６も含まれる。また、制御装置７０は、アクセルペダル８７の踏み込み量であるアクセル操作量ＰＡを検出するアクセルペダルセンサ８８や、車両ＶＣ１の前後方向の加速度Ｇｘを検出する加速度センサ８９、車速Ｖを検出する車速センサ９０などの車両ＶＣ１の状態を検出するセンサの検出値も参照する。

さらに、車両ＶＣ１には、手動アクセル走行と自動アクセル走行との走行モードの切替や、自動アクセル走行時の設定速度を変更するための操作パネル９２が設置されている。手動アクセル走行は、運転者のアクセルペダル８７の操作に応じて車両ＶＣ１の加減速を行う走行モードであり、自動アクセル走行は、アクセルペダル８７の操作に基づかずに、車速Ｖを設定速度に維持すべく車両ＶＣ１の加減速を自動で行う走行モードである。制御装置７０は、内燃機関１０の制御量の制御に際して、手動アクセル走行、自動アクセル走行のいずれが車両ＶＣ１の走行モードとして選択されているかを示すモード変数ＭＶの値を参照してもいる。なお、手動アクセル走行から自動アクセル走行への切替は、既定のオートクルーズ許可条件を満たした状態で操作パネル９２において設定速度の設定、及びオートクルーズの開始操作を行うことで許可される。オートクルーズ許可条件には、自動車専用道路を走行中であること、車速Ｖが既定の範囲内の速度であること、などが含まれる。一方、自動アクセル走行から手動アクセル走行への切替は、運転者がブレーキペダルを踏むことや、操作パネル９２においてオートクルーズの解除操作を行うことで実施される。

制御装置７０は、内燃機関１０の制御に係る処理を実行する実行装置としてのＣＰＵ７２と、周辺回路７８と、を備えている。周辺回路７８には、内部の動作を規定するクロック信号を生成する回路や電源回路、リセット回路等が含まれる。また、制御装置７０は、車両ＶＣ１の走行中に記憶したデータ等の書き換えが不能な読込専用メモリ７４と、車両ＶＣ１の走行中に記憶したデータ等を電気的に書き換え可能な不揮発性メモリ７６と、を記憶装置として備えている。これらＣＰＵ７２、読込専用メモリ７４、不揮発性メモリ７６、及び周辺回路７８は、ローカルネットワーク７９を介して通信可能とされている。

読込専用メモリ７４には、内燃機関１０の制御用の制御プログラム７４ａが記憶されている。制御プログラム７４ａには、内燃機関１０の各操作部の操作用のプログラムである第１操作プログラム７４ｂと第２操作プログラム７４ｃとの２つのプログラムが含まれている。また、読込専用メモリ７４には、第１操作プログラム７４ｂによる内燃機関１０の各操作部の操作に用いられる複数の適合済みデータＤＳが記憶されている。一方、不揮発性メモリ７６には、車両ＶＣ１の状態と操作量との関係を規定するデータであり、第２操作プログラム７４ｃによる内燃機関１０の各操作部の操作に用いられる関係規定データＤＲが記憶されている。そして、読込専用メモリ７４には、関係規定データＤＲの更新用のプログラムである学習プログラム７４ｄが記憶されている。

適合済みデータＤＳには、内燃機関１０の各操作部の操作量の演算に用いられる各種のマップデータが含まれる。マップデータは、入力変数の離散的な値と、入力変数のそれぞれの値に対する出力変数の値と、の組データである。マップデータには、要求トルク演算用のマップデータＤＳ１、開口度演算用のマップデータＤＳ２、基本点火時期演算用のマップデータＤＳ３、限界遅角点火時期演算用のマップデータＤＳ４等が含まれる。要求トルク演算用のマップデータＤＳ１は、アクセル操作量ＰＡと車速Ｖとを入力変数とするとともに内燃機関１０のトルクの要求値である要求トルクＴｏｒ＊を出力変数とするマップデータである。開口度演算用のマップデータＤＳ２は、内燃機関１０のトルクを入力変数とするとともに、そのトルクの発生に必要なスロットル開口度ＴＡの値を出力変数とするマップデータである。基本点火時期演算用のマップデータＤＳ３は、機関回転数ＮＥ及び吸気量ＫＬを入力変数とするとともに基本点火時期Ａｂｓｅを出力変数とするマップデータである。基本点火時期Ａｂｓｅは、内燃機関１０のトルクが最大となる点火時期である最適点火時期と、ノッキングを抑制し得る点火時期の進角限界であるトレースノック点火時期と、の２つの時期のうち、より遅角側の時期である。限界遅角点火時期演算用のマップデータＤＳ４は、機関回転数ＮＥと吸気量ＫＬとを入力変数とするとともに限界遅角点火時期Ａｋｍｆを出力変数とするマップデータである。限界遅角点火時期Ａｋｍｆは、燃焼室２４での混合気の燃焼が悪化しない点火時期の遅角限界である。

また、適合済みデータＤＳには、吸気量演算用のモデルデータＤＳ５が含まれる。モデルデータＤＳ５は、燃焼室２４に流入する吸気量ＫＬの演算に用いられる内燃機関１０の吸気挙動の物理モデルのデータであり、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、スロットル開口度ＴＡ、機関回転数ＮＥ等の入力に応じて吸気量ＫＬを出力するものとなっている。

これらマップデータＤＳ１～ＤＳ４及びモデルデータＤＳ５は、これらを用いて演算される操作量が、内燃機関１０の排気性状、燃料消費率、運転者の快適性などの要件を満たす値となるように予め適合されている。そして、マップデータＤＳ１～ＤＳ４及びモデルデータＤＳ５は、車両ＶＣ１の出荷前に読込専用メモリ７４に予め書き込まれており、整備施設などに設置された専用の設備を用いてのみ更新可能とされている。すなわち、適合済みデータＤＳは、車両ＶＣ１の走行中には更新されないデータとなっている。

図２に、本実施形態に係る制御装置７０が実行する内燃機関１０の各操作部の操作に係る処理の手順を示す。図２に示す処理は、読込専用メモリ７４に記憶された制御プログラム７４ａをＣＰＵ７２が既定の制御周期毎に繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。本実施形態では、図２の処理を通じて、車両ＶＣ１が手動アクセル走行を行っているか、自動アクセル走行を行っているかにより、第１操作処理により操作部の操作を実行するか、第２操作処理により操作部の操作を実行するかを切り替える切替処理が行われる。

図２に示す一連の処理が開始されると、ＣＰＵ７２はまずステップＳ１００において、モード変数ＭＶの値を取得する。続いてＣＰＵ７２は、ステップＳ１１０において、モード変数ＭＶの値が示す車両ＶＣ１の走行モードが自動アクセル走行であるか否かを判定する。車両ＶＣ１の走行モードが自動アクセル走行である場合（Ｓ１１０：ＹＥＳ）には、ＣＰＵ７２は、ステップＳ１２０において、第１操作プログラム７４ｂにより内燃機関１０の各操作部を操作する第１操作処理を実行した後、図に示す処理を一旦終了する。これに対して、車両ＶＣ１の走行モードが手動アクセル走行である場合（Ｓ１１０：ＮＯ）には、ＣＰＵ７２は、ステップＳ１３０において、第２操作プログラム７４ｃにより内燃機関１０の各操作部を操作する第２操作処理を実行した後、図２に示す処理を一旦終了する。

続いて、第１操作処理における内燃機関１０の各操作部の操作について説明する。第１操作処理では、読込専用メモリ７４に予め記憶された適合済みデータＤＳを用いてそれぞれ演算された操作量に基づき、内燃機関１０の各操作部の操作が行われる。ここでは、内燃機関１０の操作部のうちのスロットルバルブ１４、燃料噴射弁１６、及び点火装置２６についての第１操作処理における操作について説明する。

図３に、第１操作処理におけるスロットルバルブ１４の操作に係るＣＰＵ７２の処理手順を示す。図３に示されるように、第１操作処理におけるスロットルバルブ１４の操作に際してはまず、アクセル操作量ＰＡ及び車速Ｖを入力としたマップデータＤＳ１の出力が、要求トルクＴｏｒ＊の値として演算される。なお、本実施形態の場合、第１操作処理は、自動アクセル走行モードにおいて実行される。そのため、ここでのアクセル操作量ＰＡには、運転者の実際のアクセルペダルの操作量ではなく、車速Ｖを設定速度に保持するために必要な車両ＶＣ１の加減速の要求量をアクセルペダルの操作量に換算した仮想的なアクセル操作量ＰＡが用いられる。

続いて、要求トルクＴｏｒ＊に緩変化処理を施した値が要求トルク緩変化値Ｔｏｒｓｍ＊として演算される。緩変化処理は、要求トルクＴｏｒ＊を入力とし、その要求トルクＴｏｒ＊に対して遅れを有して追従する値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として出力するフィルタ処理である。本実施形態では、要求トルクＴｏｒ＊の移動平均値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として出力するフィルタ処理を緩変化処理として採用している。こうした緩変化処理により、スロットル開口度ＴＡの急激な変化により、機関回転数ＮＥが急変して運転者の快適性が損なわれたり、吸気の応答遅れにより排気性状が悪化したり、することが抑えられる。

さらに、要求トルク緩変化値Ｔｏｒｓｍ＊を入力としたマップデータＤＳ２の出力が、スロットル開口度ＴＡの指令値である開口度指令値ＴＡ＊の値として演算される。そして、信号出力処理により、開口度指令値ＴＡ＊へのスロットル開口度ＴＡの変更を指令する指令信号ＭＳ１がスロットルバルブ１４に出力される。

図４に、第１操作処理における燃料噴射弁１６の操作に係るＣＰＵ７２の処理手順を示す。図４に示されるように、第１操作処理における燃料噴射弁１６の操作に際してはまず、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、スロットル開口度ＴＡ、機関回転数ＮＥ等を入力としたモデルデータＤＳ５の出力が吸気量ＫＬの値として演算される。そして、燃焼室２４で燃焼する混合気の空燃比の目標値である目標空燃比ＡＦ＊により吸気量ＫＬを割った商が基本噴射量Ｑｂの値として演算される。

また、目標空燃比ＡＦ＊に対する空燃比ＡＦの検出値の偏差に応じて空燃比フィードバック補正値ＦＡＦが演算される。空燃比フィードバック補正値ＦＡＦの演算は、ＰＩＤ処理により行われる。すなわち、目標空燃比ＡＦ＊に対する空燃比ＡＦの検出値の偏差に既定の比例ゲインを乗算した積である比例項、同偏差の時間積分値に既定の積分ゲインを乗算した積である積分項、及び同偏差の時間微分値に既定の微分ゲインを乗算した積である微分項をそれぞれ演算する。そして、それら比例項、積分項、及び微分項を足し合わせた和を空燃比フィードバック補正値ＦＡＦの値として演算する。

また、第１操作処理による燃料噴射弁１６の操作に際しては、空燃比学習値ＫＧの学習処理が行われる。空燃比学習値ＫＧの学習処理は、機関回転数ＮＥや吸気量ＫＬが安定した内燃機関１０の定常運転時における空燃比フィードバック補正値ＦＡＦの値に基づいて次の（イ）～（ハ）の態様で空燃比学習値ＫＧの値を更新することで行われる。（イ）空燃比フィードバック補正値ＦＡＦの絶対値が既定の更新判定値未満の場合には、空燃比学習値ＫＧの値を保持する。（ロ）空燃比フィードバック補正値ＦＡＦが正の値であり、かつその絶対値が既定の更新判定値以上の場合には、更新前の値から既定の更新量を引いた差を更新後の値とするように空燃比学習値ＫＧの値を更新する。（ハ）空燃比フィードバック補正値ＦＡＦが負の値であり、かつその絶対値が更新判定値以上の場合には、更新前の値に上記更新量を足した和を更新後の値とするように空燃比学習値ＫＧの値を更新する。

さらに、基本噴射量Ｑｂ、空燃比フィードバック補正値ＦＡＦ、及び空燃比学習値ＫＧを足し合わせた和が噴射量指令値Ｑｉの値として演算される。そして、信号出力処理により、噴射量指令値Ｑｉの演算値に応じた量の燃料噴射を指令する指令信号ＭＳ２が燃料噴射弁１６に出力される。

図５に、第１操作処理における点火装置２６の操作に係るＣＰＵ７２の処理手順を示す。第１操作処理における点火装置２６の操作に際してはまず、機関回転数ＮＥ及び吸気量ＫＬを入力としたマップデータＤＳ３の出力が基本点火時期Ａｂｓｅの値として演算される。また、機関回転数ＮＥ及び吸気量ＫＬを入力としたマップデータＤＳ４の出力が限界遅角点火時期Ａｋｍｆの値として演算される。そして、基本点火時期Ａｂｓｅから限界遅角点火時期Ａｋｍｆを引いた差が限界遅角量Ａｋｍａｘの値として演算される。

また、第１操作処理における点火装置２６の操作に際しては、ノック信号Ｋｎｋに基づくノック制御量Ａｋｃｓの演算処理が行われる。ノック制御量Ａｋｃｓの演算は、下記（ニ）、（ホ）の態様でノック制御量Ａｋｃｓの値を更新することで行われる。（ニ）ノック信号Ｋｎｋがノッキングの発生を示す値である場合には、更新前の値に既定のノック遅角量を加えた和を更新後の値とするようにノック制御量Ａｋｃｓの値を更新する。（ホ）ノック信号Ｋｎｋがノッキングの発生がないことを示す値である場合には、更新前の値から既定のノック進角量を引いた差を更新後の値とするようにノック制御量Ａｋｃｓの値を更新する。なお、ノック遅角量には正の値が、ノック進角量にはノック遅角量よりも大きい値が、それぞれ設定されている。

そして、限界遅角量Ａｋｍａｘにノック制御量Ａｋｃｓを加えた和が点火時期遅角量Ａｋｎｋの値として演算され、さらに基本点火時期Ａｂｓｅから点火時期遅角量Ａｋｎｋを引いた差が点火時期指令値Ａｏｐの値として演算される。そして、信号出力処理により、点火時期指令値Ａｏｐの演算値に対応した時期の点火の実行を指令する指令信号ＭＳ３が点火装置２６に出力される。

続いて、第２操作処理における内燃機関１０の各操作部の操作について説明する。第２操作処理では、不揮発性メモリ７６に記憶された関係規定データＤＲと車両ＶＣ１の状態とにより定まる操作量に応じて内燃機関１０の各操作部の操作が行われる。なお、ＣＰＵ７２は、第２操作処理と並行して、報酬算出処理、及び更新処理を実行する。報酬算出処理及び更新処理は、ＣＰＵ７２が読込専用メモリ７４に記憶された学習プログラム７４ｄを読み込んで実行することで実現される。

なお、本実施形態における関係規定データＤＲは、行動価値関数Ｑ、及び方策πを定めるデータとされている。行動価値関数Ｑは、状態ｓ及び行動ａの各独立変数に応じた期待収益の値を示すテーブル形式の関数である。本実施形態では、状態ｓを、機関回転数ＮＥ、吸気量ＫＬ、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、空燃比ＡＦ、アクセル操作量ＰＡ、及び車速Ｖの８つの変数としている。また、本実施形態では、行動ａを、内燃機関１０の操作部の操作量である開口度指令値ＴＡ＊、噴射量指令値Ｑｉ、及び点火時期指令値Ａｏｐの３つの変数としている。すなわち、状態ｓは８次元のベクトルであり、行動ａは３次元のベクトルである。また、本実施形態に係る行動価値関数Ｑ（ｓ，ａ）は、テーブル形式の関数とされている。

図６に、第２操作処理、報酬算出処理、及び更新処理の各処理に係るＣＰＵ７２の処理手順を示す。ＣＰＵ７２は、図２のステップＳ１３０における第２操作処理の実行毎に、図６に示す一連の処理を実行する。なお、本実施形態では、図６のＳ５１０～Ｓ５３０が第２操作処理に、図６のＳ５４０及びＳ５５０が報酬算出処理に、図６のＳ５６０～Ｓ５９０が更新処理に、それぞれ該当する。

図６に示す一連の処理が開始されると、まずステップＳ５００において、「ｔ」の値が「０」にリセットされる。続いてステップＳ５１０において、車両ＶＣ１の最新の状態ｓが読み込まれ、その読み込まれた状態ｓの各変数の値が状態ｓ［ｔ］の各変数の値として代入される。次に、ステップＳ５２０において、関係規定データＤＲに規定された方策π［ｔ］に従って、行動ａ［ｔ］が選択される。ここでの行動ａ［ｔ］は、状態ｓ［ｔ］に対して選択された行動ａであることを意味する。また、方策π［ｔ］は、状態ｓ［ｔ］において、行動価値関数Ｑ（ｓ［ｔ］，ａ）を最大化する行動ａを、すなわちグリーディな行動を選択する確率を最大としつつも、それ以外の行動ａの選択確率も「０」としないものとなっている。このようにグリーディな行動を採用しない場合があることで、最適な行動を探るための探索を可能としている。こうした方策πは、εグリーディ行動選択手法や、ソフトマックス行動選択手法によって実現できる。そして、続くステップＳ５３０において、行動ａ［ｔ］として選択された開口度指令値ＴＡ＊、噴射量指令値Ｑｉ、及び点火時期指令値Ａｏｐに応じて、スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６のそれぞれに操作信号ＭＳ１～ＭＳ３が出力される。

その後、ステップＳ５４０及びステップＳ５５０において、報酬算出処理が実施される。報酬算出処理では、まずステップＳ５４０において、上記行動ａ［ｔ］に応じた操作部の操作後の最新の状態ｓが読み込まれ、その読み込まれた状態ｓの各変数の値が状態ｓ［ｔ＋１］の各変数の値として設定される。そして、ステップＳ５５０において、状態ｓ［ｔ＋１］に基づき、行動ａ［ｔ］による報酬ｒ［ｔ］が算出される。報酬ｒ［ｔ］は、目標空燃比ＡＦ＊に対する空燃比ＡＦの偏差の積算値等から求められた内燃機関１０の排気特性に関する報酬、噴射量指令値Ｑｉの積算値等から求められた内燃機関１０の燃料消費率に関する報酬、加速度Ｇｘの積算値等から求められた運転者の快適性に関する報酬など、観点の異なる複数の報酬の和として算出される。

続いてステップＳ５６０において、行動価値関数Ｑのうち、状態ｓ［ｔ］、行動ａ［ｔ］の場合の行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）の値を更新する更新量を算出するための誤差δ［ｔ］が算出される。本実施形態では、方策オフ型ＴＤ法を用いて誤差δ［ｔ］を算出している。すなわち、割引率γを用いて、誤差δ［ｔ］を、行動価値関数Ｑ（ｓ［ｔ＋１］，Ａ）のうちの最大値に割引率γを乗算した値、及び報酬ｒ［ｔ］の和から行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）を減算した値とする。なお、「Ａ」は、行動ａの集合を意味する。次に、ステップＳ５７０において、誤差δ［ｔ］に学習率αを乗算した積を行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）に加算することによって、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が更新される。すなわち、関係規定データＤＲによって規定されている行動価値関数Ｑ（ｓ，ａ）のうち、独立変数が状態ｓ［ｔ］及び行動ａ［ｔ］となるものの値を、「α・δ［ｔ］」だけ変化させる。これらステップＳ５６０及びステップＳ５７０の処理により、報酬ｒ［ｔ］の期待収益を増加させるように関係規定データＤＲが更新される。これは、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が更新されることによって、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が実際の期待収益をより高精度に表現する値に更新されるためである。

続くステップＳ５８０では、各独立変数について行動価値関数Ｑの値が収束したか否かが判定される。収束していないと判定された場合（ＮＯ）には、ステップＳ５９０において、「ｔ」の値が「１」加増された後、ステップＳ５１０に処理が戻される。これに対して、行動価値関数Ｑの値が収束したと判定された場合（Ｓ５８０：ＹＥＳ）には、図６に示す一連の処理が一旦終了される。

本実施形態の作用及び効果について説明する。
本実施形態における制御装置７０は、第１操作処理と第２操作処理との２つの操作処理からいずれかの処理を選択して内燃機関１０の操作部の操作を行う。第１操作処理では、読込専用メモリ７４に予め記憶された適合済みデータＤＳを用いて演算した操作量により操作部を操作する。こうした第１操作処理での操作量の演算に用いる適合済みデータＤＳは、車両ＶＣ１の出荷前に予め適合を済ませておく必要がある。一方、第２操作処理では、不揮発性メモリ７６に記憶された関係規定データＤＲと車両ＶＣ１の状態とにより定まる操作量にて操作部を操作する。そして、第２操作処理の実行中は、同第２操作処理による操作部の操作の結果として変化する車両ＶＣ１の状態から報酬ｒが算出されるとともに、その報酬ｒの期待収益が増加するように関係規定データＤＲが更新される。すなわち、第２操作処理による内燃機関１０の操作部の操作時には、強化学習による操作量の適合が進められる。このように車両ＶＣ１の走行中に強化学習による操作量の適合を行えば、車両出荷前の熟練者による操作量の適合に係る工数を低減できる。しかしながら、車両走行中の強化学習による操作量の適合は、制御装置７０の演算負荷の増大を伴うものとなっている。このように車両走行中の強化学習による操作量の適合には、熟練者による操作量の適合に係る工数を低減できるというメリットがある一方で、制御装置７０の演算負荷を増加させるというデメリットが存在する。また、強化学習による操作量の適合の完了にはある程度の時間を要するため、適合が完了するまでは内燃機関１０の制御性が悪化する虞もある。

本実施形態の制御装置７０が適用される内燃機関１０が搭載された車両ＶＣ１は、運転者のアクセルペダル操作に応じて車両ＶＣ１の加減速を行う手動アクセル走行と、アクセルペダル操作に基づかずに車両ＶＣ１の加減速を自動で行う自動アクセル走行と、を行うものとなっている。手動アクセル走行時と自動アクセル走行時とでは、車両ＶＣ１が取り得る状態に違いがあるため、操作量の適合もそれぞれ個別に行う必要がある。なお、車両ＶＣ１での自動アクセル走行は、自動車専用道路の走行中に運転者が自動アクセル走行を選択した場合に限り実施される。そのため、自動アクセル走行は、手動アクセル走行に比べて低い頻度でしか実施されない可能性が高く、自動アクセル走行時の操作量の適合を強化学習で行うとすると、その適合が未完了の状態が長く続く虞がある。

そこで本実施形態では、想定される実施頻度の高い手動アクセル走行については、車両走行中の強化学習により操作量の適合を行う一方で、想定される実施頻度の低い自動アクセル走行については従来手法により操作量の適合を行うようにしている。こうした本実施形態では、自動アクセル走行については従来手法により操作量を適合する必要があるが、手動アクセル走行、自動アクセル走行の双方について従来手法により操作量を適合する場合に比べてば、熟練者の適合に係る工数は少なくて済む。

以上の本実施形態によれば、以下の効果を奏することができる。
（１）上記実施形態では、想定される実施の頻度が高い手動アクセル走行における内燃機関１０の操作部の操作量の適合は車両走行中の強化学習により行っている。一方、想定される実施の頻度が低く、車両走行中の強化学習の実施機会が限られると考えられる自動アクセル走行における操作部の適合については従来手法で行っている。よって、手動アクセル走行、自動アクセル走行の双方における操作量の適合を各々に適した手法で実施でき、かつ熟練者の適合に係る工数を低減できる。

（２）手動アクセル走行時の操作量の適合が、車両走行中の強化学習を通じて行われる。そのため、手動アクセル走行時における内燃機関１０の操作部の操作量の適合結果に内燃機関１０の個体差や経時変化が反映され、そうした個体差や経時変化に起因した内燃機関１０の制御性の悪化が抑えられる。

（第２実施形態）
次に、内燃機関の制御装置の第２実施形態を、図７を併せ参照して詳細に説明する。なお本実施形態にあって、上記実施形態と共通する構成については、同一の符号を付してその詳細な説明は省略する。

第１実施形態では、運用上、自動アクセル走行よりも手動アクセル走行の実施頻度が高いことが想定される車両ＶＣ１において、内燃機関１０の操作部の操作量の適合を、自動アクセル走行時には従来手法により、手動アクセル走行時には車両走行中の強化学習により、それぞれ行うようにしていた。これに対して本実施形態の制御装置７０を適用する内燃機関１０を搭載する車両ＶＣ１は、手動アクセル走行よりも自動アクセル走行の実施頻度が高くなるように運用されるものとなっている。

図７に、本実施形態に係る制御装置７０が実行する内燃機関１０の各操作部の操作に係る処理の手順を示す。図７に示す処理は、読込専用メモリ７４に記憶された制御プログラム７４ａをＣＰＵ７２が既定の制御周期毎に繰り返し実行することにより実現される。

図７に示す一連の処理が開始されると、ＣＰＵ７２はまずステップＳ７００において、モード変数ＭＶの値を取得する。続いてＣＰＵ７２は、ステップＳ７１０において、モード変数ＭＶの値が示す車両ＶＣ１の走行モードが自動アクセル走行であるか否かを判定する。車両ＶＣ１の走行モードが自動アクセル走行である場合（Ｓ７１０：ＹＥＳ）には、ＣＰＵ７２は、ステップＳ７２０において、第２操作プログラム７４ｃにより内燃機関１０の各操作部を操作する第２操作処理を実行した後、図７に示す処理を一旦終了する。これに対して、車両ＶＣ１の走行モードが手動アクセル走行である場合（Ｓ７１０：ＮＯ）には、ＣＰＵ７２は、ステップＳ７３０において、第１操作プログラム７４ｂにより内燃機関１０の各操作部を操作する第１操作処理を実行した後、図７に示す処理を一旦終了する。

本実施形態においても、図７のステップＳ７３０において第１操作処理が実行されたときのスロットルバルブ１４、燃料噴射弁１６、及び点火装置２６の操作は、第１実施形態の場合と同様にそれぞれ図３、図４、及び図５に示される態様で行われる。ただし、本実施形態では、手動アクセル走行時に第１操作処理が実行されるため、要求トルクＴｏｒ＊の演算に使用するアクセル操作量ＰＡとしては、運転者の実際のアクセルペダルの操作量の検出値が用いられる。また、図７のステップＳ７２０において第２操作処理が実行されたときの処理は、第１実施形態の場合と同様に図６に示される態様で行われる。ただし、本実施形態では、自動アクセル走行時に第２操作処理が実行される。そのため、図６のステップＳ５１０において車両ＶＣ１の最新の状態ｓとして読み込まれる各変数のうちの一つであるアクセル操作量ＰＡは、車速Ｖを設定速度に保持するために必要な車両ＶＣ１の加減速の要求量をアクセルペダルの操作量に換算した仮想的なアクセル操作量ＰＡとなる。

こうした本実施形態では、第１実施形態の場合とは逆に、内燃機関１０の操作部の操作量の適合が、手動アクセル走行時には従来手法により、自動アクセル走行時には車両走行中の強化学習により、それぞれ行われる。本実施形態の場合には、手動アクセル走行よりも高い頻度での自動アクセル走行の実施が想定されるため、上記態様で操作量の適合を行う方が望ましい結果が得られる。

（第３実施形態）
次に、内燃機関の制御装置の第３実施形態を、図８～図１１を併せ参照して詳細に説明する。なお本実施形態にあって、上記実施形態と共通する構成については、同一の符号を付してその詳細な説明は省略する。なお、本実施形態は、第２実施形態と同様に、自動アクセル走行中は第２操作処理により、手動アクセル走行中は第１操作処理により、それぞれ内燃機関１０の操作部を操作するものとなっている。

図８に、本実施形態に係る制御装置７０が実行する内燃機関１０の各操作部の操作に係る処理の手順を示す。図７に示す処理は、読込専用メモリ７４に記憶された制御プログラム７４ａをＣＰＵ７２が既定の制御周期毎に繰り返し実行することにより実現される。

図８に示す一連の処理が開始されると、ＣＰＵ７２はまずステップＳ８００において、モード変数ＭＶの値を取得する。続いてＣＰＵ７２は、ステップＳ８１０において、モード変数ＭＶの値が示す車両ＶＣ１の走行モードが自動アクセル走行であるか否かを判定する。

車両ＶＣ１の走行モードが自動アクセル走行である場合（Ｓ８１０：ＹＥＳ）には、ＣＰＵ７２は、ステップＳ８２０においてフラグＦ１をクリアした後、ステップＳ８２５において第２操作プログラム７４ｃにより内燃機関１０の各操作部を操作する第２操作処理を実行した後、図８に示す処理を一旦終了する。なお、後述のように、ＣＰＵ７２は、第１操作処理による操作の開始が許可されたときにセットするとともに、同第１操作処理による操作を終了して第２操作処理による操作を開始するときにクリアするようにフラグＦ１を操作している。

これに対して、モード変数ＭＶの値が示す車両ＶＣ１の走行モードが手動アクセル走行である場合（Ｓ８１０：ＮＯ）には、ＣＰＵ７２はステップＳ８３０において、フラグＦ１がセットされているか否かを判定する。そして、ＣＰＵ７２は、フラグＦ１がセットされている場合（ＹＥＳ）には、ステップＳ８４０において第１操作プログラム７４ｂにより内燃機関１０の各操作部を操作する第１操作処理を実行した後、図８に示す処理を一旦終了する。

フラグＦ１がクリアされている場合（Ｓ８３０：ＮＯ）には、ＣＰＵ７２はステップＳ８５０において、第１操作処理による開口度指令値ＴＡ＊、及び噴射量指令値Ｑｉの演算を実施する。ここで演算された開口度指令値ＴＡ＊及び噴射量指令値Ｑｉは、実際のスロットルバルブ１４及び燃料噴射弁１６の操作には反映されず、それらの演算値は不揮発性メモリ７６に記憶される。なお、以下の説明では、第１操作処理による開口度指令値ＴＡ＊及び噴射量指令値Ｑｉの演算値をそれぞれＴＡ＊［１］、Ｑｉ［１］と記載する。また、第２操作処理による開口度指令値ＴＡ＊及び噴射量指令値Ｑｉの演算値をＴＡ＊［２］、Ｑｉ［２］と記載する。

続いてＣＰＵ７２は、ステップＳ８６０において、モード変数ＭＶの値が自動アクセル走行を示す値から手動アクセル走行を示す値に切り替わってからの経過時間を示すカウンタＣＮＴの値をインクリメントした後、ステップＳ８７０においてカウンタＣＮＴの値が既定の完了判定値以上であるか否かを判定する。そしてＣＰＵ７２は、カウンタＣＮＴの値が完了判定値未満の場合（ＮＯ）にはそのまま上述のステップＳ８２５に処理を進め第２操作処理を実行した後、図８に示す処理を一旦終了する。これに対してＣＰＵ７２は、カウンタＣＮＴの値が完了判定値以上の場合（Ｓ８７０：ＹＥＳ）には、ステップＳ８８０においてフラグＦ１をセットするとともにカウンタＣＮＴの値を「０」にリセットした後、ステップＳ８２５に処理を進める。そして、ＣＰＵ７２は、ステップＳ８２５において第２操作処理を実行した後、図８に示す処理を一旦終了する。

図８に示す一連の処理においてフラグＦ１は、自動アクセル走行中はクリアされた状態に保持されており、自動アクセル走行から手動アクセル走行への切替の直後にもフラグＦ１はクリアされた状態となっている。よって、自動アクセル走行から手動アクセル走行への切替の直後には、第１操作処理による開口度指令値ＴＡ＊［１］及び噴射量指令値Ｑｉ［１］の演算は行われるものの、実際の内燃機関１０の操作部の操作は、第２操作処理により実行される。

その後も、図８に示す一連の処理の制御周期毎の実行毎に、第１操作処理による開口度指令値ＴＡ＊［１］及び噴射量指令値Ｑｉ［１］の演算が行われる。また、その実行毎にカウンタＣＮＴの値がインクリメントされる。これにより、カウンタＣＮＴの値が完了判定値に到達すると、フラグＦ１がセットされるとともに、カウンタＣＮＴの値がリセットされる。そのため、次回の制御周期には、第２操作処理による操作部の操作が終了されて第１操作処理による操作部の操作が開始される。

このように、本実施形態では、基本的には手動アクセル走行時には第１操作処理により、それぞれ内燃機関１０の操作部の操作を実行しているが、自動アクセル走行から手動アクセル走行への切替後の一定の期間は第２操作処理による内燃機関１０の操作部の操作を継続している。そして、その第２操作処理を継続している期間に、第１操作処理による開口度指令値ＴＡ＊［１］及び噴射量指令値Ｑｉ［１］の演算を行うようにしている。

図９に、ステップＳ８５０における噴射量指令値Ｑｉ［１］の演算に係るＣＰＵ７２の処理手順を示す。このときにも、ＣＰＵ７２は、第１操作処理による燃料噴射弁１６の操作時と同様に、基本噴射量Ｑｂ、空燃比フィードバック補正値ＦＡＦ、及び空燃比学習値ＫＧを足し合わせた和を噴射量指令値Ｑｉ［１］の値として演算する。ただし、このときの実際の燃料噴射弁１６の操作は、第２操作処理により行われており、噴射量指令値Ｑｉ［１］の演算結果が空燃比ＡＦに反映されないため、空燃比ＡＦの検出値に基づいても、同空燃比ＡＦを目標空燃比ＡＦ＊とするために必要な空燃比フィードバック補正値ＦＡＦの値は求められない。

一方、上述のように第２操作処理の実行中は、強化学習による操作量の適合が行われている。こうした強化学習による操作量の適合が十分に進んでいれば、第２操作処理による噴射量指令値Ｑｉ［２］の演算値は、空燃比ＡＦを目標空燃比ＡＦ＊とする値となっている筈である。よって、図９に示す処理を通じて演算した噴射量指令値Ｑｉ［１］により燃料噴射弁１６を操作した場合の空燃比の値は、第２操作処理による噴射量指令値Ｑｉ［２］に目標空燃比ＡＦ＊を乗算した積を、噴射量指令値Ｑｉ［１］で割った商（＝ＡＦ＊×Ｑｉ［２］／Ｑｉ［１］）として求められる。図９に示される一連の処理では、上記商が仮想空燃比ｖＡＦの値として演算されている。そして、その仮想空燃比ｖＡＦに対する目標空燃比ＡＦ＊の偏差に応じて空燃比フィードバック補正値ＦＡＦの演算が行われている。

本実施形態の作用及び効果について説明する。
上述のように、第１操作処理によるスロットルバルブ１４の開口度指令値ＴＡ＊の演算に際しては、要求トルクＴｏｒ＊を入力とするとともにその要求トルクＴｏｒ＊の変化に対して遅れを有して追従する値を要求トルク緩変化値Ｔｏｒｓｍ＊として出力する緩変化処理が行われる。そして、要求トルク緩変化値Ｔｏｒｓｍ＊を入力としたマップデータＤＳ２の出力が開口度指令値ＴＡ＊の値として演算されている。

図１０（ａ）には要求トルクＴｏｒ＊が急減したときの要求トルクＴｏｒ＊が二点鎖線で、そのときの要求トルク緩変化値Ｔｏｒｓｍ＊の推移が実線で、それぞれ示されている。また、図１０（ｂ）にはそのときの第１操作処理による開口度指令値ＴＡ＊［１］の推移が実線で示されている。このように、開口度指令値ＴＡ＊［１］は、要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値として演算されている。第１操作処理では、緩変化処理により、吸気の応答遅れによる内燃機関１０の排気性状の悪化や機関回転数ＮＥの急変による運転者の快適性の低下を抑制している。

一方、上述のように第２操作処理では、車両ＶＣ１の状態ｓを入力とした関係規定データＤＲの出力として内燃機関１０の各操作部の操作量が演算されている。また、第２操作処理の操作量の適合は、内燃機関１０の排気性状や運転者の快適性の観点から算出された報酬ｒに基づく強化学習により行われている。こうした強化学習による適合が適切になされれば、第２操作処理による開口度指令値ＴＡ＊［２］の演算値も、第１操作処理による開口度指令値ＴＡ＊［１］と同様に、要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値となるように演算される。なお、以下の説明では、要求トルクＴｏｒ＊の変更に応じて開口度指令値ＴＡ＊の値が変化し始めた時点から、変更後の要求トルクＴｏｒ＊に応じた値に開口度指令値ＴＡ＊が収束する時点までの開口度指令値ＴＡ＊が変化している期間を過渡期間と記載する。

ここで、図１０に示される過渡期間中の時刻ｔ１に、第２操作処理から第１操作処理への操作部の操作の切替を実施するとともに、その切替と同時に第１操作処理による開口度指令値ＴＡ＊［１］の演算も開始する場合を考える。図１０には、この場合の要求トルク緩変化値Ｔｏｒｓｍ＊及び開口度指令値ＴＡ＊の推移がそれぞれ点線で示されている。なお、この場合には、時刻ｔ１以前は第２操作処理による開口度指令値ＴＡ＊［２］の演算値が、時刻ｔ１以降は第１操作処理による開口度指令値ＴＡ＊［１］の演算値が、それぞれスロットルバルブ１４の操作に用いられる。この場合には、緩変化処理も時刻ｔ１に開始されるため、開口度指令値ＴＡ＊［１］には、時刻ｔ１以前の要求トルクＴｏｒ＊の推移は反映されなくなる。そのため、第２操作処理から第１操作処理への切替前後で開口度指令値ＴＡ＊に段差が生じてしまい、内燃機関１０の制御性が悪化する。

これに対して本実施形態では、第１操作処理による内燃機関１０の操作部の操作の開始に先行して、第１操作処理による開口度指令値ＴＡ＊［１］の演算を開始している。そのため、第１操作処理による内燃機関１０の操作部の操作の開始時における開口度指令値ＴＡ＊［１］の値に、その開始前の要求トルクＴｏｒ＊の推移が反映されるようになり、操作処理の切替に伴う開口度指令値ＴＡ＊の変化が抑えられる。

さらに、本実施形態では、第２操作処理から第１操作処理への内燃機関１０の操作部の操作の切替に先行して、第１操作処理による開口度指令値ＴＡ＊［１］の演算と共に、噴射量指令値Ｑｉ［１］の演算も開始している。

図１１に、本実施形態の制御装置７０における、自動アクセル走行から手動アクセル走行への車両ＶＣ１の走行モードの切替時の燃料噴射弁１６の操作に係る制御態様を示す。なお、図１１（ａ）にはモード変数ＭＶの推移が、図１１（ｂ）にはカウンタＣＮＴの推移が、図１１（ｃ）にはフラグＦ１の推移が、図１１（ｄ）には噴射量指令値Ｑｉの推移が、図１１（ｅ）には空燃比フィードバック補正値ＦＡＦの推移が、それぞれ示されている。

図１１の例では、時刻ｔ２に、車両ＶＣ１の走行モードが自動アクセル走行から手動アクセル走行に切り替えられている。上述のように本実施形態では、基本的には、自動アクセル走行時には第２操作処理により、手動アクセル走行時には第１操作処理により、それぞれ内燃機関１０の操作部の操作を行っている。ただし、この時刻ｔ２の時点では、第２操作処理が継続され、同第２操作処理による噴射量指令値Ｑｉ［２］に従って燃料噴射弁１６の操作が続けられる。なお、強化学習による第２操作処理の操作量の適合が適正になされた状態では、空燃比ＡＦを目標空燃比ＡＦ＊とする値が噴射量指令値Ｑｉ［２］として演算される。

一方、時刻ｔ２には、第１操作処理による噴射量指令値Ｑｉ［１］の演算が開始される。上述のように、第１操作処理での噴射量指令値Ｑｉ［１］の演算に際しては、目標空燃比ＡＦ＊に対する空燃比ＡＦの偏差に応じて演算された空燃比フィードバック補正値ＦＡＦによるフィードバック補正処理が行われる。噴射量指令値Ｑｉ［１］の演算を開始したばかりの空燃比フィードバック補正値ＦＡＦの値は「０」となっており、噴射量指令値Ｑｉ［１］は空燃比ＡＦを目標空燃比ＡＦ＊とする値から乖離している可能性がある。図１１の場合、時刻ｔ２における噴射量指令値Ｑｉ［１］は、噴射量指令値Ｑｉ［２］よりも小さい値となっている。上記のように空燃比ＡＦを目標空燃比ＡＦ＊とする値が噴射量指令値Ｑｉ［２］として演算されているのであれば、噴射量指令値Ｑｉ［１］は、空燃比ＡＦを目標空燃比ＡＦ＊よりもリーン側の空燃比とする値となっていることになる。よって、この時刻ｔ２の時点で、第１操作処理による内燃機関１０の操作部の操作を開始した場合には、空燃比ＡＦが一時的に目標空燃比ＡＦ＊よりもリーン側の空燃比となってしまい、内燃機関１０の排気性状が悪化してしまう。

なお、このときには、両操作処理の噴射量指令値Ｑｉ［１］、Ｑｉ［２］に基づき、噴射量指令値Ｑｉ［１］に従って燃料噴射弁１６を操作した場合の空燃比ＡＦの予想値が仮想空燃比ｖＡＦとして演算され、その仮想空燃比ｖＡＦを用いて空燃比フィードバック補正値ＦＡＦの演算が行われる。第２操作処理の噴射量指令値Ｑｉ［２］の適合、及び仮想空燃比ｖＡＦの演算が適正になされているのであれば、時刻ｔ２以降の噴射量指令値Ｑｉ［１］は、空燃比ＡＦを目標空燃比ＡＦ＊とする値に、すなわち噴射量指令値Ｑｉ［２］に次第に近づくようになる。

一方、時刻ｔ２には、カウンタＣＮＴのカウントアップが開始される。そして、カウンタＣＮＴの値が完了判定値に達する時刻ｔ３にフラグＦ１がセットされる。本実施形態では、このときのフラグＦ１のセット操作に応じて、内燃機関１０の操作部を操作する処理が第２操作処理から第１操作処理に切り替えられる。この時点では、第１操作処理による噴射量指令値Ｑｉ［１］の演算値は、噴射量指令値Ｑｉ［２］と同じ値、すなわち空燃比ＡＦを目標空燃比ＡＦ＊する値の近傍に収束している。そのため、第１操作処理による燃料噴射弁１６の操作の開始直後の目標空燃比ＡＦ＊からの空燃比ＡＦの乖離が抑えられる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・自動アクセル走行、手動アクセル走行について
上記実施形態における自動アクセル走行は、車速Ｖを設定速度に維持すべく、車両ＶＣ１の加減速を自動で行う走行モードとしていたが、走行中の道路や周辺の車両や歩行者などを検知してその検知結果に基づき車両ＶＣ１の加減速を自動で行う走行モードを自動アクセル走行として行うようにしてもよい。また、自動アクセル走行において、車両ＶＣ１の加減速に加えて車両ＶＣ１の操舵や制動の少なくとも一方を自動で行うようにしてもよい。また、手動アクセル走行において、車両ＶＣ１の加減速は運転者のアクセルペダル操作に応じて手動で行う一方で、車両ＶＣ１の操舵、制動の少なくとも一方は自動で行うようにしてもよい。

・内燃機関の操作部について
スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６以外の操作部を、第１操作処理と第２操作処理との切替の対象とする内燃機関１０の操作部としてもよい。例えば排気の一部を吸気中に再循環する排気再循環機構を備えるとともに排気の再循環量を調整するＥＧＲバルブが同排気再循環機構に設けられた内燃機関の場合、ＥＧＲバルブを第１操作処理と第２操作処理との切替対象とする内燃機関の操作部としてもよい。また、吸気バルブ１８や排気バルブ３０の動弁特性を可変とする可変動弁機構を備える内燃機関の場合には、同可変動弁機構を第１操作処理と第２操作処理との切替対象とする内燃機関の操作部としてもよい。

・切替処理について
切替処理による第１操作処理、第２操作処理の切替の対象とする操作部を内燃機関の操作部の中の一部の操作部に限定し、残りの操作部については手動・自動のいずれのアクセル操作走行においても、第１又は第２のいずれかの操作処理で操作するようにしてもよい。

・状態ｓについて
上記実施形態では、機関回転数ＮＥ、吸気量ＫＬ、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、空燃比ＡＦ、アクセル操作量ＰＡ、及び車速Ｖの８つの変数を状態ｓとしていたが、それらのうちの一つ以上を状態ｓから割愛したり、内燃機関１０や車両ＶＣ１の状態を示すそれら以外の変数を状態ｓに加えたりしてもよい。

・報酬ｒについて
状態ｓに基づく報酬ｒの算出を、上記実施形態とは異なる態様で行うようにしてもよい。例えば窒素酸化物や微粒子物質などの排気の有害成分の排出量を取得するとともにその排出量に基づき内燃機関１０の排気特性に関する報酬を算出したり、車室の振動や騒音レベルを測定するとともにその測定結果に基づいて快適性に関する報酬を算出したり、してもよい。

・行動価値関数Ｑについて
上記実施形態では、行動価値関数Ｑをテーブル形式の関数としていたが、これに限らない。例えば関数近似器を行動価値関数Ｑとして用いるようにしてもよい。また、行動価値関数Ｑを用いる代わりに、状態ｓ及び行動ａを独立変数とするとともに行動ａを取る確率を従属変数とする関数近似器にて方策πを表現し、報酬ｒに応じてその方策πを更新するようにしてもよい。

・更新処理について
上記実施形態では、方策オフ型ＴＤ法により関係規定データＤＲを更新していたが、例えばＳＡＲＳＡ法のような方策オン型ＴＤ法により同更新を行うようにしてもよい。また、方策オン型の更新手法として、適格度トレース法を用いるようにしてもよい。さらに、モンテカルロ法などの上記以外の方法により、関係規定データＤＲの更新を行うことも可能である。

・フィードバック補正処理について
上記実施形態における第１操作処理での燃料噴射弁１６の噴射量指令値Ｑｉ［１］の演算は、空燃比ＡＦに応じたフィードバック補正処理を通じて行われていた。そして、第３実施形態では、第２操作処理から第１操作処理への操作の切替に際して、第２操作処理による操作を終了して第１操作処理による操作を開始する前に、上記フィードバック補正処理による噴射量指令値Ｑｉ［１］の演算を先行して開始していた。第１操作処理で演算する操作量の中に同様のフィードバック補正処理を通じて演算される操作量が存在する場合、噴射量指令値Ｑｉ［１］と同様に、第１操作処理による操作の開始前にそのフィードバック補正処理による操作量の演算を開始するようにしてもよい。

ちなみに、ここでのフィードバック補正処理とは、次の処理である。フィードバック補正処理での操作量の演算は、予め記憶装置に記憶されたデータであって、車両の状態を示す変数である状態変数を入力とするとともに操作量を出力とする写像を規定する適合済みのデータを用いて行われる。そして、フィードバック補正処理では、内燃機関の制御量の目標値に対する同制御量の検出値の偏差に応じてフィードバック補正値を演算するとともに、状態変数の検出値を入力とした上記写像の出力値を上記フィードバック補正値により補正した値を操作量として演算する。こうしたフィードバック補正処理では、内燃機関の制御量を目標値とすべく、操作量のフィードバック補正が行われる。こうしたフィードバック補正による目標値への制御量の収束にはある程度の時間を要する。そのため、第２操作処理による操作部の操作から第１操作処理による操作部の操作への切替と共にフィードバック補正処理を開始する場合には、制御量が目標値に収束するまでの間、内燃機関の制御性が悪化する虞がある。こうした第２操作処理から第１操作処理への操作の切替直後の内燃機関の制御性の悪化は、操作の切替に先行してフィードバック補正処理による操作量の演算を開始することで抑えられる。

・緩変化処理について
上記実施形態における第１操作処理でのスロットルバルブ１４の開口度指令値ＴＡ＊［１］の演算は、緩変化処理を通じて行われていた。そして、第３実施形態では、第２操作処理から第１操作処理への操作の切替に際して、第２操作処理による操作を終了して第１操作処理による操作を開始する前に、上記緩変化処理による開口度指令値ＴＡ＊［１］の演算を先行して開始していた。第１操作処理で演算する操作量の中に同様の緩変化処理を通じて演算される操作量が存在する場合、開口度指令値ＴＡ＊［１］と同様に、第１操作処理の操作を開始する前にその緩変化処理を通じた操作量の演算を開始するようにしてもよい。

ちなみに、ここでの緩変化処理とは、次の処理である。緩変化処理での操作量の演算も、予め記憶装置に記憶されたデータであって、車両の状態を示す変数である状態変数を入力とするとともに操作量を出力とする写像を規定する適合済みのデータを用いて行われる。そして、緩変化処理は、次の２つの処理Ａ、Ｂのいずれか一方の処理となっている。処理Ａは、状態変数の検出値を入力とするとともに同検出値に対して遅れを有して変化する値を上記写像の入力値として出力する処理である。これに対して、処理Ｂは、上記写像の出力値を入力とするとともに同出力値に対して遅れを有して変化する値を操作量の演算値として出力する処理である。なお、上記実施形態でのスロットルバルブ１４の開口度指令値ＴＡ＊［１］の演算に際しては、上記処理Ａが緩変化処理として行われるが、上記処理Ｂを緩変化処理として行うことも可能である。

図１２には、処理Ｂを緩変化処理として行って開口度指令値ＴＡ＊を演算する場合の第１操作処理におけるスロットルバルブ１４の操作に係るＣＰＵ７２の処理手順を示す。図１２に示されるように、この場合の第１操作処理におけるスロットルバルブ１４の操作に際してはまず、アクセル操作量ＰＡ及び車速Ｖを入力としたマップデータＤＳ１の出力が、要求トルクＴｏｒ＊の値として演算される。続いて、要求トルクＴｏｒ＊を入力としたマップデータＤＳ２の出力が開口度指令値ＴＡ＊の値として演算される。さらに、開口度指令値ＴＡ＊に緩変化処理を施した値が開口度緩変化指令値ＴＡｓｍ＊として演算される。そして、信号出力処理により、開口度緩変化指令値ＴＡｓｍ＊へのスロットル開口度ＴＡの変更を指令する指令信号ＭＳ１がスロットルバルブ１４に出力される。

１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２０…シリンダ
２２…ピストン
２４…燃焼室
２６…点火装置
２８…クランク軸
３０…排気バルブ
３２…排気通路
３４…触媒
７０…制御装置
７２…ＣＰＵ
７４…読込専用メモリ
７４ａ…制御プログラム
７４ｂ…第１操作プログラム
７４ｃ…第２操作プログラム
７６…不揮発性メモリ
７８…周辺回路
７９…ローカルネットワーク
８０…エアフローメータ
８２…スロットルセンサ
８４…クランク角センサ
８６…空燃比センサ
８７…アクセルペダル
８８…アクセルセンサ
９０…加速度センサ
ＤＲ…関係規定データ
ＤＳ…適合済みデータ
ＶＣ１…車両

Claims (5)

1. 運転者のアクセルペダル操作に応じて車両の加減速を行う手動アクセル走行と、前記アクセルペダル操作に基づかずに前記車両の加減速を自動で行う自動アクセル走行と、を行う車両に搭載された内燃機関の操作部を操作することで同内燃機関の制御量を変化させる内燃機関の制御装置であって、
   前記内燃機関の状態を含む前記車両の状態と前記操作部の操作量との関係を規定するデータであって前記車両の走行中に更新される関係規定データが記憶されるとともに、前記車両の状態に基づく前記操作量の演算に用いられるデータであって前記車両の走行中に更新されない適合済みデータが予め記憶された記憶装置と、
   前記操作部の操作を実行する実行装置であって、
   前記適合済みデータを用いて前記車両の状態に基づき演算された前記操作量にて前記操作部を操作する第１操作処理と、
   前記関係規定データと前記車両の状態とにより定まる前記操作量にて前記操作部を操作する第２操作処理と、
   前記第２操作処理により前記操作部が操作されているときの前記車両の状態の検出値に基づいて報酬を算出する報酬算出処理と、
   前記第２操作処理により前記操作部が操作されているときの前記車両の状態、前記操作量、及び前記報酬に基づいて、前記報酬の期待収益を増加させるように前記関係規定データを更新する更新処理と、
   前記車両が前記手動アクセル走行を行っているか、前記自動アクセル走行を行っているかにより、前記第１操作処理により前記操作部の操作を実行するか、前記第２操作処理により前記操作部の操作を実行するかを切り替える切替処理と、
   を実行する実行装置と、
   を備える内燃機関の制御装置。
2. 前記適合済みデータには、前記車両の状態に含まれる変数である状態変数を入力とするとともに前記操作量を出力とする写像を規定するデータが含まれるとともに、
   前記第１操作処理には、前記内燃機関の制御量の目標値に対する同制御量の検出値の偏差に応じてフィードバック補正値を演算するとともに、前記状態変数の検出値を入力とした前記写像の出力値を前記フィードバック補正値により補正した値を前記操作量として演算するフィードバック補正処理が含まれており、
   かつ、前記実行装置は、前記操作部の操作に用いる処理を前記第２操作処理から前記第１操作処理に切り替える際に、前記第２操作処理による前記操作部の操作を終了して前記第１操作処理による前記操作部の操作を開始するよりも早い時期から前記フィードバック補正処理による前記操作量の演算を開始する
   請求項１に記載の内燃機関の制御装置。
3. 前記第２操作処理による前記操作部の操作中の前記フィードバック補正処理は、同フィードバック補正処理及び前記第２操作処理のそれぞれによる前記操作量の演算値に基づき、前記フィードバック補正処理による前記操作量の演算値により前記操作部を操作したときの前記制御量である仮想制御量を求めるとともに、同仮想制御量を前記制御量の検出値の代わりに用いて前記フィードバック補正値を演算することで行われる請求項２に記載の内燃機関の制御装置。
4. 前記適合済みデータには、前記車両の状態に含まれる変数である状態変数を入力とするとともに前記操作量を出力とする写像を規定するデータが含まれるとともに、
   前記第１操作処理には、前記状態変数の検出値を入力とするとともに同検出値に対して遅れを有して変化する値を前記写像の入力値として出力する処理、及び前記写像の出力値を入力とするとともに同出力値に対して遅れを有して変化する値を前記操作量の演算値として出力する処理のいずれか一方の処理である緩変化処理が含まれており、
   かつ前記実行装置は、前記操作部の操作に用いる処理を前記第２操作処理から前記第１操作処理に切り替える際に、前記第２操作処理による前記操作部の操作を終了して前記第１操作処理による前記操作部の操作を開始するよりも早い時期から、前記緩変化処理を通じた前記操作量の演算を開始する
   請求項１～請求項３のいずれか１項に記載の内燃機関の制御装置。
5. 前記緩変化処理は、スロットルバルブの開口度の演算に際して実行される請求項４に記載の内燃機関の制御装置。

Images