プレスリリース配信元：千葉工業大学

-高次元・マルチスケール時系列予測で従来モデルを凌駕する性能を達成-

【 発表者 】
・ 吉田　聡太　（千葉工業大学 大学院情報科学研究科）
・ 飯沼　貴大　（千葉工業大学 大学院情報科学研究科）
・ 信川　創　（千葉工業大学 情報科学部 情報工学科 （教授）/同大学 数理工学研究センター（非常勤主席研究員）/国立研究開発法人国立精神・神経医療研究センター 精神保健研究所児童・予防精神医学研究部（客員研究員））
・ 渡辺　英治　（基礎生物学研究所　（准教授）/総合研究大学院大学　生命科学研究科　（准教授））
・ 礒川　悌次郎　（兵庫県立大学　大学院　工学研究科　（准教授））


【 概　要　】
吉田聡太、飯沼貴大、信川創（千葉工業大学）、渡辺英治（基礎生物学研究所）、礒川悌次郎（兵庫県立大学）らの研究チームは、効率的な時系列処理フレームワークであるEcho State Network (ESN)が抱える、高次元性とマルチスケールな動的特性を持つタスクへの課題を克服する新しいアーキテクチャ「Heterogeneous Assembly Echo State Network (HetAESN)」を開発しました。HetAESNは、高次元情報を扱うESNアーキテクチャであるAssembly ESN（AESN）から派生したモデルです。AESNは、高次元入力情報を入力次元ごとに分割し、リザバーを複数並列して駆動させることで、高次元性による性能劣化を回避するモデルですが、HetAESNはさらに、この分割された各サブリザバーに対し、タスクの入力成分の特性に合わせた最適な、互いに異なる時定数を割り当てます。HetAESNは、2つの時間スケールを持つ時系列（tc-VdP, HRモデル）の予測タスクにおいて、従来のESNおよびAESNを統計的に有意に上回る予測精度を達成しました。この結果を、遅延容量（DC）やマルチスケールファジィエントロピー（MFE）を用いて分析したところ、モデルの有効性が「タスクの次元数」と「リザバーの有効記憶範囲内における信号の複雑さ」のバランスに大きく依存することが明らかになりました。本成果は、アーキテクチャ設計と計算能力の間の重要な関係を解明し、実世界の高次元・マルチスケールな時系列処理に適した、より堅牢で汎用的なRCモデルの開発に貢献するものです。この研究成果は、2025年12月15日に、IEEE Accessにて発表されました。

キーワード: Reservoir Computing、Echo State Network、エッジAI、マルチタイムスケール、多次元信号処理



■研究の背景
リザバーコンピューティング（RC）は、リカレントニューラルネットワーク（RNN）の一種であり、入力層、中間層（リザバー）、出力層から構成されます[1]。リザバー内部の結合重みを固定し、学習を出力層の重みに限定することで、従来の深層学習（ディープラーニング）と比較して高速かつ低コストな学習が可能という特徴を持ちます。この「学習効率の高さ」と、物理的な素子での実装の容易さから、計算資源が制限されるエッジAI等への応用技術として、近年注目を集めています。
しかし、RCの代表的なモデルであるエコーステートネットワーク（ESN）[2]を、画像・動画認識、気象予測といった実世界の複雑なタスクに適用しようとすると、二つの壁に直面します。




一つはデータの「高次元性」です。多数のセンサデータや画像データなど、多次元で構成された入力情報を処理するためには、リザバーの規模を肥大化させる必要があり、それに伴い計算コストが肥大化するという問題があります。もう一つは「マルチスケール性」です。実世界の現象は、高速に変化する速い成分と、低速に推移する遅い成分が混在しています。従来のESNは単一の時間応答特性でこれらを一律に処理しようとするため、複雑な時系列パターンを十分に捉えきれないという課題がありました。
既存の研究では、高次元性に対応するために入力を分割するAssembly ESN (AESN)[3]や、マルチスケールに対応するために複数の時定数を導入するDiverse-Timescale ESN (DTS-ESN)[4]などが提案されてきましたが、両特性を統合的に扱うには至っていませんでした。特に、従来のAESNはすべてのサブリザバーの時間特性を均一に設定されていたため、マルチスケール性への適応の余地が残されている状態でした。
このような背景に対し、AESNのアーキテクチャに時間的な不均一性（Heterogeneous）の概念を取り入れ、各サブリザバーが入力信号の特性に応じて、個別に調整された時定数を持つHetAESNを考案しました。


■研究内容
- HetAESNアーキテクチャの提案
HetAESNは、AESNの構造を拡張し、時間的な不均一性を組み込んだモデルです。高次元の入力信号を次元ごとに分割し、それぞれ対応するサブリザバーに入力します。HetAESNでは、各サブリザバーのニューロンの更新速度を決定づけるリーキングレート () や、リザバー内の相互作用の強さを示すスペクトル半径 () などのハイパーパラメータを、それぞれ独立に最適化します。この不均一な設計により、各サブリザバーは、入力された信号の速い成分、遅い成分といった固有の時間特性に適応し、それらの入力信号を効果的に追跡することが可能となります。
- 予測性能の検証
3種類のカオス時系列システムtwo-coupled Van der pol (tc-VdP)[5]、Hindmarsh-Rose (HR)[6]、two-coupled Lorenz (tc-Lorenz)[7]に対して予測性能を検証しました。その結果tc-VdP、HRタスクにおいて、HetAESNは、従来のESN、AESNと比較して、有意に小さいLog-NRMSE（予測誤差の評価指標）[9]を達成し、従来モデルよりも高い予測性能を示しました。特にHRモデルでは、



高速な信号成分に対応するサブリザバーに高い入力スケール値が割り当てられており、モデルがタスクの時空間特性に適合したことが示唆されました。しかし、tc-Lorenzタスクに対して、提案モデルは従来のESNを下回る結果を示しました。
- 動的解析による原理の解明
タスクによって性能が異なる要因を明確にするため、動的解析を行いました。



遅延容量（DC）解析（用語説明*1）により、リザバーの記憶能力の有効性は長期の過去の情報を扱うほど低下し、程度の時点ですでに記憶能力はほとんど機能していない可能性があることを示しました。
一方、マルチスケールファジィエントロピー（MFE）解析（用語説明*2）では、リザバーの有効記憶時間（𝜏≤43）に焦点を当て、信号の複雑性がそのように変化するかを評価しました。



そして、これらの結果から、相対的に高い次元数（6次元）を有するtc-Lorenzタスクは、リザバーの有効記憶時間域において高い複雑性を持つことが明らかとなりました。このため、全リザバーサイズが固定されている制約下では、入力次元の分割によって各サブリザバーのサイズが相対的に小さくなり、その限られた表現力では高い複雑性を持つ信号を処理しきれなかったことが、性能低下の主要因であると結論付けられました。この分析により、「次元分割による構造的利点」と「個別のリザバーそれぞれの表現力」がトレードオフの関係にあり、このHetAESNの信号処理能力を決定づけることが明らかとなりました。


■結論と今後の展望
本研究は、高次元・マルチスケール時系列を効率的に処理するHetAESNを提案し、その有効性が「入力次元数」と「リザバーの有効記憶範囲内の信号複雑性」のバランスに依存することを解明しました。この知見は、RCモデルのアーキテクチャを、実世界のタスク特性に応じて最適に設計するための指針を提供する可能性があります。今後の展望としては、合成データセットだけでなく、生体信号解析やIoTセンサデータなど、高次元かつマルチスケールな実世界タスクへのHetAESNの適用と汎用性の検証を行います。また、tc-Lorenzの結果が示す「表現力不足」の限界を克服するため、表現力の向上を図る新たな仕組みの導入が今後の課題となります。


■用語説明
*1 遅延容量（DC）: Delay Capacityの略。リザバーが過去の入力情報をどれだけ長く保持できるか（記憶能力）を、タスクに依存しない形で定量的に評価する指標。
*2 マルチスケールファジィエントロピー（MFE）: Multiscale Fuzzy Entropyの略。時系列データの不規則性や複雑さを、複数の異なる時間スケールで定量化する解析手法。


■引用文献
[1] Lukoševičius, M., and Jaeger, H. (2009). "Reservoir computing approaches to recurrent neural network training." Computer science review, vol. 3, no.3, 127-149.
[2] Jaeger H. (2007). “Echo state network,” Scholarpedia, vol. 2, no. 9, 2330.
[3] Iinuma, T.,Nobukawa, S., and Yamaguchi, S. (2022). "Assembly of echo state networks driven by segregated low dimensional signals." 2022 international joint conference on neural networks (IJCNN). IEEE.
[4] Tanaka, G., Matsumori, T., Yoshida, H., and Aihara, K. (2022). Reservoir computing with diverse timescales for prediction of multiscale dynamics. Physical Review Research, 4(3), L032014.
[5] Champion, Kathleen P., Steven L. Brunton, and J. Nathan Kutz. (2019). "Discovery of nonlinear multiscale systems: Sampling strategies and embeddings." SIAM Journal on Applied Dynamical Systems, vo.18, no.1 312-333.
[6] Hindmarsh, James L., and R. M. Rose (1984). "A model of neuronal bursting using three coupled first order differential equations." Proceedings of the Royal society of London. Series B. Biological sciences, vo.221, no.1222 87-102.
[7] Boffetta, G, et al. (1998). "An extension of the Lyapunov analysis for the predictability problem." Journal of the Atmospheric Sciences, vol.55, no.23, 3409-3416.


■原著論文情報
雑誌名: IEEE Access (公開日: 2025年12月15日)
論文題目: Heterogeneous Assembly Echo State Networks for High-Dimensional, Multiscale Time Series: Dynamic Analysis via Delay Capacity and Multiscale Fuzzy Entropy
著者: Sota Yoshida, Takahiro Iinuma, Sou Nobukawa, Eiji Watanabe, and Teijiro Isokawa
DOI: 10.1109/ACCESS.2025.3639721
URL: https://ieeexplore.ieee.org/document/11275682


■研究費情報
本研究は、以下の支援を受けて行われました。
・ 新エネルギー・産業技術総合開発機構（NEDO）(Project No. JPNP14004)
・ JSPS科研費 基盤研究(B) (JP25K03198)
・ JSPS科研費 学術変革領域研究(A) (JP25H02626)

企業プレスリリース詳細へ
PR TIMESトップへ

PR TIMES