Implement Simulated Annealing optimization method

[nktr-cp]

概要

局所最適解に陥ることを避けるため、シミュレーテッドアニーリング（焼きなまし法）を用いた最適化手法を実装する必要があります。この手法により、従来の勾配ベース最適化では到達できない、より良い大域最適解を見つけることができます。

背景

ニューラルネットワークの最適化において、勾配降下法は局所最適解に陥りやすいという問題があります。シミュレーテッドアニーリングは、物理学の焼きなまし過程からアイデアを得た最適化手法で、初期は大きな変動を許可し、徐々に変動を小さくすることで大域最適解に近づく手法です。

要件

• シミュレーテッドアニーリングアルゴリズムの実装
  • 温度スケジュールの管理
  • 受諾確率の計算
  • ランダムな重み摂動の生成
• 複数の冷却スケジュールオプション
  • 線形冷却
  • 指数的冷却
  • 対数冷却
• ハイブリッド最適化の実装
  • 勾配降下法との組み合わせ
  • 段階的最適化戦略
• 設定可能なハイパーパラメータ
  • 初期温度、最終温度
  • 冷却率、イテレーション数
  • 摂動の大きさ

技術詳細

• 新しいモジュール src/annealing.rs の作成
• SimulatedAnnealingOptimizer 構造体の実装
• 温度スケジューラーの抽象化
• 既存の最適化フレームワークとの統合
• パフォーマンス監視機構

アルゴリズム詳細

基本アルゴリズム

1. 現在の重みWから新しい重みW'を生成（ランダム摂動）
2. 損失の変化ΔE = Loss(W') - Loss(W)を計算
3. 受諾確率P = exp(-ΔE/T)を計算
4. 確率Pで新しい重みを受諾、そうでなければ棄却
5. 温度Tを冷却スケジュールに従って更新

温度スケジュール例

• 線形冷却: T(t) = T₀ - (T₀-T_f) × t/T_max
• 指数的冷却: T(t) = T₀ × α^t
• 対数冷却: T(t) = T₀ / log(1 + t)

ハイブリッド最適化戦略

1. Phase 1: シミュレーテッドアニーリングで大域探索
2. Phase 2: 勾配降下法で局所最適化
3. Phase 3: 必要に応じて再度アニーリング

設定例

let annealing_config = AnnealingConfig {
    initial_temperature: 10.0,
    final_temperature: 0.01,
    cooling_schedule: CoolingSchedule::Exponential(0.95),
    max_iterations: 1000,
    perturbation_scale: 0.1,
};

let optimizer = SimulatedAnnealingOptimizer::new(annealing_config);

パフォーマンス監視

• 温度の推移グラフ
• 損失値の変遷
• 受諾率の統計
• 探索範囲の可視化

受け入れ基準

• シミュレーテッドアニーリングが正しく実装されている
• 複数の冷却スケジュールが選択可能
• ハイブリッド最適化が機能している
• ハイパーパラメータを柔軟に設定できる
• 局所最適解回避効果が検証されている
• 収束性能のベンチマークが追加されている
• 温度と受諾率の可視化機能が含まれている
• ドキュメントと使用例が提供されている