Investigate ARM64 support for scientific computing libraries

[toshi0806]

Background

Currently, the PR build strategy skips Full ARM64 builds to speed up CI. This was based on the assumption that Full ARM64 ≈ Lite ARM64 because Ruby scientific gems (or-tools, torch-rb) are x86_64-only.

However, investigation reveals that Python scientific libraries ARE available on ARM64, which means Full ARM64 contains significantly more content than Lite ARM64.

Current State

Python Scientific Libraries (installed on ALL architectures)

• numpy==2.2.6 ✅
• pandas==2.3.2 ✅
• scipy==1.16.1 ✅
• scikit-learn==1.7.1 ✅
• polars==1.31.0 ✅
• torch==2.8.0+cpu ✅ (ARM64 supported since v1.8.0)
• ortools==9.14.6206 ✅
• numba==0.61.2 ⚠️ (see below)

Ruby Scientific Gems (x86_64 only)

• or-tools:0.16.0 ❌ (requires LibTorch)
• torch-rb ❌ (requires LibTorch)

Numba ARM64 Support

Current version in Dockerfile: numba==0.61.2

ARM64 Support Status:

• ❌ numba < 0.62.0: No official ARM64 wheels
• ✅ numba >= 0.62.1 (released September 2025): Official ARM64 Linux wheels available
  • Tier 1 platform support
  • Python 3.10, 3.11, 3.12, 3.13 supported

Workflow test currently skips numba on ARM64:

# Only test numba on x86_64 (not available on ARM64)
if [ "${{ matrix.platform }}" = "linux/amd64" ]; then
  echo "🔍 Testing Numba (x86_64 only)..."
  docker run --rm $IMAGE_TAG python3.13 -c "import numba; print('Numba', numba.__version__)"
fi

Proposed Actions

1. Update numba to 0.62.1+

• Update Dockerfile to use numba>=0.62.1 for full ARM64 support
• Remove the x86_64-only test restriction in workflow
• Test numba on both architectures

2. Reconsider PR Build Strategy

Since Full ARM64 now contains substantial scientific computing libraries that Lite ARM64 doesn't have:

Option A: Build Full ARM64 in PRs to properly test scientific libraries

• ✅ Better test coverage
• ❌ Slower CI (QEMU emulation on ubuntu-latest)
• 💡 Could use ubuntu-24.04-arm runner if available

Option B: Keep skipping Full ARM64 in PRs, rely on main branch testing

• ✅ Faster PR CI
• ❌ Potential ARM64-specific issues only caught after merge
• ❌ Not testing significant portion of Full version content

3. Alternative: Add [build-all] tag documentation

Document that developers should use [build-all] in commit messages when:

• Updating scientific library versions
• Making changes that might affect ARM64 builds
• Want full validation before merge

Questions to Resolve

1. Should we update numba to 0.62.1+ now or in a separate PR?
2. Should PR builds include Full ARM64, or is main-branch-only testing sufficient?
3. Do we have access to ubuntu-24.04-arm runners for faster ARM64 builds?
4. Should we verify ortools Python package actually works on ARM64?

Related

• PR Fix ARM64 build by making BOLT optimization x86_64-specific #32: Fix ARM64 build failures and optimize workflow
• Current implementation skips Full ARM64 in PRs for faster CI

[toshi0806]

🚀 作業開始

Issue #33の調査を開始します。

調査計画

1. 現状確認

   • 現在のnumbaバージョン（0.61.2）のARM64サポート状況
   • PyTorch CPUのARM64動作確認
   • ortoolsのARM64動作確認

2. numba 0.62.1+の検証

   • ARM64ホイールの利用可能性
   • 互換性の確認
   • アップデート時の影響範囲

3. 提案の策定

   • numbaアップデート方針
   • PR時のFull ARM64ビルド戦略
   • ドキュメント整備

調査結果をもとに、具体的なアクションプランを提案します。

[toshi0806]

📊 調査結果

ARM64でのPython科学計算ライブラリサポート状況を調査しました。

✅ 全ての主要ライブラリがARM64をサポート

1. numba 0.62.1

• ✅ Python 3.13 + ARM64 (Linux aarch64) 公式wheelあり
• ホイール: numba-0.62.1-cp313-cp313-manylinux_2_27_aarch64.whl
• 依存: llvmlite<0.46,>=0.45.0dev0 (ARM64対応済み)
• 現在: numba==0.61.2 (ARM64非対応)

2. PyTorch 2.9.0 (CPU版)

• ✅ Python 3.13 + ARM64 (Linux aarch64) 公式wheelあり
• ホイール: torch-2.9.0-cp313-cp313-manylinux_2_28_aarch64.whl (104.1 MB)
• 現在: torch==2.8.0+cpu (ARM64対応)
• アップデートにより最新版を利用可能

3. ortools 9.14.6206

• ✅ Python 3.13 + ARM64 (Linux aarch64) 公式wheelあり
• ホイール: ortools-9.14.6206-cp313-cp313-manylinux_2_27_aarch64.whl (25.7 MB)
• 現在: ARM64でも動作確認済み

4. その他の科学計算ライブラリ

すでにARM64対応済み：

• numpy==2.2.6 ✅
• pandas==2.3.2 ✅
• scipy==1.16.1 ✅
• scikit-learn==1.7.1 ✅
• polars==1.31.0 ✅

🎯 重要な発見

Full ARM64版とLite ARM64版の差分は非常に大きい：

ライブラリ	Lite ARM64	Full ARM64
numba	❌	✅ (0.62.1+にアップデート後)
PyTorch	❌	✅
ortools	❌	✅
scikit-learn	❌	✅
scipy	❌	✅
pandas	❌	✅

Full ARM64版には、Lite ARM64版にない重要な機能が含まれています。

---

💡 提案: アクションプラン

Phase 1: numbaアップデート（即実施推奨）

目的: ARM64完全対応とワークフローテスト修正

変更内容:

1. Dockerfileのnumba==0.61.2をnumba>=0.62.1に更新
2. .github/workflows/build-staged.ymlのnumbaテストを両アーキテクチャで実行

   # 削除: x86_64専用の条件分岐
   - if [ "${{ matrix.platform }}" = "linux/amd64" ]; then ...
   
   # 変更: 両アーキテクチャでテスト
   echo "🔍 Testing Numba..."
   docker run --rm $IMAGE_TAG python3.13 -c "import numba; print('Numba', numba.__version__)"

メリット:

• ✅ ARM64での科学計算機能が完全に利用可能
• ✅ Full ARM64版の価値が明確化
• ✅ テストカバレッジ向上

リスク: 低（numba 0.62.1は安定版、後方互換性あり）

Phase 2: PR戦略の再検討（要議論）

現在の戦略の問題点：

• ❌ Full ARM64をPRでスキップ → 重要な機能の大部分がテストされない
• ❌ 科学計算ライブラリのARM64互換性がmain mergeまで検証されない

Option A: Full ARM64もPRでビルド

• ✅ 完全なテストカバレッジ
• ✅ ARM64固有の問題を早期発見
• ❌ CI時間増加（QEMU使用時）
• 💡 対策: ubuntu-24.04-arm ランナー利用で高速化

Option B: 現状維持 + [build-all] タグ推奨

• ✅ 通常PRは高速
• ✅ 科学計算ライブラリ更新時は[build-all]で完全テスト
• ❌ 開発者が手動でタグ付け必要
• 📝 ドキュメント整備が必要

Option C: ハイブリッド戦略

• 科学計算ライブラリ関連ファイル（Dockerfileのpip install部分）変更時のみFull ARM64ビルド
• その他の変更は現状通りスキップ
• GitHub Actionsのpathsフィルタで実装可能

Phase 3: ドキュメント整備

README.mdまたはCLAUDE.mdに追記：

ビルドタグの使用方法

## CI Build Tags

コミットメッセージに以下のタグを含めることで、ビルド戦略を制御できます：

- `[build-all]`: すべてのバリアント・アーキテクチャをビルド（PR時でもFull ARM64を含む）
- `[build-full]`: Full版をビルド（アーキテクチャはデフォルト動作に従う）

### 使用例

科学計算ライブラリを更新する場合：

git commit -m "Update numba to 0.62.1 [build-all]"

これにより、PRでもFull ARM64がビルドされ、ARM64での動作が検証されます。

---

🤔 次のステップ

1. Phase 1の実施可否: numba 0.62.1へのアップデートを進めてよいか？
2. Phase 2の方針決定: PR戦略をどうするか？（Option A/B/Cのいずれか）
3. ubuntu-24.04-armランナー: 利用可能か確認が必要

ご意見をお聞かせください 🙏

[toshi0806]

🎯 方針決定

numba 0.61.2を維持（ARM64対応は見送り）

理由: AtCoder公式言語環境との整合性を最優先

本プロジェクトのtomlファイル群は、AtCoderの公式言語環境を定義したものです。このコンテナイメージは、AtCoder環境を再現することを目的としているため、tomlの設定に従うことでAtCoderとの整合性を保ちます。

したがって、numba 0.62.1へのアップデートはAtCoderの公式環境が更新されるまで実施しません。

ARM64での科学計算ライブラリサポート状況

✅ ARM64 Fullバージョンで利用可能

• PyTorch 2.8.0+cpu
• ortools 9.14.6206
• numpy 2.2.6
• pandas 2.3.2
• scipy 1.16.1
• scikit-learn 1.7.1
• polars 1.31.0

❌ ARM64 Fullバージョンで利用不可

• numba 0.61.2 (AtCoder公式環境のバージョン、ARM64非対応)

結論

Full ARM64版 ≠ Lite ARM64版 は依然として成立します。

numba以外の主要な科学計算ライブラリがARM64で動作するため、Full ARM64版は十分な価値があります。

PR戦略について

調査の結果、Full ARM64版には（numbaを除く）重要な科学計算ライブラリが含まれることが判明しました。

推奨: 現状の戦略を維持

• PR時: Full ARM64をスキップ（高速CI）
• main時: Full ARM64をビルド（完全検証）
• 科学計算ライブラリ更新時: [build-all] タグで明示的にFull ARM64をビルド

この戦略により、CI速度とテストカバレッジのバランスを取ります。

---

📝 今後の対応

将来的な検討事項

numba 0.62.1+へのアップデートは、以下のタイミングで再検討：

1. AtCoderの公式言語環境アップデート時 ← 最優先
2. numbaの破壊的変更によりAtCoderが更新した時

ドキュメント整備（別Issue推奨）

README.mdまたはCLAUDE.mdに以下を追記：

CI Build Tagsの使用方法

## CI Build Tags

コミットメッセージに以下のタグを含めることで、ビルド戦略を制御できます：

- `[build-all]`: すべてのバリアント・アーキテクチャをビルド（PR時でもFull ARM64を含む）
- `[build-full]`: Full版をビルド（アーキテクチャはデフォルト動作に従う）

### 使用例

科学計算ライブラリを更新する場合：
```bash
git commit -m "Update PyTorch to 2.9.0 [build-all]"

これにより、PRでもFull ARM64がビルドされ、ARM64での動作が検証されます。

---

本Issueはこれで完了とします。ドキュメント整備が必要な場合は別Issueを立てます。