Gazeboと実機で頭部カメラのDepth画像エンコーディングに差異がある

[KuraZuzu]

不具合の概要

Sciurus17のGazebo環境では、頭部カメラのDepth画像が32FC1で配信されます。
一方、実機の頭部カメラで使用しているD415は、realsense2_camera経由でDepth画像を16UC1として配信します。

この違いにより、実機とGazeboでDepth画像のencodingと値の単位が異なり、共通の実装では正常に動作しない状態です。

実行環境

• Ubuntu 24.04 + Jazzy
  • kernel: 6.17.0-35-generic
  • Gazebo Harmonic v 8.11.0

再現方法

Gazebo環境と実機環境でのRealsenseのDepth画像のエンコーディングを出力して確認できます。

1. Gazebo or 実機 を起動する

# Gazebo
ros2 launch sciurus17_gazebo sciurus17_with_blue_cube.launch.py

# 実機
ros2 launch sciurus17_examples demo.launch.py

2. エンコーディングを確認する

ros2 topic echo /head_camera/aligned_depth_to_color/image_raw --once | grep encoding

# Gazeboでの出力
encoding: 32FC1
# 実機での出力
encoding: 16UC1

期待する動作

同じ出力となっている状態を期待します。
サンプルで想定されている16UC1が望ましいです。

ログ・画像

その他

[Kuwamai]

こちらGazeboのプラグインがサポートしていないようなので、Sciurus17側の対応だけでは解決困難です。
現状はカメラ画像を使用するコード側で条件分岐するなどして対応するのが簡単な解決方法となります。

@KuraZuzu さんに対応いただきました 🙇

sciurus17_ros/sciurus17_examples/src/color_detection.cpp

Lines 154 to 167 in aed6727

	// エンコーディングの違いによる深度値の取得方法の違いに対応
	if (depth_msg->encoding == "16UC1") {
	// RealSenseの深度画像フォーマット
	front_distance = cv_depth->image.at<uint16_t>(point_int) / 1000.0;
	} else if (depth_msg->encoding == "32FC1") {
	// Gazeboの深度画像フォーマット
	front_distance = cv_depth->image.at<float>(point_int);
	} else {
	RCLCPP_WARN(
	this->get_logger(),
	"Unsupported depth encoding: %s",
	depth_msg->encoding.c_str());
	return;
	}