在使用 `pyrender` 进行三维世界坐标到二维图像坐标的转换时，需要通过相机的视图矩阵和投影矩阵进行坐标变换。具体来说，将3D世界坐标通过相机的视图矩阵转换到相机坐标系下，再通过投影矩阵将其映射到屏幕空间，最后归一化并转换为像素坐标[^1]。 ### 世界坐标到图像坐标的转换过程 1. **获取相机的视图矩阵和投影矩阵** 使用 `scene.get_pose(camera_node)` 获取相机的视图矩阵，表示相机在世界坐标系中的位置和方向。 使用 `camera.get_projection_matrix(width, height)` 获取相机的投影矩阵，表示投影参数。 2. **将3D世界坐标转换为齐次坐标** 3D点的齐次坐标形式为 `(x, y, z, 1)`，用于进行矩阵变换。 3. **应用视图矩阵进行坐标变换** 将3D点从世界坐标系变换到相机坐标系，使用 `np.dot(np.linalg.inv(view_matrix), world_point)`。 4. **应用投影矩阵进行屏幕空间投影** 使用 `np.dot(projection_matrix, camera_point)` 将点投影到屏幕空间。 5. **归一化设备坐标（NDC）** 通过除以齐次坐标的 w 分量进行归一化，得到范围在 [-1, 1] 的坐标。 6. **转换为图像像素坐标** 根据图像分辨率将 NDC 坐标映射到像素坐标系中。 ### 示例代码 ```python import numpy as np import pyrender import trimesh # 创建场景 scene = pyrender.Scene() # 创建一个立方体模型 mesh = trimesh.creation.box(extents=[1.0, 1.0, 1.0]) mesh_transform = np.eye(4) mesh_transform[:3, 3] = [0.0, 0.0, 0.0] # 放置在原点 mesh_node = pyrender.Mesh.from_trimesh(mesh, pose=mesh_transform) scene.add(mesh_node) # 设置相机 camera = pyrender.PerspectiveCamera(yfov=np.pi / 3.0, aspectRatio=1.0) camera_pose = np.eye(4) camera_pose[:3, 3] = [0.0, -3.0, 0.0] # 相机位于物体前方 camera_node = scene.add(camera, pose=camera_pose) # 渲染器 viewport_width = 640 viewport_height = 480 renderer = pyrender.OffscreenRenderer(viewport_width, viewport_height) # 获取相机矩阵 view_matrix = scene.get_pose(camera_node) projection_matrix = camera.get_projection_matrix(viewport_width, viewport_height) # 世界坐标点（齐次坐标） world_point = np.array([0.5, 0.5, 0.5, 1.0]) # 立方体的一个顶点 # 转换到相机坐标系 camera_point = np.dot(np.linalg.inv(view_matrix), world_point) # 投影到屏幕空间 screen_point = np.dot(projection_matrix, camera_point) # 归一化设备坐标 ndc_point = screen_point / screen_point[3] # 转换为像素坐标 pixel_x = int((ndc_point[0] + 1.0) * 0.5 * viewport_width) pixel_y = int((1.0 - (ndc_point[1] + 1.0) * 0.5) * viewport_height) print(f"图像坐标: ({pixel_x}, {pixel_y})") ``` ### 注意事项 - **相机类型**：上述示例使用的是透视投影相机（`PerspectiveCamera`），若使用正交相机（`OrthographicCamera`），投影矩阵的构造方式略有不同。 - **坐标系差异**：OpenGL 的 NDC 坐标范围是 [-1, 1]，而图像坐标通常以左上角为原点，因此需要进行适当的坐标转换。 - **深度信息**：若需考虑深度信息，可以通过 `depth` 缓冲区获取对应像素的深度值。 - **批量处理**：若需批量转换多个点，可将上述逻辑封装为函数，对多个点进行循环处理。