给定纹理球体上的 4 个点提取 2d 平面及其投影纹理

Question

设置场景 我正在开发场景包中的一个功能，我在球体的中心有一个摄像头。球体周围有纹理。假设这是在房间内拍摄的 360 度图像。

到目前为止 我已经确定了球体上与地板角落相对应的位置。我可以从相机的角度提取并创建一个与地板尺寸相匹配的新平面 2d 平面。例如。如果房间有一个长方形地板，我会创建一个梯形平面。

问题 但我希望新的二维平面具有地板的纹理，而不仅仅是形状。鉴于我要提取的不是原始纹理图像，而是其投影到球体上的结果，我该怎么做？

仅供参考，我对 scenekit 和 3d 图形的东西还很陌生，而我对 opengl 还是比较陌生

Answer 1

我假设您的图像的结构方式可以让您在给定任意方向的情况下直接选择像素。例如。如果方向的方位角映射到图像的 x 坐标，方向的高度映射到图像的 y 坐标，您可以将方向转换为这些参数并在这些坐标处选择颜色。如果不是这种情况，您必须找到相应光线（从相机开始）与球体的交点，并在该交点处找到纹理坐标。然后，您可以使用此纹理坐标选择颜色。

现在，您基本上有两种选择。第一个选项是为平面生成新纹理。第二种选择是从着色器中采样球形图像。

选项 1 - 生成新纹理

您知道平面的范围，因此可以生成尺寸与平面范围成比例的新纹理。您可以使用任意分辨率。然后你需要做的就是填充这个纹理的像素。为此，您只需为给定像素生成射线并在球形图像中找到相应的颜色，如下所示：

input: d1, d2, d3, d3 (the four direction vectors of the plane corners)
//  d3 +------+ d4
//  d1 +------+ d2
for x from 0 to texture width
    for y from 0 to texture height
        //Find the direction vector for this pixel through bilinear interpolation
        a = x / (width - 1) //horizontal interpolation parameter
        b = y / (height - 1) //vertical interpolation parameter
        d = (1 - a) * ((1 - b) * d1 + b * d3) + a * ((1 - b) * d2 + b * d4)
        normalize d
        //Sample the spherical image at d
        color = sample(d)
        //write the color to the new planar texture
        texture(x, y) = color
    next
next

然后，您就有了一个可以应用到平面的新纹理。如果将平面表示为两个三角形，则重心插值可能更合适。但只要平面是矩形的，结果都是一样的。

请注意，sample() 方法取决于您的图像结构，需要适当地实现。

选项 2 - 在着色器中采样

在选项 2 中，您执行与选项 1 相同的操作。但是您在片段着色器中执行此操作。您使用平面的顶点及其各自的方向（这可能只是顶点位置）并让 GPU 对它们进行插值。这会直接为您提供方向d，您可以使用它。这是一些伪着色器代码：

in vec3 direction;
out vec4 color;
void main()
{
    color = sample(normalize(direction));
}

如果您的图像是立方体贴图，您甚至可以让 GPU 进行采样。