【问题标题】:CPU to GPU normal mappingCPU 到 GPU 的法线映射
【发布时间】:2020-06-22 17:01:08
【问题描述】:

我正在创建一个地形网格,并遵循this SO answer 我正在尝试将我的 CPU 计算法线迁移到基于着色器的版本,以便通过降低我的网格分辨率和使用在片段着色器。

我将MapBox height map 用于地形数据。瓷砖看起来像这样:

每个像素的高程由以下公式给出:

const elevation = -10000.0 + ((red * 256.0 * 256.0 + green * 256.0 + blue) * 0.1);

我的原始代码首先创建了一个密集网格(256*256 个正方形,由 2 个三角形组成),然后计算三角形和顶点法线。为了获得视觉上令人满意的结果,我将海拔高度降低了 5000 以匹配场景中瓷砖的宽度和高度(将来我将进行适当的计算以显示真实的海拔高度)。

我正在使用这些简单的着色器进行绘制:

顶点着色器:

uniform mat4 u_Model;
uniform mat4 u_View;
uniform mat4 u_Projection;

attribute vec3 a_Position;
attribute vec3 a_Normal;
attribute vec2 a_TextureCoordinates;

varying vec3 v_Position;
varying vec3 v_Normal;
varying mediump vec2 v_TextureCoordinates;

void main() {

  v_TextureCoordinates = a_TextureCoordinates;
  v_Position = vec3(u_View * u_Model * vec4(a_Position, 1.0));
  v_Normal = vec3(u_View * u_Model * vec4(a_Normal, 0.0));
  gl_Position = u_Projection * u_View * u_Model * vec4(a_Position, 1.0);
}

片段着色器:

precision mediump float;

varying vec3 v_Position;
varying vec3 v_Normal;
varying mediump vec2 v_TextureCoordinates;

uniform sampler2D texture;

void main() {

    vec3 lightVector = normalize(-v_Position);
    float diffuse = max(dot(v_Normal, lightVector), 0.1);

    highp vec4 textureColor = texture2D(texture, v_TextureCoordinates);
    gl_FragColor = vec4(textureColor.rgb * diffuse, textureColor.a);
}

速度很慢,但视觉效果令人满意:

现在,我删除了所有基于 CPU 的法线计算代码,并将我的着色器替换为:

顶点着色器:

#version 300 es

precision highp float;
precision highp int;

uniform mat4 u_Model;
uniform mat4 u_View;
uniform mat4 u_Projection;

in vec3 a_Position;
in vec2 a_TextureCoordinates;

out vec3 v_Position;
out vec2 v_TextureCoordinates;
out mat4 v_Model;
out mat4 v_View;

void main() {

  v_TextureCoordinates = a_TextureCoordinates;
  v_Model = u_Model;
  v_View = u_View;

  v_Position = vec3(u_View * u_Model * vec4(a_Position, 1.0));
  gl_Position = u_Projection * u_View * u_Model * vec4(a_Position, 1.0);
}

片段着色器:

#version 300 es

precision highp float;
precision highp int;

in vec3 v_Position;
in vec2 v_TextureCoordinates;

in mat4 v_Model;
in mat4 v_View;

uniform sampler2D u_dem;
uniform sampler2D u_texture;

out vec4 color;

const vec2 size = vec2(2.0,0.0);
const ivec3 offset = ivec3(-1,0,1);

float getAltitude(vec4 pixel) {

  float red = pixel.x;
  float green = pixel.y;
  float blue = pixel.z;

  return (-10000.0 + ((red * 256.0 * 256.0 + green * 256.0 + blue) * 0.1)) * 6.0; // Why * 6 and not / 5000 ??
}

void main() {

    float s01 = getAltitude(textureOffset(u_dem, v_TextureCoordinates, offset.xy));
    float s21 = getAltitude(textureOffset(u_dem, v_TextureCoordinates, offset.zy));
    float s10 = getAltitude(textureOffset(u_dem, v_TextureCoordinates, offset.yx));
    float s12 = getAltitude(textureOffset(u_dem, v_TextureCoordinates, offset.yz));

    vec3 va = (vec3(size.xy, s21 - s01));
    vec3 vb = (vec3(size.yx, s12 - s10));

    vec3 normal = normalize(cross(va, vb));
    vec3 transformedNormal = normalize(vec3(v_View * v_Model * vec4(normal, 0.0)));

    vec3 lightVector = normalize(-v_Position);
    float diffuse = max(dot(transformedNormal, lightVector), 0.1);

    highp vec4 textureColor = texture(u_texture, v_TextureCoordinates);
    color = vec4(textureColor.rgb * diffuse, textureColor.a);
}

它现在几乎立即加载,但出现了问题:

  • 在片段着色器中,我必须将高程乘以 6 而不是除以 5000 才能得到接近原始代码的结果
  • 结果不太好。尤其是当我倾斜场景时,阴影非常暗(我倾斜得越多,它们就越暗):

你能找出造成这种差异的原因吗?

编辑:我创建了两个 JSFiddles:

使用倾斜滑块玩游戏时会出现问题。

【问题讨论】:

  • 256x256 网格的唯一用途是通过法线?你不是用它来做高度位移吗? IE。你在第二种方法中画了多少个三角形?
  • 256*256 图片包含每个像素的高程,而不是法线。我将它传递给计算法线。我不知道你所说的高度位移是什么意思(对不起,我对 OpenGL/WebGL 的经验非常有限),所以我想答案是否定的:)
  • 高度位移是指a_Position 变量的“向上”坐标。您是否根据高度图中的高度设置顶点的高度?
  • 哦,好的,那么是的,我正在这样做。但在新版本中,我的网格的分辨率要低得多(32*32)。编辑:我将顶点位置除以 5000,而不是乘以 6。
  • 现在我看到这不是一个手游,它只在需要时渲染,不,我不认为会有性能问题(但你永远不知道在什么硬件上客户端正在运行)。现在我也理解了性能问题,因为法线贴图计算是在 JavaScript 中完成的,而不是在某些编译语言上。

标签: opengl shader fragment-shader normals glsles


【解决方案1】:

我可以找到三个问题。

您通过反复试验看到并修复了一个问题,即您的身高计算比例错误。在 CPU 中,您的颜色坐标在 0 到 255 之间变化,但在 GLSL 上,纹理值从 0 到 1 标准化,因此正确的高度计算是:

return (-10000.0 + ((red * 256.0 * 256.0 + green * 256.0 + blue) * 0.1 * 256.0)) / Z_SCALE;

但是对于这个着色器的目的,-10000.00 并不重要,所以你可以这样做:

return (red * 256.0 * 256.0 + green * 256.0 + blue) * 0.1 * 256.0 / Z_SCALE;

第二个问题是你的 x 和 y 坐标的比例也是错误的。在 CPU 代码中,两个相邻点之间的距离为 (SIZE * 2.0 / (RESOLUTION + 1)),但在 GPU 中,您将其设置为 1。定义 size 变量的正确方法是:

const float SIZE = 2.0;
const float RESOLUTION = 255.0;

const vec2 size = vec2(2.0 * SIZE / (RESOLUTION + 1.0), 0.0);

请注意,我将分辨率提高到255,因为我认为这是您想要的(减去纹理分辨率)。此外,这需要匹配 offset 的值,您将其定义为:

const ivec3 offset = ivec3(-1,0,1);

要使用不同的 RESOLUTION 值,您必须相应地调整 offset,例如对于RESOLUTION == 127offset = ivec3(-2,0,2),即偏移量必须是<real texture resolution>/(RESOLUTION + 1),这限制了RESOLUTION的可能性,因为偏移量必须是整数。

第三个问题是你在 GPU 中使用了一种不同的正常计算算法,我觉得它的分辨率低于 CPU 上使用的算法,因为你使用了十字的四个外部像素,但忽略了中间的.似乎这不是完整的故事,但我无法解释为什么它们如此不同。我尝试按照我的想法实现确切的 CPU 算法,但它会产生不同的结果。相反,我不得不使用以下算法,它相似但不完全相同,以获得几乎相同的结果(如果将 CPU 分辨率提高到 255):

    float s11 = getAltitude(texture(u_dem, v_TextureCoordinates));
    float s21 = getAltitude(textureOffset(u_dem, v_TextureCoordinates, offset.zy));
    float s10 = getAltitude(textureOffset(u_dem, v_TextureCoordinates, offset.yx));

    vec3 va = (vec3(size.xy, s21 - s11));
    vec3 vb = (vec3(size.yx, s10 - s11));

    vec3 normal = normalize(cross(va, vb));

这是原始 CPU 解决方案,但 RESOLUTION=255:http://jsfiddle.net/k0fpxjd8/

这是最终的 GPU 解决方案:http://jsfiddle.net/7vhpuqd8/

【讨论】:

  • 非常感谢!!它现在确实几乎相同:)。为了使它们真正相同,我们可以在 GPU 示例中简单地将网格分辨率增加到 255。将其增加到 63 足以获得不错的结果。我还将尝试使用 GPU 算法在 CPU 上计算法线贴图,它可能会比我的每个顶点版本快得多。
  • 如果你愿意,你可以试试 WebAssembly,理论上这在浏览器上进行数值计算要快得多,但我从来没有用过,也不知道初始化时间。
  • 谢谢,我去看看!
猜你喜欢
  • 1970-01-01
  • 2012-10-31
  • 1970-01-01
  • 2018-11-02
  • 1970-01-01
  • 2012-07-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多