【问题标题】:transparency issues with repeated stamping of textures on an MTKView在 MTKView 上重复标记纹理的透明度问题
【发布时间】:2018-06-24 21:04:58
【问题描述】:

我正在尝试实现一个金属支持的绘图应用程序,其中笔触是通过沿路径反复压印一个带纹理的正方形来在 MTKView 上绘制的。我遇到的问题是,虽然每个画笔印章都正确显示了纹理的不透明度,但重叠的正方形不会建立价值,而是相互覆盖。在下面的说明中,每个图章都是一个带有 alpha 分量的带纹理的圆圈

我有一种感觉,因为所有的邮票都是一次渲染的,渲染器没有办法“建立”价值。但是,我对金属技术的了解有点深,所以我希望有人能指出我正确的方向。

以下是进一步的相关信息:

对于单个画笔描边,所有几何图形都存储在一个数组 vertexArrayBrush3DMesh 中,该数组包含所有正方形图章(每个正方形由 2 个三角形组成)。每个顶点的坐标的 z 值为 0.0,这意味着它们都占据相同的 3d“平面”。这可能是一个问题吗? (我测试了放置随机 z 值,但我没有看到行为的视觉差异)

下面是我的渲染管道设置。请注意,“.isBlendingEnabled = true”和“.alphaBlendingOperation = .add”都被注释掉了,因为它们对解决我的问题没有任何作用

// 5a. Define render pipeline settings
    let renderPipelineDescriptor = MTLRenderPipelineDescriptor()
    renderPipelineDescriptor.vertexFunction = vertexProgram
    renderPipelineDescriptor.sampleCount = self.sampleCount
    renderPipelineDescriptor.colorAttachments[0].pixelFormat = self.colorPixelFormat
    //renderPipelineDescriptor.colorAttachments[0].isBlendingEnabled = true
    //renderPipelineDescriptor.colorAttachments[0].alphaBlendOperation = .add
    renderPipelineDescriptor.fragmentFunction = fragmentProgram

请注意,将以下属性添加到 renderPassDescriptor 确实对设置整个画布的透明度有影响

// ensure canvas is transparent
        renderPassDescriptor?.colorAttachments[0].loadAction = .clear
        renderPassDescriptor?.colorAttachments[0].clearColor = MTLClearColorMake(0, 0, 0, 0)

以下是我进行渲染的代码部分。

func metalRenderColoredMesh(){
// the key to this routine is that it operates on a prepopulated array of points stored in vertexArrayBrush3DMesh
// whenever we want to render the current mesh, this routine gets called from draw()
if vertexArrayBrush3DMesh.count > 1 { // we must have more than 2 points to be able to draw a line
  // 6. Set buffer size of objects to be drawn
  let dataSize = vertexArrayBrush3DMesh.count * MemoryLayout<Vertex3DColor>.stride // apple recommendation size of the vertex data in bytes
  let vertexBuffer: MTLBuffer = device!.makeBuffer(bytes: vertexArrayBrush3DMesh, length: dataSize, options: [])! // create a new buffer on the GPU
  let renderPassDescriptor: MTLRenderPassDescriptor? = self.currentRenderPassDescriptor
  let samplerState: MTLSamplerState? = defaultSampler(device: self.device!)
  let texture = MetalTexture(resourceName: "opaqueRound", ext: "png", mipmaped: true)

  texture.loadTexture(device: device!, commandQ: commandQueue, flip: true)
  // If the renderPassDescriptor is valid, begin the commands to render into its drawable
  if renderPassDescriptor != nil {
    // ensure canvas is transparent
    renderPassDescriptor?.colorAttachments[0].loadAction = .clear
    renderPassDescriptor?.colorAttachments[0].clearColor = MTLClearColorMake(0, 0, 0, 0)

    // Create a new command buffer for each tessellation pass
    let commandBuffer: MTLCommandBuffer? = commandQueue.makeCommandBuffer()
    // 7a. Create a renderCommandEncoder four our renderPipeline
    let renderCommandEncoder: MTLRenderCommandEncoder? = commandBuffer?.makeRenderCommandEncoder(descriptor: renderPassDescriptor!)
    renderCommandEncoder?.label = "Render Command Encoder"      
    renderCommandEncoder?.setRenderPipelineState(renderPipeline!)
    renderCommandEncoder?.setVertexBuffer(vertexBuffer, offset: 0, index: 0)
    renderCommandEncoder?.setFragmentTexture(texture.texture, index: 0)
    renderCommandEncoder?.setFragmentSamplerState(samplerState, index: 0)

    // most important below: we tell the GPU to draw a set of triangles, based on the vertex buffer. Each triangle consists of three vertices, starting at index 0 inside the vertex buffer, and there are vertexCount/3 triangles total
    renderCommandEncoder?.drawPrimitives(type: .triangle, vertexStart: 0, vertexCount: vertexArrayBrush3DMesh.count)

    ///////////renderCommandEncoder?.popDebugGroup()
    renderCommandEncoder?.endEncoding() // finalize renderEncoder set up

    commandBuffer?.present(self.currentDrawable!) // needed to make sure the new texture is presented as soon as the drawing completes

    // 7b. Render to pipeline
    commandBuffer?.commit() // commit and send task to gpu

  } // end of if renderPassDescriptor

} // end of if vertexArrayBrush3DMesh.count > 1   }// end of func metalRenderColoredMesh()

2017/01/17 更新

在实施@warrenm 提供的建议后,我的笔触看起来无限有希望。

但是,结果出现了一些新问题/问题。

  1. 我不确定 Metal 如何处理大于 1 的加色值。它们会被限制在 1 吗?这是我在笔画的饱和部分看到的振铃的原因吗?

  2. 由于我实施的贝塞尔曲线采样的不规则性质,笔触的某些区域看起来有些不完整。为了让这种印章方法发挥作用,我必须想出一种方法,让印章均匀分布在整个笔画上。

【问题讨论】:

    标签: swift swift3 metal render-to-texture


    【解决方案1】:

    您的混合因子需要一些工作。默认情况下,即使启用了混合,片段着色器的输出替换颜色缓冲区的当前内容(请注意,我在这里忽略了深度缓冲区,因为这可能无关紧要)。

    您目前拥有的混合方程式是:

    cdst′ = 1 * csrc + 0 * cdst

    对于经典的 source-over 合成,您想要的更像是:

    cdst′ = αsrc * csrc + (1 - αsrc) * cdst

    renderPipelineDescriptor.colorAttachments[0].sourceRGBBlendFactor = .sourceAlpha
    renderPipelineDescriptor.colorAttachments[0].destinationRGBBlendFactor = .oneMinusSourceAlpha
    renderPipelineDescriptor.colorAttachments[0].sourceAlphaBlendFactor = .sourceAlpha    
    renderPipelineDescriptor.colorAttachments[0].destinationAlphaBlendFactor = .oneMinusSourceAlpha
    

    对于您的特定用例,您可能希望使用加法混合,其中新的片段值只是简单地添加到已经存在的值中:

    cdst′ = 1 * csrc + 1 * cdst

    renderPipelineDescriptor.colorAttachments[0].sourceRGBBlendFactor = .one
    renderPipelineDescriptor.colorAttachments[0].destinationRGBBlendFactor = .one
    renderPipelineDescriptor.colorAttachments[0].sourceAlphaBlendFactor = .one  
    renderPipelineDescriptor.colorAttachments[0].destinationAlphaBlendFactor = .one
    

    您是否真的想要添加混合取决于您所追求的确切效果。值小于 1 时,它会创建一种“累积”绘画效果,但一旦累积颜色值超过 1,它也会饱和,这可能会令人不快。另一方面,加法混合是可交换的,这意味着您不必关心画笔笔触的顺序。

    (在前面的讨论中,我忽略了预乘 alpha,在绘制到非透明图像时您绝对必须考虑到这一点。您可以阅读所有关于粗糙细节here。)

    【讨论】:

    • 多么美妙、简洁的答案。谢谢@warrenm。加法路线确实是我所追求的设置。你的方程是有道理的(我有使用像 Nuke 这样的高端合成器的经验)但是,你如何从这些方程到你提供的 renderPipelineDescriptor 设置对我来说是个谜。这是在哪里记录的?我只想说,我非常感谢有像您这样的资源积极参与社区帮助传播有关金属的知识。我发现开发者社区对这项技术的讨论不够。再次感谢您。
    • 我已经更新了问题以包含使用附加采样的笔触外观的快照。您的最后一段谈到忽略“预乘 alpha”,但我不确定是否理解您在这方面的警告。据我了解,如果我提供带有 alpha 通道的图章图像,金属会将其读取为预乘图像。我想我在更新的快照中看到了正确的结果。我在当前实现中看到的唯一问题,我在问题的最后提出。任何进一步的想法将不胜感激。
    • 我不知道 Apple 提供的任何文档指定用于混合的确切公式,但您可能会发现 this 更有启发性。至于钳位,是的,当给定通道饱和时(即要写入的值超过可以存储的最大值),它就会被钳位。
    • 关于预乘,您是正确的,通常应该以预乘格式提供纹理数据(相比之下,PNG 数据未预乘或未关联存储,尽管一些加载器会考虑这一点;YMMV)。如果想更有趣地阅读预乘 alpha,我推荐this post。存储预乘的 RGB 确实很重要,因为这是从纹理过滤中获得合理结果的唯一方法。
    • 感谢您提供 GL 链接。兔子洞很深:)。也感谢有关 PNG 文件的指针。事实证明,我使用的图章是一个 PNG 文件。我发现价值的建立速度比我想象的每笔笔触都要快,我想知道这是否与它有关。我将尝试其他文件格式,看看我是否会得到更可预测的行为。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-05-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多