图像操作

图像通过纹素坐标寻址。有三种纹素坐标系

SPIR-V OpImageFetch、OpImageSparseFetch、OpImageRead、OpImageSparseRead、opImageBlockMatchSADQCOM、opImageBlockMatchSSDQCOM、opImageBlockMatchWindowSADQCOM、opImageBlockMatchWindowSSDQCOM 和 OpImageWrite 指令使用整数纹素坐标。

其他图像指令可以使用归一化或非归一化纹素坐标（由指令中使用的采样器的 unnormalizedCoordinates 状态选择），但在支持的操作、图像状态和采样器状态方面存在限制。归一化坐标在逻辑上转换为非归一化坐标作为图像操作的一部分，并且某些步骤仅在归一化坐标上执行。即使其他坐标被归一化，数组层坐标也始终被视为非归一化坐标。

归一化纹素坐标被称为 (s,t,r,q,a)，其中坐标具有以下含义

坐标根据图像变量的维度和指令类型从 SPIR-V 操作数中提取。对于 Proj 指令，组件按顺序为 (s, [t,] [r,] q)，其中 t 和 r 根据图像的 Dim 有条件地存在。对于非 Proj 指令，坐标为 (s [,t] [,r] [,a])，其中 t 和 r 根据图像的 Dim 有条件地存在，而 a 根据图像的 Arrayed 属性有条件地存在。投影图像指令在 Arrayed 图像上不受支持。

非归一化纹素坐标被称为 (u,v,w,a)，其中坐标具有以下含义

只有 u 和 v 坐标直接从 SPIR-V 操作数中提取，因为只有 1D 和 2D（非 Arrayed）维度支持非归一化坐标。组件按顺序为 (u [,v])，当维度为 2D 时，v 有条件地存在。当归一化坐标转换为非归一化坐标时，会使用所有四个坐标。

整数纹素坐标被称为 (i,j,k,l,n)，其中坐标具有以下含义

它们按顺序从 SPIR-V 操作数中提取，顺序为 (i [,j] [,k] [,l] [,n])，其中 j 和 k 根据图像的 Dim 有条件地存在，而 l 根据图像的 Arrayed 属性有条件地存在。n 有条件地存在，并从 Sample 图像操作数中获取。

如果访问的图像是通过使用 VkImageViewSlicedCreateInfoEXT 从视图创建，并通过 VK_DESCRIPTOR_TYPE_STORAGE_IMAGE 描述符访问，则 k 的值会增加 VkImageViewSlicedCreateInfoEXT::sliceOffset，得到 k ← sliceOffset + k。图像在第三维中的可访问范围为 k < sliceOffset + sliceCount。如果 VkImageViewSlicedCreateInfoEXT::sliceCount 为 VK_REMAINING_3D_SLICES_EXT，则范围从图像的深度范围继承，如 图像 Mip 级别大小调整 中指定的那样。

对于所有坐标类型，未使用的坐标都分配为零值。

纹素坐标系 - 对于显示的 8×4 纹素二维图像的示例。

纹素坐标系 - 对于显示的 8×4 纹素二维图像的示例。

对于角采样图像，纹素样本位于网格交点处，而不是纹素中心。

RGB 颜色 (red, green, blue) 转换为共享指数颜色 (red_shared, green_shared, blue_shared, exp_shared)，如下所示

首先，将分量 (red, green, blue) 钳制为 (red_clamped, green_clamped, blue_clamped)，如下所示

其中

确定最大的钳制分量 max_clamped

计算初步的共享指数 exp'

计算共享指数 exp_shared

最后，计算范围为 0 到 2^N 的三个整数值

共享指数颜色 (red_shared, green_shared, blue_shared, exp_shared) 转换为 RGB 颜色 (red, green, blue)，如下所示

其中

纹素输入验证操作检查指令/图像/采样器状态或坐标，并在某些情况下导致纹素值被替换或变为未定义。纹素会经历一系列验证。

纹素会从图像视图的 VkFormat 转换为浮点或有符号或无符号整数分量的向量，其中分量的数量基于格式中存在的分量数量。

每个组件都根据其类型和大小进行转换（如 格式定义 部分针对每个 VkFormat 所定义的那样），使用 16 位浮点数、无符号 11 位浮点数、无符号 10 位浮点数、定点数据转换 和 共享指数到 RGB 中的相应公式。小于 32 位的有符号整数组件将进行符号扩展。

如果图像视图格式为 sRGB，则颜色分量首先会被视为 UNORM 进行转换，然后按照 Khronos 数据格式规范 的“sRGB EOTF”部分所述，对 R、G 和 B 分量应用 sRGB 到线性的转换。A 分量（如果存在）保持不变。

如果 VkSamplerYcbcrConversionYcbcrDegammaCreateInfoQCOM::enableYDegamma 等于 VK_TRUE，则按照 Khronos 数据格式规范 的“sRGB EOTF”部分所述，对 G 分量应用 sRGB 到线性的转换。如果 VkSamplerYcbcrConversionYcbcrDegammaCreateInfoQCOM::enableCbCrDegamma 等于 VK_TRUE，则按照 Khronos 数据格式规范 的“sRGB EOTF”部分所述，对 R 和 B 分量应用 sRGB 到线性的转换。A 分量（如果存在）保持不变。

如果图像视图格式为块压缩格式，则首先解码纹素值，然后根据压缩格式定义的类型和分量数量进行转换。

如果纹素是以下情况之一（并且仅是其中之一），则该纹素将被替换：

边界纹素会被替换为基于图像格式和采样器的 borderColor 的值。边界颜色为：

自定义边界颜色 (U) 可能在纹素替换之前被实现四舍五入，但这种四舍五入引入的误差 必须 不超过图像 format 的一个 ULP。

这通过替换图像格式中的分量数量来代替纹素值

† 当 VkSamplerCreateInfo::borderColor 为 VK_BORDER_COLOR_INT_CUSTOM_EXT 并且 VkSamplerCustomBorderColorCreateInfoEXT::format 为 VK_FORMAT_UNDEFINED 时，S = B_g 可能会被实现作为替换方法。实现 应该 使用 S = B_r 作为替换方法。

除非读取操作来自缓冲区资源并且启用了 robustBufferAccess 功能，否则读取无效纹素返回的值是 未定义的。在这种情况下，无效纹素将按照 robustBufferAccess 功能的描述进行替换。如果访问的是图像资源，并且 x、y、z 或图层坐标验证失败，并且启用了 robustImageAccess 功能，则如果存在，R、G 和 B 分量 必须 返回零。如果存在 A 分量，则 必须 返回零或一。如果启用了 robustImageAccess2 功能，则 必须 返回零值。如果仅样本索引无效，则返回的值是 未定义的。

此外，如果启用了 robustImageAccess 功能，但未启用 robustImageAccess2 功能，则任何无效纹素 可能 在纹素替换之前扩展到四个分量。这意味着图像格式中不存在的分量可以用 0 替换，或者可以像往常一样进行 转换为 RGBA。

从空描述符加载返回一个所有分量均为零的四分量颜色值。但是，对于使用显式 SPIR-V 图像格式的存储图像和存储纹素缓冲区，如果格式不包含 alpha，则从空描述符加载 可能 返回 alpha 值为 1（浮点或整数，取决于格式）。

如果 VkPhysicalDeviceSparseProperties::residencyNonResidentStrict 属性为 VK_TRUE，则稀疏未绑定纹素将分别用图像格式的整数和浮点分量的 0 或 0.0 值替换。

如果 residencyNonResidentStrict 为 VK_FALSE，则稀疏未绑定纹素的值是未定义的。

如果图像视图具有深度/模板格式，则深度分量由 aspectMask 选择，并且操作是 OpImage*Dref* 指令，则会执行深度比较。如果比较结果为 true，则结果为 1.0，否则为 0.0。此值将替换深度分量 D。

比较操作由 VkCompareOp 值选择，该值由 VkSamplerCreateInfo::compareOp 设置。SPIR-V 操作数 D_ref 中的参考值和纹素深度值 D_tex 在该操作中分别用作参考值和测试值。

如果采样的图像具有无符号归一化定点格式，则在比较操作之前，D_ref 会被钳制到 [0,1]。

根据图像基本颜色，纹素从一个、两个或三个分量扩展到四个分量。

其中 one = 1.0f 用于浮点格式和深度方面，one = 1 用于整数格式和模板方面。

所有纹素输入指令都基于以下内容应用混洗：

混洗可以重新排列纹素的分量，或者为任何分量替换零或一。它对于每个颜色 component 定义如下：

其中

如果边框颜色是 VK_BORDER_COLOR_*_OPAQUE_BLACK 枚举之一，并且对于所有分量，VkComponentSwizzle 不是 恒等混洗，则混洗后的纹素的值是未定义的。

如果图像视图具有深度/模板格式，并且 VkComponentSwizzle 是 VK_COMPONENT_SWIZZLE_ONE，并且 VkPhysicalDeviceMaintenance5Properties::depthStencilSwizzleOneSupport 不是 VK_TRUE，则混洗后的纹素的值是未定义的。

OpImageSparse* 指令返回一个结构，其中包括一个驻留代码，指示该指令访问的任何纹素是否是稀疏未绑定纹素。此代码可以由 OpImageSparseTexelsResident 指令解释，该指令将驻留代码转换为布尔值。

在某些颜色模型中，颜色表示是根据单色光强度（通常称为“亮度”）和相对于此强度的颜色差异（通常称为“色度”）来定义的。对于除 RGB 之外的颜色模型，通常以比亮度分量更低的空间分辨率表示色度分量。此方法用于利用人眼对颜色的空间敏感度低于其对亮度的敏感度的特点。较不常见的是，相同的方法也用于加色，因为绿色分量在人眼对光强度的敏感度中占主导地位，并且红色和蓝色引入的颜色空间敏感度较低。

较低分辨率的分量通过将它们调整为比表示亮度的分量更低的空间分辨率进行“下采样”。此过程通常也称为“色度二次采样”。每个纹理纹素中都有一个亮度样本，但每个色度样本可能会在纹理的一个或两个维度中被多个纹素共享。

为纹理访问重建完整颜色值的过程涉及在同一位置访问色度和亮度值。为了准确生成颜色，必须从较低分辨率的样本位置重建亮度样本位置的较低分辨率分量的值，无论实际颜色模型如何，该操作在此处称为“色度重建”。

色度样本相对于亮度坐标的位置由用于创建采样器 Y′C_BC_R 转换的 VkSamplerYcbcrConversionCreateInfo 结构的 xChromaOffset 和 yChromaOffset 成员确定。

下图显示了非归一化 (u,v) 坐标和亮度分量中 (i,j) 整数纹素位置之间的关系（以黑色显示，圆圈显示整数样本位置）以及以红色交叉显示的降低分辨率色度分量的纹素坐标。

重建以两种方式之一实现

如果要采样的图像的格式设置了 VK_FORMAT_FEATURE_SAMPLED_IMAGE_YCBCR_CONVERSION_CHROMA_RECONSTRUCTION_EXPLICIT_BIT，或者 VkSamplerYcbcrConversionCreateInfo 的 forceExplicitReconstruction 为 VK_TRUE，则重建将作为独立于过滤的显式步骤执行，如显式重建部分所述。

如果要采样的图像的格式未设置 VK_FORMAT_FEATURE_SAMPLED_IMAGE_YCBCR_CONVERSION_CHROMA_RECONSTRUCTION_EXPLICIT_BIT，并且如果 VkSamplerYcbcrConversionCreateInfo 的 forceExplicitReconstruction 为 VK_FALSE，则重建将作为颜色模型转换之前过滤的隐式部分执行，没有单独的转换后纹素过滤步骤，如隐式重建部分所述。

采样器 Y′C_BC_R 转换执行以下操作，实现 可以 将其组合为单个数学运算

纹素输出验证操作检查指令/图像状态或坐标，并且在某些情况下会导致写入无效。纹素会经历一系列验证。

整数纹素坐标的验证规则与纹素输入坐标验证的规则相同。

如果纹素未通过整数纹素坐标验证，则写入无效。

如果纹素尝试写入稀疏图像的未绑定区域，则该纹素是稀疏的未绑定纹素。在这种情况下，如果VkPhysicalDeviceSparseProperties::residencyNonResidentStrict 属性为 VK_TRUE，则稀疏的未绑定纹素写入无效。如果 residencyNonResidentStrict 为 VK_FALSE，则写入可能会产生副作用，该副作用对于任何资源中对未绑定纹素的其他访问是可见的，但对于应用程序分配的任何设备内存将不可见。

如果图像格式为 sRGB，则按照Khronos 数据格式规范的“sRGB EOTF”章节中的描述，对 R、G 和 B 分量应用线性到 sRGB 的转换。A 分量（如果存在）保持不变。

然后，纹素将从纹素数据的浮点、有符号或无符号整数类型转换为图像视图的VkFormat。如果纹素数据中的分量数量大于格式中的分量数量，则会丢弃其他分量。

每个分量都根据其类型和大小进行转换（如每个VkFormat的格式定义部分中所定义）。浮点输出的转换如浮点格式转换和定点数据转换中所述。整数输出的转换会保留其值。任何无法以目标格式表示的整数的转换后的值都是未定义的。

如果 VkImageView 格式在其格式描述中具有 X 分量，则会向这些位写入未定义的值。

如果底层 VkImage 格式在其格式描述中具有 X 分量，则也会向这些位写入未定义的值，即使结果格式转换会为这些位产生有效值，因为 VkImageView 格式是不同的。

对于 Proj 图像操作，标准化纹素坐标 (s,t,r,q,a) 和（如果存在）D_ref 坐标按如下方式转换

导数用于 LOD 选择。这些导数可以是隐式的（在网格、任务、计算或片段着色器中的 ImplicitLod 图像指令中），也可以是显式的（由着色器在任何着色器中显式提供给图像指令）。

对于隐式导数图像指令，纹素坐标的导数以与导数操作相同的方式计算。即

某些图像维度未定义的上述偏导数设置为零。

对于显式 LOD 图像指令，如果提供了可选的 SPIR-V 操作数 Grad，则操作数值将用于导数。给定图像维度的每个导数中存在的组件数量与上面计算的偏导数数量相匹配。

如果提供了可选的 SPIR-V 操作数 Lod，则导数设置为零，跳过立方体贴图导数变换，并跳过缩放因子运算。相反，浮点标量坐标将直接赋值给 λ_base，如 LOD 操作中所述。

如果隐式导数图像指令使用的图像或采样器对象在四边形中不均匀，并且不支持 quadDivergentImplicitLod，则导数和 LOD 值是未定义的。当图像和采样器以及控制流在四边形中均匀时，即使它们在不同的四边形之间发散，隐式导数也是定义良好的。

如果支持 quadDivergentImplicitLod，即使图像或采样器对象在四边形内不均匀，导数和隐式 LOD 值也是定义良好的。导数按照上述指定计算，并且每个着色器调用的隐式 LOD 计算都使用其各自的图像和采样器对象进行。

对于立方体贴图图像指令，(s,t,r) 坐标被视为方向向量 (r_x,r_y,r_z)。该方向向量用于选择立方体贴图面。方向向量被转换为每个面的纹素坐标系 (s_face,t_face)。方向向量还用于将导数转换为每个面的导数。

方向向量根据最大幅度坐标方向（主轴方向）选择立方体贴图的一个面。由于两个或多个坐标可能具有相同的幅度，因此实现必须具有规则来消除这种情况的歧义。

这些规则的第一个规则应该是 r_z 胜过 r_y 和 r_x，第二个规则是 r_y 胜过 r_x。实现可以选择其他规则，但这些规则必须是确定性的，并且仅取决于 (r_x,r_y,r_z)。

层号（对应于立方体贴图面）、s_c、t_c、r_c 的坐标选择以及导数的选择由主轴方向确定，如下两个表所示。

立方体贴图坐标变换的偏导数可以计算为

其他导数也类似地简化，结果为

LOD 选择可以是显式的（由图像指令显式提供）或隐式的（从根据导数计算的缩放因子确定）。LOD 必须以 mipmapPrecisionBits 的精度计算。