《Pro SQL Server Internals, 2nd edition》翻译(P8-P14)

本文深入探讨SQLServer数据库中数据页和数据行的结构,包括页眉、自由空间、槽数组及数据行的状态位、固定长度和可变长度数据部分。解析SQLServer如何存储和处理数据,以及数据行格式对表设计的影响。

数据页和数据行

    数据库中的空间被划分为有逻辑结构的页面,每页8KB。这些页面从0开始连续编号,可以通过指定文件ID和页码来引用它们。页面编号总是连续的,这样当SQL Server数据库文件增多时,新页面的编号将从文件中最高的页码加1开始。类似地,当SQL Server压缩文件时,它会从文件中删除数量最多的页面。

    一般来说,SQL Server存储和处理数据库中的数据有三种不同的方式或技术。使用传统的方式基于行存储,数据存储在数据行中,这些数据行将来自所有列的数据组合在一起。

SQL Server 2012引入了列存储索引和基于列的存储。这种技术以每列存储数据而不是每行存储数据。我们将在本书的第七部分介绍基于列的存储。

最后,SQL Server 2014中引入了内存技术,SQL Server 2016中进一步改进了内存技术。尽管出于冗余目的,它们将数据保存在磁盘上,但它们的存储格式与基于行和基于列的存储都有很大不同。我们将在本书的第8部分中讨论内存技术。本书的这一部分主要讨论基于行的存储和经典的树索引和堆。

图1-6显示了数据页的结构

图1-6数据页结构

 

    一个96字节的页眉包含信息页面的各个部分,如对象页面所属的行数和可用空闲空间页面,链接到前一个和后一个页面,如果页面在一个索引页链,等等。

    页眉后面是实际数据存储的区域。然后是自由空间。最后,还有一个槽数组,它是一个由两个字节的条目组成的块,指示相应的数据行从该页开始的偏移量。

    槽数组表示页面上数据行的逻辑顺序。如果页面上的数据需要按照索引键的顺序排序,SQL Server不会对页面上的数据行进行物理排序,而是根据索引排序顺序填充槽数组。槽0(图1-6最右边)存储页上键值最低的数据行的偏移量;槽1,第二低的键值;等等。我们将在下一章更深入地讨论索引。

        SQL Server提供了一组丰富的系统数据类型,可以在逻辑上分为两组:固定长度组和可变长度组。固定长度的数据类型,如int、datetime、char和其他类型,不管它们的值是多少,都使用相同数量的存储空间,即使是NULL也是如此。例如,int列总是使用4字节,而nchar(10)列总是使用20字节存储信息。

    相反,可变长度的数据类型,如varchar、varbinary和其他一些类型,使用的存储空间与存储数据所需的空间一样多,外加两个字节。例如,nvarchar(4000)列仅使用12字节存储5个字符的字符串,在大多数情况下,使用2字节存储NULL值。我们将在本章后面讨论变长列不为NULL值使用存储空间的情况。

    让我们看看数据行的结构,如图1-7所示。

图1 - 7.数据行结构

 

    行的前两个字节,称为状态位A和状态位B,是位图,其中包含关于行的信息,比如行类型,如果行已经被逻辑地删除(重定向),如果行有NULL值、可变长度列和版本控制标记。

    行中接下来的两个字节用于存储数据的固定长度部分的长度,接着固定长度的数据本身。

    在固定长度的数据部分之后,有一个null位图,它包含两个不同的数据元素。第一个双字节元素是行中的列数。第二个是空位图数组。这个数组对表的每一列使用一位,不管它是否为空。

    空位图总是出现在堆表或聚集索引叶行的数据行中,即使在表没有可空列。但是,空位图不存在于非叶索引行中,也不存在于当索引中没有可空列时,非聚集索引的叶级行。

    在null位图之后,是行中可变长度的数据部分。它从一个2字节开始行中可变长度的列数,然后是列偏移量数组。SQL Server为行中每个变长列存储一个2个字节的偏移量值,即使该值为NULL。其次数据的实际可变长度部分。最后,最后还有一个可选的14字节版本控制标记的行。此标记用于需要行版本控制的操作,例如在线索引重建,乐观隔离级别、触发器等。

 


 

注意  我们将在第6章讨论索引维护,在第9章讨论触发器,在第21章讨论乐观隔离级别。


 

 让我们创建一个表,用一些数据填充它,并查看实际的行数据。代码显示在清单1 - 4。复制函数将第一个参数提供的字符重复10次。

清单1 - 4.数据行格式:表创建

create table dbo.DataRows

(

 ID int not null,

 Col1 varchar(255) null,

 Col2 varchar(255) null,

 Col3 varchar(255) null

)

insert into dbo.DataRows(ID, Col1, Col3) values (1,replicate('a',10),replicate('c',10));

insert into dbo.DataRows(ID, Col2) values (2,replicate('b',10));

dbcc ind

(

 'SQLServerInternals' /*Database Name*/

 ,'dbo.DataRows' /*Table Name*/

 ,-1 /*Display information for all pages of all indexes*/

);

一个未文档化但众所周知的DBCC IND命令返回关于表页面分配的信息。你可以在图1-8中看到该命令的输出。

 

图1 - 8.DBCC IND输出

 

    有两页是属于这个表的。第一个页面类型=10,是一种特殊类型的页面,称为IAM分配映射。这个页面跟踪属于特定对象的页面。但是,现在不要专注于此,因为我们将在本章后面讨论分配映射页面。

 


 

注意  dm_db_database_page_assignments可以用作DBCC IND命令的替代。与DBCC IND相比,此DMF的输出提供了更多信息,并且可以与其他系统dmv和/或目录视图连接。

 

PageType=1的页面是包含数据行的实际数据页。PageFID和PagePID列显示了页面的实际文件和页码。您可以使用另一个未文档化的命令DBCC PAGE来检查其内容,如清单1-5所示。

清单1 - 5.数据行格式:DBCC页调用

——将DBCC页面输出重定向到控制台

dbcc traceon(3604);

dbcc page

(

 'SqlServerInternals' /*Database Name*/

 ,1 /*File ID*/

 ,214643 /*Page ID*/

 ,3 /*Output mode: 3 - display page header and row details */

);

清单1-6显示了对应于第一行数据的DBCC页面的输出。SQL Server以字节交换的顺序存储数据。例如,两个字节的值0001将存储为0100。

清单1 - 6.第一行的DBCC页面输出

Slot 0 Offset 0x60 Length 39

Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS

Record Size = 39

Memory Dump @0x000000000EABA060

0000000000000000: 30000800 01000000 04000403 001d001d 00270061 0................'.a

0000000000000014: 61616161 61616161 61636363 63636363 636363 aaaaaaaaacccccccccc

Slot 0 Column 1 Offset 0x4 Length 4 Length (physical) 4

ID = 1

Slot 0 Column 2 Offset 0x13 Length 10 Length (physical) 10

Col1 = aaaaaaaaaa

Slot 0 Column 3 Offset 0x0 Length 0 Length (physical) 0

Col2 = [NULL]

Slot 0 Column 4 Offset 0x1d Length 10 Length (physical) 10

Col3 = cccccccccc

让我们更详细地查看数据行,如图1-9所示。

 

图1 - 9.第一个数据行

 

    正如你所看到的,行以两个状态位开始,然后是两个字节的值0800。这是字节交换值0008,它是行中列数属性的偏移量。这个偏移量告诉SQL Server行中固定长度的数据部分在哪里结束。

    接下来的4个字节用于存储固定长度的数据,在我们的示例中是ID列。然后是两个字节的值,该值显示数据行有四列,然后是一个一个字节的空位图。如果只有四列,位图中的一个字节就足够了。它以二进制格式存储04的值,即00000100。它表示行中的第三列包含空值。

    接下来的两个字节存储行中可变长度列的数量,即3(字节顺序为0300)。它后面是一个偏移量数组,其中每两个字节存储变量列数据结束的偏移量。如你所见,即使Col2为NULL,它仍然使用偏移数组中的插槽。最后,还有来自可变长度列的实际数据。

    现在,让我们看看第二个数据行。清单1-7显示DBCC页面输出,图1-10显示行数据。

 

图1 - 10.第二数据行数据

清单1 - 7.DBCC页输出为第二行

Slot 1 Offset 0x87 Length 27

Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS

Record Size = 27

Memory Dump @0x000000000EABA087

0000000000000000: 30000800 02000000 04000a02 0011001b 00626262 0................bbb

0000000000000014: 62626262 626262 bbbbbbb

Slot 1 Column 1 Offset 0x4 Length 4 Length (physical) 4

ID = 2

Slot 1 Column 2 Offset 0x0 Length 0 Length (physical) 0

Col1 = [NULL]

Slot 1 Column 3 Offset 0x11 Length 10 Length (physical) 10

Col2 = bbbbbbbbbb

Slot 1 Column 4 Offset 0x0 Length 0 Length (physical) 0

Col3 = [NULL]

       <br>第二行中的NULL位图表示二进制值00001010,表示Col1和<br><div class="br-height"></div>Col3是NULL。即使表有三个可变长列,行中可变长列的数量表明偏移数组中只有两列/槽。SQL Server不维护行中尾随的空变长列的信息。

 

 


 

□建议 你可以通过创建表来减少数据行的大小,方法是将通常存储null值的变长列定义为CREATE TABLE语句中的最后一列。这是CREATE TABLE语句中列的顺序惟一重要的情况。


 

  <br>固定长度的数据和内部属性必须适合单个数据页上可用的8060字节。<br><div class="br-height"></div>如果不是这样,SQL Server不允许你创建表。例如,清单1-8中的代码产生了一个错误。

清单1 - 8.创建数据行大小超过8060字节的表

create table dbo.BadTable

(

 Col1 char(4000),

 Col2 char(4060)

)

Msg 1701, Level 16, State 1, Line 1

<br>创建或更改表“BadTable”失败,因为最小行大小为8067,包括7字节的内部开销。这超过了表行大小的最大允许值<br><div class="br-height"></div>8060字节。

本翻译节选《Pro SQL Server Internals, 2nd edition》中的一小节,原文可自行查找浏览。

代码下载地址: https://pan.quark.cn/s/a4b39357ea24 在计算机视觉技术中,数据集扮演着训练和评估模型的核心角色。Labelme作为一个广受欢迎的开源工具,能够支持用户以交互方式对图像进行标注,而COCO(Common Objects in Context)则是一种被广泛采纳的数据集标准格式,适用于包括物体检测、图像分割在内的多种任务。本文将详细阐述如何将Labelme生成的标注数据转换为COCO数据集的标准格式。 Labelme标注的图像在输出为JSON格式时,会包含以下核心内容: 1. `version`: 指明JSON文件的版本信息。 2. `flags`: 目前未定义或保持为空,预留用于未来的功能扩展。 3. `shapes`: 列表形式存储对象的形状信息,每个形状项包含`label`(对象类别名称),`points`(构成对象边缘的多边形顶点),以及`shape_type`(通常为“polygon”)。 4. `imagePath`和`imageData`: 提供原始图像的存储路径和二进制数据,便于后续图像的还原。 5. `imageHeight`和`imageWidth`: 明确标注图像的垂直和水平尺寸。 COCO数据集的标准格式中定义了三种主要的标注类型: 1. Object instances(目标实例):主要用于执行物体检测任务。 2. Object keypoints(目标上的关键点):适用于人体姿态估计相关应用。 3. Image captions(看图说话):用于生成图像的文本描述。 COCO的JSON结构中包含以下基本组成部分: 1. `images`:记录图像的基本属性,包括`height`(高度)、`...
内容概要:本文围绕基于Basisformer模型的时间序列锂离子电池SOC(State of Charge,荷电状态)预测展开研究,利用PyTorch深度学习框架构建并训练模型,旨在提升锂电池SOC估计的准确性与鲁棒性。该方法融合Transformer架构的核心机制,通过引入基函数(Basis)分解策略,有效捕捉电池充放电过程中长时序、非线性动态特征,增强模型对复杂工况的适应能力。研究不仅详细阐述了Basisformer的网络结构设计、注意力机制优化与训练流程,还提供了完整的Python代码实现方案,涵盖数据预处理、模型搭建、损失函数定义、训练验证及结果可视化等环节,便于科研人员快速复现、调优并拓展至其他电池状态预测任务。; 适合人群:具备一定深度学习与Python编程基础,熟悉PyTorch框架,从事电池管理系统(BMS)、新能源汽车、储能系统、智能传感等领域的高校研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于动力电池与储能系统的实时SOC估算模块,提升系统安全性与能量利用效率;②作为学术研究的基础模型,用于复现、改进基于Transformer的时间序列预测方法在电化学系统中的应用;③为数据驱动的电池健康状态(SOH)、剩余使用寿命(RUL)联合估计提供可扩展的技术框架。; 阅读建议:建议读者结合所提供的代码与公开电池数据集(如NASA、CALCE等)进行动手实践,深入理解模型的输入输出结构与时序建模逻辑,同时可尝试引入温度、老化周期等多维特征,或融合物理模型构建混合预测架构,以进一步提升预测精度与泛化能力。
内容概要:本文系统阐述了基于动态规划算法优化插电式混合动力电动汽车(PHEV)能源管理的技术方案,结合Matlab与Simulink工具实现完整的仿真建模与代码开发。通过动态规划这一全局优化方法,在已知驾驶循环条件下,精确求解发动机、电机及电池之间的最优能量分配策略,以实现燃油消耗与排放的最小化目标,解决PHEV多能源路径规划中的复杂决策问题。文中提供了详尽的仿真模型构建流程与算法实现步骤,涵盖车辆动力学建模、能量管理架构设计、状态空间定义、代价函数构造、最优控制律求解及结果可视化分析等关键环节,全面揭示PHEV能量管理系统的内在机制与优化逻辑。; 适合人群:具备一定Matlab/Simulink编程基础,从事新能源汽车、智能控制、电力电子、自动化或交通运输工程等相关领域的研究生、科研人员及工程技术人员,尤其适合专注于车辆能量管理策略、节能控制算法研究的专业人士。; 使用场景及目标:①深入掌握动态规划在混合动力汽车能量管理中的理论基础与工程实现方法;②学习如何在Matlab/Simulink环境中搭建PHEV整车仿真平台并实施多目标优化仿真;③为学术研究、学位论文撰写或实际工程项目提供可复用的算法框架、模型模板与技术支持,支撑后续对等效燃油消耗最小化策略(ECMS)、模型预测控制(MPC)、实时优化算法等的对比研究与性能评估。; 阅读建议:建议读者结合所提供的完整代码与Simulink模型文件,逐模块调试运行,重点理解状态变量离散化处理、前后向递推求解过程、惩罚项设置以及边界条件处理等核心技术细节,同时可进一步拓展应用于不同工况场景、不同车型结构或与其他优化算法(如庞特里亚金极小值原理PMP)的对比验证,从而深化对PHEV能量管理实时性与全局性平衡问题的理解。
内容概要:本文围绕基于多虚拟同步发电机(VSG)的独立微网系统,开展多目标二次控制策略的MATLAB/Simulink建模与仿真研究。通过构建包含多个VSG单元的独立微网系统,设计并实现了能够同时实现频率与电压的无静差恢复、有功/无功功率精确分配以及环流有效抑制的综合控制目标的二次控制方法。研究重点在于控制策略的整体架构设计、关键控制模块的数学建模及其在Simulink环境中的精细化实现,通过大量仿真实验验证了所提控制策略在不同工况下的有效性、动态响应性能及系统鲁棒性。; 适合人群:具备电力系统分析、自动控制理论及现代电力电子技术等专业知识背景,熟悉MATLAB/Simulink仿真工具,从事新能源发电、微电网运行与控制、分布式能源系统集成等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:① 深入掌握多VSG独立微网系统的建模方法与稳定性分析要点;② 理解并复现兼顾静态精度与动态品质的多目标二次协同控制算法;③ 为新型微网控制保护装置的研发及先进控制策略的工程化应用提供可靠的仿真验证平台和技术储备。; 阅读建议:学习者应在巩固电力系统基础理论的前提下,重点关注控制算法的设计逻辑、各控制环节间的耦合关系以及Simulink模块的搭建技巧,建议通过调整系统参数、设置不同的负载投切与故障扰动工况进行反复仿真,以深刻理解控制策略的内在机理与适应能力。
【通用视觉框架】基于Qt+Halcon开发的仿Visionmaster的通用视觉框架软件,全套源码,开箱即用 1.1 背景 ​ 本项目软件开发意图为实现对Halcon、Opencv算子及其它视觉软件的便捷使用,由于Halcon和Opencv使用相比VisionPro较为麻烦,故此本软件仿照海康VisionMaster的流程图式操作,实现对Halcon、Opencv及其它视觉软件的二次开发。 2.1 软件概述 本软件使用Qt框架进行开发,实现对视觉流程的自由搭配,市场上对标海康威视的VisionMaster; 本软件使用插件化开发框架,可使用提供的二次开发库自行添加新功能算子和新模块(将生成的插件放置到对应目录下即可)2.2 功能概述: 视觉流程图式编程:实现对视觉/数据处理算子的自由编程,从而实现各类复杂的视觉需求 项目读取保存:将编程的视觉项目进行保存或者读取 图像显示:主界面中可以显示及监控视觉算子的图像处理情况 日志消息显示:显示软件运行过程中出现的日志消息 多语言:可进行多种语言切换 2.3 开发平台 主开发语言:Qt(C++) C++语言标椎:C++17 开发环境:Window/Linux 编程平台:Qt Creator 编译器: |版本 | MSVC | Qt 6.4.0 MSVC2019 64bit | | Mingw | Qt 6.4.0 MinGW 64-bit | 视觉工具:Halcon19.11 Progress X64 资源介绍请查阅:https://blog.csdn.net/m0_37302966/article/details/146980317 更多视觉框架资源:https://blog.csdn.net/m0_37302966/article/details/146583453
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值