3d重建 资料笔记

SGD通过利用扩散模型的先验信息和互补的多模态数据来增强3DGS的能力

3D Gaussian Splatting 学习笔记

Gaussian Splatting通过​​原子化渲染范式​​​速度革命​​：首次实现电影级画质的实时渲染​​存储革命​​：用动态高斯原子替代传统三角面片​​流程革命​​：端到端可微分优化颠覆传统管线​​未来方向​​​神经高斯融合​​：结合扩散模型生成细节​​全息交互​​：光场显示技术与高斯渲染深度融合​​宇宙模拟​​：星系级场景实时可视化正如论文作者所述："Gaussian Splatting不是渐进式改良，而是图形学范式的重新发明。

前言 本文章使用3D Slicer对输入数据进行三维重建，结合别人的经验以及自己的摸索，写成这一篇文章，只是简单的记录一下自己做过的事情，并没有多少深入的去研究，对一些东西可能理解的不够好，希望读这篇文章的人能够谅解，不喜勿喷。 参考资料 CT图片三维重建方法之3DSlicer篇 临床影像实践 B站视频–血肿及中线测量 补充说明 获取切片的间距，这里我用的是python的代码来实现的，所用的图片是使用LITS数据集由NII文件转为png图片来实现的，NII转PNG图片在我的博客另外一篇文章里面有，这里获取切

最近，由于项目需要开始接触了

数据驱动的3D人头重建 文中提出的框架可以通过一张图片重建出3D人头模型。图片首先通过卷积神经网络把图片进行分割，使用Gabor滤波器提取头发方向。之后，以标志点为约束求解FLAME面参数化模型。利用人脸图像的高频信息对细节进行增强，并利用反照率参数化模型对纹理进行补充。最后，建立了条状网格毛发数据库，并利用该数据库和图像中提取的信息，对图像中的头发进行了重建 头部重建是人体重建中较为困难的。...

一、相关论文。

前言 之前有款换脸软件不是叫ZAO么，分析了一下，它的实现原理绝对是3D人脸重建，而非deepfake方法，找了一篇3D重建的论文和源码看看。这里对源码中的部分函数做了自己的理解和改写。 国际惯例，参考博客： 什么是uv贴图？ PRNet论文 PRNet代码 本博客主要是对PRNet的输出进行理解。 理论简介 这篇博客比较系统的介绍了3D人脸重建的方法，就我个人浅显的理解，分为两个流派：1.通过算...

基于图片的3D重建总流程 visualSFM：  图片（.jpeg）—> 稠密点云（.ply） step1: 导入图像 选择"File->Open Multi Images"/点击按钮1 step2: 特征提取和图像匹配（使用的该作者的siftGPU）http://cs.unc.edu/~ccwu/siftgpu/ 选择"SfM->Pair

该论文是09年的一篇3D人脸重建综述文章。 目前的大部分3D人脸重建系统受限于3d扫描设备的一些不足： 1、在扫描过程中要求一定的光线条件 2、无法从多个物体同时获取3D数据 3、没有反射的区域无法获得正确数据（如头发） 4、无法实时 5、如果是激光扫描时，会伤到眼镜 6、在扫描时以及后处理需要人的辅助 7、3D扫描设备的大小和价格限制了现实生活中的应用 一个可选的方案是，直接从...

3D超声重建是一种基于2D超声图像生成3D体积数据的技术，广泛应用于医学影像领域。通过重建和可视化三维结构，3D超声能够显著提高诊断精度和效率，同时减少医生的脑力负担。本技术文档将详细阐述3D超声重建的主要流程、关键技术和常见应用场景;

论文：Learning an Animatable Detailed 3D Face Model from In-The-Wild Images Github：https://github.com/YadiraF/DECA 论文提出了基于单张彩色图片进行3d人脸重建的方法DECA(Detailed Expression Capture and Animation) ，在Nvidia Quadro RTX 5000上可以达到120fps。 row 1：原始输入样本数据 row 2：粗糙的形..

纹理重建的输入项包括： 二维纹理图像、图像对应的相机标定参数、无纹理的3D模型（一般为三角网格模型） 纹理重建的输出项为： 带有纹理的3D模型 纹理重建的主要步骤如下： 1. load_view() read_obj_model() 读取二维纹理图像及其对应的相机模型几何参数，读取带有三角网格的3D模型 2. labeling(model, adj_face_list, views...

《Cascaded Regressor based 3D Face Reconstruction from a Single Arbitrary View Image》论文解读本文来自四川大学，论文原文： https://arxiv.org/abs/1509.06161v1 人脸3D重建就是从一张或多张照片中重建出人脸的3D的模型。本文提出了回归框架下的人脸3D重建，这篇文章给我的感觉就是SDM

对3D内容的需求比以往任何时候都高，因为它对于实现游戏、视觉效果和可穿戴混合现实设备的实时交互至关重要。尽管需求很高，高质量的3D内容仍然相对稀缺。与可以轻松用消费级摄影设备捕捉的2D图像和视频不同，创建3D内容需要复杂的专业工具以及大量的时间和精力投入。幸运的是，最近在摄影测量技术方面的进展大大提高了从2D图像创建3D资产的可行性。方法如NeRF、Instant-NGP和Gaussian Splatting允许任何人通过拍摄真实场景的照片并优化该场景的底层3D几何和外观表示来创建3D内容。

3D点云重建原理及Pytorch实现 Pytorch: Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction 一种Pytorch实现方法：学习高效的点云生成方法用于稠密三维物体重建 Article: https://chenhsuanlin.bitbucket.io/3D-point-cloud-generation/paper.pdf Original TF implementation: https://

从这些训练视点，渲染估计的3D场景，并最小化渲染图像和观察图像之间的差异，根据这些观察结果训练网络。与使用神经网络学习渲染函数的方法相反，NeRF在该方法中更明确地使用了计算机图形学的知识，由于（物理）归纳偏差，能够更好地概括新视图：场景密度和半径的中间3D结构化表示。因此，NeRF在3D空间中学习物理上有意义的颜色和密度值，物理激发的光线投射和体集成可以持续渲染到新视图中。在该架构中，首先提取深层的视觉图像特征，然后通过可微分的单应变换，基于参考视图的相机视锥体构建3D代价体。

在3D感知领域，包括3D目标检测在内，显式重建和隐式重建是两种不同的方法来表示和处理三维数据。它们各自有优势和局限，适用于不同的场景和需求。