读数据质量管理：数据可靠性与数据质量问题解决之道20读后总结与感想兼导读

1. 基本信息

数据质量管理：数据可靠性与数据质量问题解决之道

• [美] 巴尔·摩西，[美] 利奥·加维什，[美] 莫莉· 著

• 机械工业出版社,2024年5月出版

1.1. 读薄率

书籍总字数18.8万字，笔记总字数61295字。

读薄率61295÷188000≈32.6%

1.2. 读厚方向

1. Data Mesh权威指南

2. 数据的边界：隐私与个人数据保护

3. 数据保护：工作负载的可恢复性

4. Julia数据科学应用

5. MLOps权威指南

6. 数据自助服务实践指南：数据开放与洞察提效

7. 商战数据挖掘：你需要了解的数据科学与分析思维

8. Spark快速大数据分析（第2版）

1.3. 笔记--章节对应关系

2. 亮点

2.1 数据标准化

• 标准化通常是你的数据在管道中经过的诸多此类转换中的第一个

• 非常重要

2.2 数据测试

• 数据测试的两个最佳工具分别是dbt测试和Great Expectation

2.3 数据沿袭

• 通俗点说，就是来龙去脉

2.4 数据信任

• 重中之重，不可信，有何用？
  • 其实，也是很有用的。。。。。
  • 比如，米国的那些非农啊、就业啊等等数据操控之用（冠冕堂皇地说法，预期管理）

3. 感想

3.1 总结要及时

• 总结一定要及时啊，因为时间长了，容易忘
• 但是，换一个说法，就是没有忘的，就是沉淀下来的精华啊

3.2 数据工程越来越重要

• 随着时代的发展，AI是数据需求的重头戏，而数据工程是保障数据质量的关键环境，“垃圾进，垃圾出“，数据工程势必占据越来越重要的地位

3.3 数据质量保障是一个长期、持续的过程

• 只要有数据产生，就要保障数据质量，不会一劳永逸，只会持续不断跟进

3.4 数据信任和操控

• 前文提到了数据操控，其实还是基于数据信任的

• 为什么要数据操控？是因为数据不符合预期。

• 为什么会认为数据不符合预期？是因为相信数据得到的结果，还是要信任啊。

• 也许你会说，样本取样的问题？为什么样本取样有问题？为什么不全面取样？是不能还是不敢，亦或是不为

• 修正前期的数据又为啥？

3.5 好书，推荐阅读