大型商业网站的架构--淘宝网

最新推荐文章于 2019-01-10 08:32:00 发布

原创最新推荐文章于 2019-01-10 08:32:00 发布 · 1.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

淘宝网存储着286亿张图片，总容量达1.8PB，其中小文件占比高达61%。面对高并发访问，如何高效地进行图片存储与读取成为了一大难题。

本文主要讲淘宝网的图片存储

http://storage.it168.com/a2010/0829/1096/000001096374_all.shtml

根据淘宝网的流量分析，整个淘宝网流量中，图片的访问流量会占到90%以上，而主站的网页则占到不到10%。淘宝网电子商城首页截图，淘宝网的后端系统上保存着286亿多个图片文件，淘宝网整体流量中，图片的访问流量要占到90%以上。且这些图片平均大小为17.45KB，小于8K的图片占整体图片数量61%，整体系统容量的11%。　淘宝整体图片存储系统容量1800TB（1.8PB），已经占用空间990TB（约1PB）。保存的图片文件数量达到286亿多个，这些图片文件包括根据原图生成的缩略图。平均图片大小是17.45K；8K以下图片占图片数总量的61%，占存储容量的11%。
　　这就给淘宝网的系统带来了一个巨大的挑战，众所周知，对于大多数系统来说，最头疼的就是大规模的小文件存储与读取，因为磁头需要频繁的寻道和换道，因此在读取上容易带来较长的延时。在大量高并发访问量的情况下，简直就是系统的噩梦。

揭秘淘宝286亿海量图片存储与处理架构

http://storage.it168.com/a2010/0829/1096/000001096373_5.shtml

作者：

章文嵩博士是淘宝网的研究员，主要负责基础核心软件研发、推进网络软硬件方面的性能优化、搭建下一代高可扩展低碳低成本淘宝电子商务基础设施。他也是开放源码及Linux内核的开发者，著名的Linux集群项目--LVS (Linux Virtual Server)的创始人和主要开发人员，LVS集群代码已在Linux 2.4和2.6的官方内核中。在设计和架构大型系统、系统软件开发、Linux操作系统、系统安全和软件开发管理上有着丰富的经验。他一直在自由软件的开发上花费时间，并以此为乐。