100天精通Python（爬虫篇）——第111天：爬虫入门知识大总结

一、爬虫概述

1. 爬虫是什么？

‌爬虫是一种自动访问互联网并抓取网页内容的程序。‌它通过模拟浏览器请求网站，获取网页的HTML代码、JSON数据或二进制数据（如图片、视频），然后提取用户需要的数据并保存起来。‌

爬虫有多种类型，包括：

1、通用爬虫‌：用于收集互联网上的大量数据，例如搜索引擎的爬虫。

2、聚焦爬虫‌：针对特定主题或领域进行数据收集。
‌
3、增量式爬虫‌：定期更新数据，只爬取自上次爬取以来更新过的网页数据。

4‌、深度爬虫‌：访问和收集隐藏在互联网深层网页中的信息。
‌
5、垂直爬虫‌：专注于特定网站或类型网页的数据收集，例如新闻爬虫、电商产品爬虫等。
‌
6、社交媒体爬虫‌：用于抓取社交媒体平台上的用户信息、帖子、评论等数据，常用于情感分析和舆情监测。

此外，爬虫在搜索引擎、企业数据分析、抢票软件等领域有广泛应用。例如，搜索引擎如Google和百度使用爬虫来收集和索引互联网上的信息，企业可以通过爬虫获取用户论坛上的数据以分析用户偏好，抢票软件则利用爬虫不断刷新和监控票务信息以帮助用户抢票。

2. 为什么要学习爬虫？

对于个人：

• 在浏宽到一些优秀的让人血脉喷张的图片时.总想保存起来留为日后做桌面上的壁纸

• 在浏宽到一些重要的数据时(各行各业)，希望保留下来日后为自己进行各种销售行为增光添彩.