Python - 爬取图片并下载到本地

最新推荐文章于 2023-04-06 00:36:46 发布

原创最新推荐文章于 2023-04-06 00:36:46 发布 · 799 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

Python3 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Python进行网络爬虫，抓取网页上的图片并将其下载到本地。我们将探讨请求库的使用，BeautifulSoup解析HTML，以及图片保存的具体步骤。通过实例代码详细讲解整个过程。

import requests             #用来模拟浏览器发送网络请求
from lxml import etree      #解析数据
from urllib import request  #下载保存urlretrive()
import time                 #time.sleep让程序延迟几秒再进行

# 函数的封装 def
def huya_spider():
    # 请求数据：
    url = 'https://www.huya.com/g/2168#tag2609'
    User_Agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36"
    headers = {
        'User_Agent':User_Agent
    }
    res = requests.get(url)
    result = res.text
    print(res)


    data = etree.HTML(result)
    alist = data.xpath('//img[@class="pic"]')

    cnt = 0

    for woman in alist:
        cnt = cnt + 1
        # 通过已经筛选的数据进行获取对应的图片
        img = woman.xpath('./@data-original')[0]
        img = img.split("?")[0]

        #进行保存数据
        name = woman.xpath('./@alt')[0]

        path = 'D:\\img\\'

        #下载保存
        #异常处理
        try:
            print(img)
            path2 = path + str(cnt) + ".png"
            print(path2)
            request.urlretrieve(img, path2)
        except Exception as e:
            print(e)
            pass

        #显示打印进度
        # print("<%s> 下载完毕！" % name)

        time.sleep(3)


huya_spider()

# print("Hello World!")