【代码】第9章代理的使用

最新推荐文章于 2024-01-15 16:06:33 发布

原创最新推荐文章于 2024-01-15 16:06:33 发布 · 262 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

本文详细介绍了如何使用Python的urllib和requests库设置HTTP和SOCKS5代理，包括通过代理访问网站的方法，并展示了如何在Chrome浏览器中使用selenium设置HTTP代理。

9.1 代理的设置

# urllib设置 HTTP 代理
"""
from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener

# IP/PORT: http://www.xicidaili.com/
proxy = '116.30.221.18:53471'
proxy_handler = ProxyHandler({
    'http': 'http://' + proxy,
    'https': 'https://' + proxy
})
# 设置代理
opener = build_opener(proxy_handler)
try:
    resp = opener.open('http://httpbin.org/get')
    print(resp.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

# requests设置SOCKS5 全局代理
import socket
import socks
import requests
from requests.exceptions import ConnectionError

# IP/PORT: http://31f.cn/socks5-proxy/
socks.set_default_proxy(socks.SOCKS5, '36.7.172.12', 1080)
socket.socket = socks.socksocket
try:
    resp = requests.get('http://httpbin.org/get')
    print(resp.text)
except ConnectionError as e:
    print('error: ', e.args)

# Chrome 用selenium设置 HTTP 代理
from selenium import webdriver
proxy = '116.30.221.18:53471'
chrome_opts = webdriver.ChromeOptions()
chrome_opts.add_argument('--proxy-server=http://' + proxy)
browser = webdriver.Chrome(chrome_options=chrome_opts)
browser.get('http://httpbin.org/get')