HttpClient 代理实例(Get方式) 线程池

最新推荐文章于 2026-06-30 11:40:19 发布

原创最新推荐文章于 2026-06-30 11:40:19 发布 · 315 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

apache

本文介绍了如何使用Apache HttpClient库的MultiThreadedHttpConnectionManager、HttpClient、GetMethod等类，通过多线程方式从指定URL获取网页内容，并展示了如何设置代理、处理响应状态码和输出页面内容。

import java.io.IOException;
import java.util.concurrent.*;

import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

/**
 * @ClassName: ThreadProxy
 * @Description: 根据输入的url,获取对应的内容
 * @author
 * @date 2012-1-10 下午2:23:46
 * @version V1.0
 */
public class ThreadProxy {

	/**
	 * @Title: main
	 * @Description: 根据输入的url,获取对应的内容
	 * @param args
	 * @author
	 * @date 2012-1-10
	 */
	public static void main(String[] args) {

		String url = "http://www.apache.org";
		try {
			new ThreadProxy().get(url);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	/**
	 * @Title: get
	 * @Description: 根据输入的url,获取对应的内容
	 * @param url
	 * @author 
	 * @date 2012-1-10
	 */
	public void get(final String url) {

		MultiThreadedHttpConnectionManager manager = new MultiThreadedHttpConnectionManager();

		// 创建 HttpClient 的实例
		final HttpClient httpClient = new HttpClient(manager);

		// 代理的主机
		ProxyHost proxy = new ProxyHost("openproxy.huawei.com", 8080);

		// 使用代理
		httpClient.getHostConfiguration().setProxyHost(proxy);

		// 创建Get连接方法的实例
		final HttpMethod getMethod = new GetMethod(url);

		// 使用系统提供的默认的恢复策略
		getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
				new DefaultHttpMethodRetryHandler());

		// 创建缓冲线程池
		ExecutorService service = Executors.newCachedThreadPool();

		// Future 表示异步计算的结果
		Future<String> future = service.submit(new Callable<String>() {

			@Override
			public String call() throws Exception {
				try {
					// 请求URI
					System.out.println("executing request : " + url);

					// 执行getMethod
					int status = httpClient.executeMethod(getMethod);

					System.out.println("status:" + status);

					// 连接返回的状态码
					if (HttpStatus.SC_OK == status) {

						System.out.println("Connection to "
								+ getMethod.getURI() + " Success!");

						// 获取到的内容
						String responseBody = getMethod
								.getResponseBodyAsString();

						System.out.println(responseBody);
					}
				} catch (URIException e) {
					e.printStackTrace();
				} catch (HttpException e) {
					e.printStackTrace();
				} catch (IOException e) {
					e.printStackTrace();
				} catch (Exception e) {
					e.printStackTrace();
				}
				return "";
			}

		});

		try {
			//如有必要，最多等待为使计算完成所给定的时间之后，获取其结果(如果结果可用).
			future.get(5000, TimeUnit.MILLISECONDS);
		} catch (InterruptedException e) {
			e.printStackTrace();
		} catch (ExecutionException e) {
			e.printStackTrace();
		} catch (TimeoutException e) {
			e.printStackTrace();
		}

		service.shutdown();
		// 释放连接
		getMethod.abort();
	}
}

标签

#java