java——获取网页源代码


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;



//数据抓取核心类
public class Copy {

    // 获取网页数据
    /*
     * @param url:目标网址
     * 
     * @param encoding:编码
     */
    public static String getHtmlResourceByUrl(String url, String encoding) {


        StringBuffer buffer=new StringBuffer();
        InputStreamReader isr=null;

        try {
            // 建立网络连接
            URL urlObj = new URL(url);
            // 打开网络连接
            URLConnection uc = urlObj.openConnection();
            /*
             * io 流
             * 从服务器下载源码到本地
             * */
            isr =new InputStreamReader(uc.getInputStream(),encoding);//建立文件的输入流
            BufferedReader reader =new BufferedReader(isr);//缓冲

            String line=null;
            while ((line=reader.readLine())!=null) {

                buffer.append(line+"\n");

            }


        } catch (Exception e) {
            e.printStackTrace();
        }
        finally{

                try{
                if(null!=isr)isr.close();}
                catch(IOException e){
                    e.printStackTrace();
                }
        }
        return buffer.toString();

    }

    // 主函数
    public static void main(String[] args) {

        String htmlString=getHtmlResourceByUrl("http://www.qq.com", "gbk");
        System.out.println(htmlString);

    }

}

猜你喜欢

转载自blog.csdn.net/qq_41251963/article/details/82215721