京东商品详情数据接口采集技术,支持整站数据高并发采集

一、如何通过手动方式查看京东商品详情页面的数据  

1.京东商品详情 API 接口(item_get - 获得京东商品详情接口),京东API 接口代码对接可以获取到宝贝 ID,宝贝标题,价格,优惠价,掌柜名称,库存,宝贝链接,宝贝图片,品牌名称,商品详情,详情图片等页面上有的数据均可以获取到,手动方式如下:  

例如我们打开京东手机端或者 PC 端,搜索关键词 " 新款连衣裙",随便点击一个宝贝,进入这个商品详情,我们就以推荐的这个商品为例,点击进入商品详情页面。

2.点击鼠标右键可以查看源代码拿到的详情页面的数据参数,包括标题,图片,商品价格,商品优惠券,优惠信息,库存数量,商品详情页面数据等参数。  

二、通过封装接口拿到整个站的商品详情数据,代码如下:   

JD.item_get -获得商品详情数据接口   

1.请求方式:HTTP  GET  POST 

2.公共参数

名称 类型 必须 描述
key String 调用key(必须以GET方式拼接在URL中)
secret String 调用密钥 (复制v:Taobaoapi2014)
api_name String API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cache String [yes,no]默认yes,将调用缓存的数据,速度比较快
result_type String [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
lang String [cn,en,ru]翻译语言,默认cn简体中文
version String API版本 (查看调用示例 )

3.请求参数

请求参数:num_iid=10335871600
参数说明:num_iid:JD商品ID

4.请求代码示例,支持高并发请求(CURL、PHP 、PHPsdk 、Java 、C# 、Python...)

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.nio.charset.Charset;
import org.json.JSONException;
import org.json.JSONObject;
import java.io.PrintWriter;
import java.net.URLConnection;

public class Example {
	private static String readAll(Reader rd) throws IOException {
		StringBuilder sb = new StringBuilder();
		int cp;
		while ((cp = rd.read()) != -1) {
			sb.append((char) cp);
		}
		return  sb.toString();
	}
	public static JSONObject postRequestFromUrl(String url, String body) throws IOException, JSONException {
		URL realUrl = new URL(url);
		URLConnection conn = realUrl.openConnection();
		conn.setDoOutput(true);
		conn.setDoInput(true);
		PrintWriter out = new PrintWriter(conn.getOutputStream());
		out.print(body);
		out.flush();
		InputStream instream = conn.getInputStream();
		try {
			BufferedReader rd = new BufferedReader(new InputStreamReader(instream, Charset.forName("UTF-8")));
			String jsonText = readAll(rd);
			JSONObject json = new JSONObject(jsonText);
			return json;
		} finally {
			instream.close();
		}
	}
	public static JSONObject getRequestFromUrl(String url) throws IOException, JSONException {
		URL realUrl = new URL(url);
		URLConnection conn = realUrl.openConnection();
		InputStream instream = conn.getInputStream();
		try {
			BufferedReader rd = new BufferedReader(new InputStreamReader(instream, Charset.forName("UTF-8")));
			String jsonText = readAll(rd);
			JSONObject json = new JSONObject(jsonText);
			return json;
		} finally {
			instream.close();
		}
	}
	public static void main(String[] args) throws IOException, JSONException {
		// 请求示例 url 默认请求参数已经URL编码处理
		String url = "https://api-gw.taobaoapi2014.cn/jd/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=10335871600";
		JSONObject json = getRequestFromUrl(url);
		System.out.println(json.toString());
	}

}

5.响应示例

猜你喜欢

转载自blog.csdn.net/weixin_64051447/article/details/130683449