기사 디렉토리
대상 웹 사이트 소개
중국 석탄 시장 네트워크 는 석탄 뉴스, 석탄 시장 분석, 석탄 가격 및 석탄 데이터를 통합하는 포괄적 인 석탄 정보 플랫폼으로, 석탄 생산, 석탄 판매, 석탄 소비, 석탄 항구, 석탄 재고, 석탄 수입 및 수출, 석탄 운송, 기타
Scrapy 시작
데이터 수집 준비
1. 5 분만에 웹 사이트 를 빠르게 크롤링 한다는 아이디어를 이해하지 못하는 분들을 위해 먼저 전체 사이트 데이터에 대한 기본 지식인 [웹 사이트 스크래피 5 분]부터 살펴 보겠습니다.
2. 데이터 캡처, 비즈니스 관리 및 정렬을 이해하지 못합니다. 먼저 [Scrapy Five Minutes Website] 크롤러 대상 정렬 및 데이터 준비를 살펴 봅니다.
3. Scrapy 템플릿의 대량 생산에 대해 잘 모르는 분 은 먼저 참조 (필수)
[Scrapy 5 분 웹 사이트] 데이터 캡처 프로젝트 프레임 워크 일반 템플릿
데이터 정렬 결과
1. Excel에서 스크린 샷 저장
템플릿 신청
Spider 아래의 <Project> .py 파일
1. 스파이더 프로젝트 만들기
scrapy genspider www_cctd_com_cn " "
2.
전체 사이트의 CSS 스타일 구성 먼저 페이지의 CSS 스타일부터 살펴보면 전체 사이트가 통일되고 멋집니다.
3. www_cctd_com_cn.py의 내용을 수정합니다.
여기에서는 수정이 필요한 영역을 설명하고 다른 곳은 템플릿을 참조하며 수정할 필요가 없습니다.
- 범위 및 사용자 정의 설명
allowed_domains = []
web_name = "中国煤炭市场"
- 크롤링 데이터 정보 추가
start_menu = [
# 新闻资讯汇总
[
{
"channel_name": "煤炭资讯-新闻资讯", "url": "https://www.cctd.com.cn/list-10-1.html", },
{
"channel_name": "煤炭资讯-资讯中心", "url": "https://www.cctd.com.cn/list-9-1.html", },
{
"channel_name": "煤炭资讯-CCTD原创", "url": "https://www.cctd.com.cn/list-42-1.html", },
{
"channel_name": "煤炭资讯-宏观经济", "url": "https://www.cctd.com.cn/list-15-1.html", },
{
"channel_name": "煤炭资讯-煤炭行业", "url": "https://www.cctd.com.cn/list-17-1.html", },
{
"channel_name": "煤炭资讯-钢铁行业", "url": "https://www.cctd.com.cn/list-18-1.html", },
{
"channel_name": "煤炭资讯-焦炭行业", "url": "https://www.cctd.com.cn/list-139-1.html", },
{
"channel_name": "煤炭资讯-电力行业", "url": "https://www.cctd.com.cn/list-19-1.html", },
{
"channel_name": "煤炭资讯-建材行业", "url": "https://www.cctd.com.cn/list-20-1.html", },
{
"channel_name": "煤炭资讯-交通行业", "url": "https://www.cctd.com.cn/list-23-1.html", },
{
"channel_name": "煤炭资讯-煤化工行业", "url": "https://www.cctd.com.cn/list-21-1.html", },
{
"channel_name": "煤炭资讯-煤炭综合", "url": "https://www.cctd.com.cn/list-176-1.html", },
{
"channel_name": "煤炭资讯-煤炭运行", "url": "https://www.cctd.com.cn/list-361-1.html", },
{
"channel_name": "煤炭资讯-煤炭进出口", "url": "https://www.cctd.com.cn/list-114-1.html", },
{
"channel_name": "煤炭资讯-国际煤炭", "url": "https://www.cctd.com.cn/list-113-1.html", },
{
"channel_name": "煤炭资讯-煤炭政策", "url": "https://www.cctd.com.cn/list-11-1.html", },
{
"channel_name": "煤炭资讯-煤炭企业", "url": "https://www.cctd.com.cn/list-22-1.html", },
{
"channel_name": "煤炭资讯-煤炭安全", "url": "https://www.cctd.com.cn/list-108-1.html", },
{
"channel_name": "煤炭资讯-煤炭资源", "url": "https://www.cctd.com.cn/list-109-1.html", },
{
"channel_name": "煤炭资讯-煤炭科技", "url": "https://www.cctd.com.cn/list-112-1.html", },
{
"channel_name": "煤炭资讯-节能环保", "url": "https://www.cctd.com.cn/list-115-1.html", },
{
"channel_name": "煤炭资讯-煤炭市场分析与评论", "url": "https://www.cctd.com.cn/list-14-1.html", },
{
"channel_name": "煤炭资讯-煤炭市场周报", "url": "https://www.cctd.com.cn/list-87-1.html", },
{
"channel_name": "煤炭资讯-煤炭市场月报", "url": "https://www.cctd.com.cn/list-88-1.html", },
{
"channel_name": "煤炭资讯-煤炭价格分析", "url": "https://www.cctd.com.cn/list-91-1.html", },
{
"channel_name": "煤炭资讯-煤炭生产情况", "url": "https://www.cctd.com.cn/list-98-1.html", },
{
"channel_name": "煤炭资讯-港口煤炭市场", "url": "https://www.cctd.com.cn/list-93-1.html", },
{
"channel_name": "煤炭资讯-煤炭销售情况", "url": "https://www.cctd.com.cn/list-138-1.html", },
{
"channel_name": "煤炭资讯-钢焦煤市场", "url": "https://www.cctd.com.cn/list-92-1.html", },
{
"channel_name": "煤炭资讯-煤炭海运市场", "url": "https://www.cctd.com.cn/list-125-1.html", },
{
"channel_name": "煤炭资讯-煤炭直供电厂", "url": "https://www.cctd.com.cn/list-122-1.html", },
{
"channel_name": "煤炭资讯-国际煤市点评", "url": "https://www.cctd.com.cn/list-95-1.html", },
{
"channel_name": "市场分析-煤炭市场分析&评论 ", "url": "https://www.cctd.com.cn/list-13-1.html", },
{
"channel_name": "市场分析-煤炭市场快报", "url": "https://www.cctd.com.cn/list-128-1.html", },
{
"channel_name": "市场分析-煤炭市场分析&评论", "url": "https://www.cctd.com.cn/list-13-1.html", },
{
"channel_name": "煤炭分析-价格", "url": "https://www.cctd.com.cn/list-91-1.html", },
{
"channel_name": "煤炭分析-钢焦煤", "url": "https://www.cctd.com.cn/list-92-1.html", },
{
"channel_name": "煤炭分析-港口", "url": "https://www.cctd.com.cn/list-93-1.html", },
{
"channel_name": "煤炭分析-无烟煤", "url": "https://www.cctd.com.cn/list-94-1.html", },
{
"channel_name": "煤炭分析-点评", "url": "https://www.cctd.com.cn/list-95-1.html", },
{
"channel_name": "煤炭分析-扫描", "url": "https://www.cctd.com.cn/list-96-1.html", },
{
"channel_name": "煤炭分析-上旬", "url": "https://www.cctd.com.cn/list-89-1.html", },
{
"channel_name": "煤炭分析-中旬", "url": "https://www.cctd.com.cn/list-90-1.html", },
{
"channel_name": "煤炭分析-生产", "url": "https://www.cctd.com.cn/list-98-1.html", },
{
"channel_name": "煤炭分析-运输", "url": "https://www.cctd.com.cn/list-99-1.html", },
{
"channel_name": "煤炭分析-电力", "url": "https://www.cctd.com.cn/list-100-1.html", },
{
"channel_name": "煤炭分析-钢铁", "url": "https://www.cctd.com.cn/list-101-1.html", },
{
"channel_name": "煤炭分析-焦炭", "url": "https://www.cctd.com.cn/list-102-1.html", },
{
"channel_name": "煤炭分析-建材", "url": "https://www.cctd.com.cn/list-103-1.html", },
{
"channel_name": "煤炭分析-化工", "url": "https://www.cctd.com.cn/list-104-1.html", },
{
"channel_name": "煤炭分析-煤炭动态", "url": "https://www.cctd.com.cn/list-116-1.html", },
{
"channel_name": "煤炭分析-动力煤", "url": "https://www.cctd.com.cn/list-133-1.html", },
{
"channel_name": "煤炭分析-综述", "url": "https://www.cctd.com.cn/list-118-1.html", },
{
"channel_name": "煤炭分析-国际", "url": "https://www.cctd.com.cn/list-135-1.html", },
{
"channel_name": "煤炭分析-炼焦煤", "url": "https://www.cctd.com.cn/list-134-1.html", },
{
"channel_name": "煤炭分析-库存", "url": "https://www.cctd.com.cn/list-120-1.html", },
{
"channel_name": "煤炭分析-价格", "url": "https://www.cctd.com.cn/list-121-1.html", },
{
"channel_name": "煤炭分析-进出口", "url": "https://www.cctd.com.cn/list-123-1.html", },
{
"channel_name": "煤炭分析-直供电厂", "url": "https://www.cctd.com.cn/list-122-1.html", },
{
"channel_name": "煤炭分析-进出口", "url": "https://www.cctd.com.cn/list-123-1.html", },
{
"channel_name": "煤炭分析-港口", "url": "https://www.cctd.com.cn/list-124-1.html", },
{
"channel_name": "煤炭分析-运价", "url": "https://www.cctd.com.cn/list-125-1.html", },
{
"channel_name": "煤炭分析-冶金", "url": "https://www.cctd.com.cn/list-126-1.html", },
{
"channel_name": "煤炭分析-生产", "url": "https://www.cctd.com.cn/list-136-1.html", },
{
"channel_name": "煤炭分析-运输", "url": "https://www.cctd.com.cn/list-137-1.html", },
{
"channel_name": "煤炭分析-销售", "url": "https://www.cctd.com.cn/list-138-1.html", },
{
"channel_name": "煤炭分析-市场观察员", "url": "https://www.cctd.com.cn/list-44-1.html", },
{
"channel_name": "煤炭分析-指数报告", "url": "https://www.cctd.com.cn/list-45-1.html", },
{
"channel_name": "煤炭分析-全国", "url": "https://www.cctd.com.cn/list-91-1.html", },
{
"channel_name": "煤炭分析-CCTD秦皇岛", "url": "https://www.cctd.com.cn/list-463-1.html", },
{
"channel_name": "煤炭分析-内蒙古", "url": "https://www.cctd.com.cn/list-47-1.html", },
{
"channel_name": "煤炭分析-山西", "url": "https://www.cctd.com.cn/list-49-1.html", },
{
"channel_name": "煤炭分析-陕西", "url": "https://www.cctd.com.cn/list-48-1.html", },
{
"channel_name": "煤炭分析-湖北", "url": "https://www.cctd.com.cn/list-642-1.html", },
{
"channel_name": "煤炭分析-重庆", "url": "https://www.cctd.com.cn/list-556-1.html", },
{
"channel_name": "煤炭分析-榆林", "url": "https://www.cctd.com.cn/list-543-1.html", },
{
"channel_name": "煤炭分析-长江口", "url": "https://www.cctd.com.cn/list-423-1.html", },
{
"channel_name": "动力煤期货-新闻资讯 ", "url": "https://www.cctd.com.cn/list-609-1.html", },
{
"channel_name": "动力煤期货-投研观点 ", "url": "https://www.cctd.com.cn/list-610-1.html", },
{
"channel_name": "动力煤期货-交割情况 ", "url": "https://www.cctd.com.cn/list-611-1.html", },
{
"channel_name": "动力煤期货-动力煤期货高级分析师 ", "url": "https://www.cctd.com.cn/list-625-1.html", },
{
"channel_name": "动力煤期货-活动动态", "url": "https://www.cctd.com.cn/list-607-1.html", },
{
"channel_name": "动力煤期货-公告与通知 ", "url": "https://www.cctd.com.cn/list-606-1.html", },
{
"channel_name": "资讯中心-新闻资讯-热点数据 ", "url": "https://www.cctd.com.cn/list-576-1.html", },
]
]
- 스타일 마무리
전체 웹 사이트 데이터 목록에 있고 추가 된만큼의 parseX가 있습니다.
parse_list = [
self.parse1,
]
전체 웹 사이트 콘텐츠 목록에 사진이 없으므로 제목 및 링크 및 표지 Item_thumbImg는 사용되지 않습니다.
Item_title = response.xpath('//td[@style="padding-left: 10px"]/li/a/text()').extract() # 文章标题列表
Item_url = response.xpath('//td[@style="padding-left: 10px"]/li/a/@href').extract() # 文章链接列表
# Item_thumbImg = response.xpath('//标签[@class="属性]/li/a/img/@src').extract() # 文章封面图片列表
Spider 아래의 Parse_detail.py 파일
1. 상세 페이지의 내용을 가져옵니다.
목록 데이터 세부 사항 페이지의 CSS 크롤링 스타일 수정
# 处理详情页带格式，这里整个页面进行抓取
item['content'] = ""
if 'class="news_show"' in response.text and len(None2Str(item['content'])) < 5:
item['content'] = response.xpath('//div[@class="news_show"]').extract_first()
if 'id="Zoom"' in response.text and len(None2Str(item['content'])) < 5:
item['content'] = response.xpath('//div[@id="Zoom"]').extract_first()
2. 특별 지침
일부 웹 사이트의 프로그래머들은 10 페이지, 9 가지 스타일로 어느 정도 열광적이며, 모든 페이지를 열고 상세 페이지의 CSS 형식을 보는 것이 불가능하기 때문에 일반적인 해결책이 있습니다.
- 콘텐츠를 처음 캡처 한 후 MongoDB 데이터베이스를 열고 다음 명령을 실행하여 본문이 포함 된 페이지 데이터를 필터링합니다. 지정된 스타일에 따라 캡처되지 않은 데이터이지만 모든 페이지의 데이터입니다. 직접 캡처됩니다.
db.你的表名.find({content:/body/})
- mongo 명령이 콘텐츠를 필터링하지 않을 때까지 링크 루프를 열어 세부 정보 페이지의 콘텐츠를 처리합니다.