网页无关的新闻页面解析器

相信对做新闻抓取的你，一定对大范围的抓取很无奈。一个一个网站写模板，第一耗时，第二万一人家改版呢。经过一段时间的摸索，做了一个和页面无关的解析器。先展示下效果，整理好后再和各位分享。

当然还是存在一些问题，据现在的测试情况看准确率在95%以上吧，没有准确统计。下面是四大门户和凤凰网的解析结果。

新浪新闻：http://news.sina.com.cn/c/2012-08-17/113024986645.shtml

页面编码 =================================
gbk
标题 =================================
日本决定放还14名香港保钓人士
发布时间=================================
2012-08-17 11:30:00
来源=================================
新华网
文本 =================================

<div class="blkContainerSblkCon BSHARE_POP" id="artibody">
<p>　　新华网东京8月17日电(记者吴谷丰郭一娜) 日本内阁官房长官藤村修17日在首相官邸举行的记者会上说，日本政府决定放还抓扣的14名中国香港“保钓”人士。</p>
.............
.............
.............
<p>　　中国外交部副部长傅莹15日在对日方提出严正交涉时重申，中国对钓鱼岛及其附属岛屿拥有主权的立场，要求日方确保14位中国公民的安全并立即无条件放人。</p>
</div>

网易新闻：http://news.163.com/12/0817/02/89300ESJ00014AED.html
页面编码 =================================
gbk
标题 =================================
云南巧家爆炸案“人弹”赵登用家属索赔百万元
发布时间=================================
2012-08-17 02:37:42
来源=================================
新京报
文本 =================================

<div id="endText">
<p class="f_center"><img src="http://img1.cache.netease.com/catchpic/1/10/10E0A4FECE7E1CB2A357349ECD8BD41B.jpg" alt="8月9日，父亲赵举朝谈起儿子难过不已。" /><br />8月9日，父亲赵举朝谈起儿子难过不已</p>
<p class="f_center"><img src="http://img1.cache.netease.com/catchpic/5/58/58806543ACB112B061064FF8E7885740.jpg" alt="8月8日，大哥赵登结（左）、二哥赵登贤在昆明北部客运站。新京报记者" /><br />8月8日，大哥赵登结（左）、二哥赵登贤在昆明北部客运站。新京报记者刘刚摄</p>
.............
.............
.............
<p>8月7日，云南省公安厅公布，爆炸案系村民邓德勇和宋朝玉策划,他们用手机实施遥控爆炸。赵登用被利用,他仅仅是个“肉弹”。</p>
<div>
   <span class="left">(本文来源：新京报作者：刘刚)</span>
   <span class="cDGray right" style="white-space:nowrap;">责任编辑：NN056</span>
</div>
</div>

分页 =================================
2==>http://news.163.com/12/0817/02/89300ESJ00014AED_2.html

<div id="endText">
<p class="f_center"><img alt="赵登用家属索赔100万元" src="http://img1.cache.netease.com/catchpic/1/17/172F611C15D616F23C730758CE4443C8.jpg" style="font-size: 12px; font-family: 宋体, Arial, Helvetica, sans-serif; margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; border-top-width: 0px; border-right-width: 0px; border-bottom-width: 0px; border-left-width: 0px; border-style: initial; border-color: initial; " /><br />8月10日，赵登用的父母和妻儿在家。一家人的生活已经改变。</p>
<p><b>两兄弟“大海捞针”</b></p>
<p><b>站工的老乡都说不认得赵登用。后来，两兄弟说，就是“爆炸那个”，老乡们的话匣子就打开了</b></p>
.............
.............
.............
<p>已是立秋，山腰上的核桃快要采摘了，树高坡陡，老人上不了树。黄兴聪说，以前都是老三干。说着，不自觉就哭了起来。</p>
<div>
   <span class="left">(本文来源：新京报作者：刘刚)</span>
   <span class="cDGray right" style="white-space:nowrap;">责任编辑：NN056</span>
</div>
</div>

凤凰网：http://news.ifeng.com/mainland/detail_2012_08/17/16876583_0.shtml

页面编码 =================================
utf-8
标题 =================================
中国水产协会称拒食鱼翅是极大浪费
发布时间=================================
2012-08-17 07:01:00
来源=================================
广州日报
文本 =================================

<div id="artical_real">
<p class="detailPic"><img alt="" src="http://gzdaily.dayoo.com/res/1/1/2012-08/17/AII11/res07_attpic_brief.jpg" /></p>
<p class="picIntro"><span>一只灰鲭鲨被渔船捕获。</span></p>
<p class="detailPic"><img alt="" src="http://gzdaily.dayoo.com/res/1/1/2012-08/17/AII11/res09_attpic_brief.jpg" /></p>
<p class="picIntro"><span>出售中的鲨鱼鳍。</span></p>
<p>行业协会将推出白皮书驳斥“鱼翅消费导致鲨鱼濒临灭绝”的主流观点</p>
   .............
.............
.............
<p>对于环保组织提供的“每年捕捞鲨鱼数千万条”的数据，王亚民则表示，环保组织提供的数据需谨慎使用，因为他们有倾向性。 </p>
</div>

搜狐新闻：http://news.sohu.com/20120817/n350884725.shtml
页面编码 =================================
gbk
标题 =================================
XXX会见张成泽对朝鲜遭受洪涝灾害表示慰问
发布时间=================================
2012-08-17 10:50:00
来源=================================
国际在线
文本 =================================

<div class="text clear" id="contentText">
<div align="center">
   <table align="center">
    <tbody>
     <tr>
      <td>
       <div align="center">
        <img src="http://photocdn.sohu.com/20120817/Img350891210.jpg" alt="8月17日，中共中央总书记、国家XXX在北京人民大会堂会见朝鲜劳动党中央行政部部长张成泽。中新社发任晨鸣摄" width="540" height="372" border="1" />
       </div></td>
     </tr>
    </tbody>
   </table>
</div>
<span style="font-size: 12px;">　　8月17日，中共中央总书记、国家XXX在北京人民大会堂会见朝鲜劳动党中央行政部部长张成泽。中新社发任晨鸣摄</span>
<br />
<div align="center">
   <table align="center">
    <tbody>
     <tr>
      <td>
       <div align="center">
        <img src="http://photocdn.sohu.com/20120817/Img350891211.jpg" alt="8月17日，中共中央总书记、国家XXX在北京人民大会堂会见朝鲜劳动党中央行政部部长张成泽。中新社发任晨鸣摄" width="540" height="368" border="1" />
       </div></td>
     </tr>
    </tbody>
   </table>
</div>
<p>　　8月17日，中共中央总书记、国家XXX在北京人民大会堂会见朝鲜劳动党中央行政部部长张成泽。中新社发任晨鸣摄</p>
    .............
.............
.............
<p>　　张成泽13日抵达北京，开始访华行程。14日，中国商务部部长陈德铭和张成泽共同主持了中朝两个经济区（罗先经济贸易区和黄金坪、威化岛经济区）开发合作联合指导委员会第三次会议，中朝双方宣布成立两个经济区管理委员会，并签署了有关协议。</p>
</div>

腾讯新闻 http://news.qq.com/a/20120817/000543.htm
页面编码 =================================
gbk
标题 =================================
日本与中俄韩均有领土纷争陷“四面楚歌”
发布时间=================================
2012-08-17 08:50:00
来源=================================
南方日报
文本 =================================

<div id="Cnt-Main-Article-QQ" bosszone="content">
<p align="center"><img alt="日本与中俄韩均有领土纷争陷“四面楚歌”" src="http://img1.gtimg.com/news/pics/hv1/217/149/1116/72606112.jpg" /></p>
<p class="pictext" align="center"><span style="FONT-SIZE: 12px">16日，保钓人士被日本警方送至那霸时高喊“日本滚出钓鱼岛”的口号。</span></p>
.............
.............
.............
云：“知己知彼，百战不殆。”将当今问题置于历史坐标和国际政治背景，我们或能取得有益启示。●<span class="infoMblog">冯玮</span></p>
</div>

网页无关的新闻页面解析器

猜你喜欢