您的位置:网站首页 > 热门源码 > 正文

P2P网站(人人贷)散标投资数据和借贷人的信息数据爬取

类别:热门源码 日期:2017-10-14 12:19:18 人气: 来源:

  有一篇有关爬取P2P网站上散标投资数据和借贷人的信息数据的博文,整合前人资料(),说一下爬取中遇到的问题:

  后在上图中左侧点击到第2个页面,右侧那一栏会弹出3个事件(对其中Method为GET的那一个事件进行分析)

  仔细观察Request URL:,你会发现数据是Json格式,查看下一页,发现也是如此,不同页面的数据格式是相同的。对此,我们的抓取思就是:获取网页源代码,从源代码中提取数据。

  数据来自于类似这样的地址:删除&_=11后的链接依然有效,打开链接发现是json格式的数据,而且数据就是当前页面的数据。至此,我们就找到了真正的数据来源。

  (页面总共51个,可自己写个循环语句,但循环过程中可能出错,我自己就是一个个页面爬取的,然后再把51个页面的数据loan整合)

  总的来说,第一步为得是给第二步做铺垫,因为第二步需要用到第一步中loans.csv中的loanId,可自行将其单独整理为一个csv文档。

  推荐:

  

关键词:p2p借贷源码
0
0
0
0
0
0
0
0
下一篇:没有资料

相关阅读

网友评论 ()条 查看

姓名: 验证码: 看不清楚,换一个

推荐文章更多

热门图文更多

最新文章更多

关于联系我们 - 广告服务 - 友情链接 - 网站地图 - 版权声明 - 人才招聘 - 帮助

CopyRight 2002-2012 技术支持 源码吧 FXT All Rights Reserved

赞助合作: