一种自动获取xpath生成爬虫脚本的方法及系统

(19 )中华人民共和国家知识产权局(12 )发明专利申请(10)申请公布号CN107943838A(43)申请公布日2018.04.20(21) 申请号 CN201711034452.1(22) 申请日 2017.10.30(71 )申请人北京大数元科技发展有限公司地址100094北京市海淀区西北旺东路10号院新兴产业联盟大厦4层4-17室(72 )发明人姬永杰;陈国强汪长勇;任建新(74 )专利代理机构北京天悦专利代理事务所(普通合伙)代理人田明(51) Int.CI权利要求说明书说明书幅图种自动获取xpath生成爬虫脚本的方法及系统(57)摘要本发明公开了一种自动获取xpath生成爬 虫脚本的方法及系统，所述方法包括以下步骤： (1)通过url地址打开网页，遍历网页中所有的 a标签；(2)取出每个a标签对应的xpath路 径；(3)按xpath路径相同划分为一组；然后，统 计分组后a标签个数；(4)取出每组中的一个a 标签，打开该链接网页；(5)对于步骤4中每个被 打开的网页，统计网页中的a 标签个数以及文字 个数；(6)取出文字个数最多且a标签个数最少