测试与分析。测试环境的系统为Windows Server 2008 R2, 部署平台为Tomcat 7.0.70,端口8083为实时静态化策略实现后的网站访问入口,端口8084则为原始的AngularJS网站的访问入口。
首先使用浏览器访问网站, 拦截器判断出请求为浏览器请求,并在控制台显示浏览器版本,浏览器可以正常浏览网页;之后再使用模拟百度爬虫机器人的工具分别对原始网页和策略实现后网页进行爬虫,并显示抓取的页面信息。
表明了爬虫机器人只能抓取AngularJS单页面中的部分关键字,包括标题、页面底部描述等信息;而使用实时静态化策略后,拦截器识别出了爬虫机器人然后在控制台显示,同时返回了SEO静态页面, 并且表明了网页中的动态数据已经可以被一般的爬虫机器人抓取到,并显示有用的关键字,包括发布公告、网站信息等主要标题与信息。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。