网络爬虫和抽取系统设计.ppt

网络爬虫和抽取系统设计购物比价网题号：6031406080 20软件1401吴帅帅 Contents 01. 爬虫介绍02.项目介绍03. 系统架构01-1. 什么是网络爬虫？01-2. 爬虫架构02-1. 什么是购物比价网？02-2. 比价网的价值 03-1. 系统功能03-2. 系统组成和分层架构04.技术架构04-1. 爬虫选择04-2. WEB框架选择01-3. 爬虫工作原理和价值02-2. 比价网的目标 爬虫介绍Crawler introduction 爬虫介绍 4 什么是网络爬虫？网络爬虫：一段自动抓取互联网信息的程序。互联网URL URL URLURL URL URLURL人工爬虫爬虫价值数据 爬虫介绍爬虫架构 5URL管理器 网页下载器网页解析器爬虫调度端价值数据 爬虫介绍爬虫架构-运行流程 6 调度器URL管理器下载器应用解析器有待爬URL?是/否获取1个待爬URL URL下载URL内容URL内容解析URL内容 价值数据、新URL列表价值数据新增到待爬取URL输出价值数据循环 项目介绍爬虫的价值 7 商品价格对比网爬取多个购物网站的某件商品的价格，进行对比。招聘信息网 爬取多个招聘网站，将招聘信息分类，供用户查询。 技术文章大全爬取某知名博客网站，将某类文章 爬取下来，制作成本地离线的电子书。新闻聚合阅读器 爬取多个新闻网站，将新闻聚集显示，提供全面的实时信息。价值数据 价值：互联网数据，为我所用！ 项目介绍Project introduction 项目介绍购物比价网 9 以价格比较为核心业务，从其他网上商城抓取产品信息，提供给用户浏览和比较，为购买决策提供有力的参考。什么是购物比价网？ 项目介绍购物比价网价值 10 解决用户在购物时需打开多个网站，不断自行比较的繁琐问题。节省用户购物时间优化用户的购物体验，带给用户带了更愉悦的购物经历。购物比价网有什么价值？ 项目介绍购物比价网目标 11 目标是彻底打捞网络信息，从而拥有海量、准确的产品描述、报价、经销商通讯录、产品测评和使用体验，并通过尽可能简单的操作，让消费者精准锁定中意的产品。购物比价网的目标？ 系统架构System Architecture 系统架构用例图 13 登录浏览商品收藏商品查询商品推荐商品对比价格用户 系统架构业务架构 14价格对比 商品评价折扣搜索历史价格分析商品推荐 系统架构业务组成 15商品推荐根据用户的浏览记录和收藏夹，根据用户喜好给用户推荐商品。折扣搜索用户搜索某一商品时，同时提供各电商网站的关于此商品的折扣信息。 价格对比用户查看某一商品的时候，提供价格对比的信息，帮助用户决策。历史价格分析 用户可以搜寻某商品的历史价格分析图，为什么时候购买提供决策信息。 系统架构分层架构 16 表现层 业务层 持久层 爬虫层用户信息数据库商品信息数据库历史价格数据库商品推荐价格比对历史价格分析商品显示商品购买入口价格走向图评价信息数据库折扣显示折扣搜索 商品价格爬虫商品信息爬虫商品折扣爬虫 评价信息展示 评价信息爬虫商品价格数据库评价合并 技术架构Technical Framework 技术架构技术选择 18爬虫服务器数据库服务器MySQL WEB应用服务器Browser客户端 技术架构选择爬虫框架 19 Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 技术架构选择URL实现 20 内存Python内存待爬取URL集合: set()待爬取URL集合: set() MySQLurls (urls, is_crawled) Redis待爬取URL集合: set待爬取URL集合: set关系数据库缓存数据库URL管理器实现方式 技术架构技术选择 21爬虫服务器数据库服务器MySQL WEB应用服务器Browser客户端 RedisScrapy 技术架构选择WEB架构 22 Django是python的一个web框架，主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件可以很方便的以“插件”形式服务于整个框架，Django有许多功能强大的第三方插件，你甚至可以很方便的开发出自己的工具包。这使得Django具有很强的可扩展性。 技术架构选择服务器 23 Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。 技术架构系统部署 24爬虫服务器RedisScrapy数据库服务器MySQL WEB应用服务器Django uWSGINginxBrowser客户端 THANK YOU PPT模板下载： 行业PPT模板： 节日PPT模板： PPT素材下载： PPT图表下载： 优秀PPT下载： PPT教程： Word教程： Excel教程： 资料下载： PPT课件下载： 范文下载： 试卷下载： 教案下载： PPT论坛：