资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,数据采集,（第二十二课时）,年级,：高一 学,科,：信息技术（人教,/,中图版）,主讲人：学校：,数据采集（第二十二课时）年级：高一 学科：信息,1,回顾 数据处理一般过程,数据采集,数据整理,数据分析,数据呈现,回顾 数据处理一般过程数据采集数据整理数据分析数据呈现,2,什么是数据采集,数据获取的过程数据采集,数据采集指,根据需求,采用适当的方法和工具,获取所需要的数据,。,什么是数据采集数据获取的过程数据采集,课堂活动,1,：体验采集,你知道自己现在的精确位置吗？,思考：,需要采集什么数据？,经纬度,课堂活动1：体验采集你知道自己现在的精确位置吗？经纬度,课堂活动,1,：体验采集,你知道自己现在位置的精确位置吗？,思考：,去哪儿找到当前经纬度？,手机导航、手机,APP,课堂活动1：体验采集你知道自己现在位置的精确位置吗？手机导航,课堂活动,1,：体验采集,你知道自己现在位置的精确位置吗？,思考：,APP,怎么获取到经纬度数据？,手机定位传感器,课堂活动1：体验采集你知道自己现在位置的精确位置吗？手机定位,课堂活动,1,：体验采集,活动内容：,下载一个定位,APP,，确定自己的经纬度。,例如：豆豆指南针,暂停视频，填写任务单,-,任务,1,中的表格,课堂活动1：体验采集活动内容：,活动回顾,手机是怎样实现定位我们的精确位置的？,找什么,明确数据需求,经纬度,去哪儿找,确定数据来源,手机,APP,怎么找,选择采集方法,手机定位传感器,活动回顾手机是怎样实现定位我们的精确位置的？,传感器采集,传感器,是能检测、采集物理世界的各种信息，并将信息转换为电信号形式表示的数据采集设备。,传感器采集 传感器是能检测、采集物理世界的各种信息，并将信,课堂活动,2,：寻找传感器,我们生活中还有哪些通过传感器采集数据的物品呢？（,任务单-任务,2,）,课堂活动2：寻找传感器 我们生活中还有哪些通过传感器采集数据,课堂活动,2,：寻找传感器,课堂活动2：寻找传感器,手机中的传感器,手机中的传感器,手机中的传感器,陀螺仪,重力传感器,加速度传感器,指纹传感器,摄像头,电磁传感器,距离传感器,光线传感器,暂停视频,请阅读任务单中阅读材料，了解手机中的传感器的功能。,GPS,传感器,温度传感器,麦克风,气压传感器,手机中的传感器 陀螺仪摄像头暂停视频GPS传感器,课堂活动,3,：手机中的传感器,打开手机，观察思考,，你手机中的游戏或应用,app,，思考：,1,、,APP,中有哪些功能？,2,、该功能运用了什么传感器？,3,、该传感器采集什么数据实现了该功能？,试一试：你能举出,3,个例子吗？填在表格中,（,任务单,-,任务,3,）,课堂活动3：手机中的传感器打开手机，观察思考，你手机中的游戏,新问题,传感器帮助手机实现了很多功能。,如果我想了解北京今天的天气情况来确定出行，手机能帮到我吗？,通过,搜索引擎、,天气类,APP,查找天气情况。,新问题 传感器帮助手机实现了很多功能。通过搜索引擎、天气,网络采集方法,搜索引擎,网络采集方法搜索引擎,网络采集方法,搜索引擎,网络采集方法搜索引擎,网络采集方法,搜索引擎,搜索引擎,spider,通用爬虫,爬取数据,检索查询,缓存数据,呈现结果,STEP1,STEP3,STEP2,STEP4,网络采集方法搜索引擎搜索引擎spider通用爬虫爬取,网络采集方法,搜索引擎,搜索引擎,给出的数据检索结果非常多。,怎样选择才能获取最有权威、最准确的数据呢？,需求：分析北京市空气污染指数201,5,-2020年的变化情况,这些空气质量数据在这,2,个网站都可以找到？如何选择？,网络采集方法搜索引擎搜索引擎给出的数据检索结果非常多。,网络采集方法,爬虫,手机,APP,里的天气数据从哪来来的？,一般网站、手机,APP,中的天气信息，都是从气象网站爬取的,聚焦爬虫,网络采集方法爬虫手机APP里的天气数据从哪来来的？,网络采集方法,爬虫,聚焦爬虫采集的数据过程,04,02,01,03,分析网页,抓取网页,过滤数据,保存数据,网络采集方法爬虫聚焦爬虫采集的数据过程04020103分,课堂活动,4,：体验爬虫,在中国天气网爬取,本地,最近的天气预报，将抓取的最近,7,天天气数据存入一个csv文件。,课堂活动4：体验爬虫 在中国天气网爬取本地最近的天气预,课堂活动,4,：体验爬虫,活动说明：,1,、下载,抓取天气,.py,2,、运行代码,在程序所在目录会生成抓取到的数据文件,weather.csv,默认城市是北京市。,课堂活动4：体验爬虫活动说明：,SETP1:,分析网页,SETP1:分析网页,SETP1:,分析网页,SETP1:分析网页,STEP2:,抓取网页,抓取网页,html,get_content,函数,STEP2:抓取网页抓取网页htmlget_conten,STEP3:,过滤数据,过滤,html,中的目标数据,get_data,函数,STEP3:过滤数据过滤html中的目标数据get_da,SETP4:,保存数据,将过滤后的数据保存为,csv,文件,write_data,函数,SETP4:保存数据将过滤后的数据保存为csv文件wri,STEP5:,实施采集,直接运行程序，在指定的,url,抓取网页、过滤数据、保存数据,提示：,修改爬取的,url,，尝试抓取,中国天气网上其他城市,的,7,天天气情况,。,STEP5:实施采集直接运行程序，在指定的url抓取网页、过,知识补充,函数,函数,是逻辑相对独立、功能相对单一的代码块。需要时直接调用，不必重写，提高代码可重用性。,（参考教材,P60,关于函数的定义,),通常函数有,0-N,个参数，返回,0-N,个结果,知识补充函数函数是逻辑相对独立、功能相对单一的代码块。需,爬虫软件,可视化爬虫软件,集搜客,八爪鱼,后羿采集器,爬虫软件可视化爬虫软件,课堂任务,5,：体验爬虫软件,这部国产科幻片反响如何？,下载安装软件,后羿采集器,在豆瓣电影找到流浪地球电影,参考学习资料中的操作流程，实现采集,100,条影评数据,课堂任务5：体验爬虫软件这部国产科幻片反响如何？,爬虫使用规范,爬虫使用起来很方便,可以快速从互联网上获取到大量数据,是否我们可以随意爬取想要的数据呢？,爬虫使用规范爬虫使用起来很方便,爬虫使用规范,遵守,robots.txt,协议,禁止：,恶意爬取,侵犯个人隐私,爬取信息用于不正当竞争,侵犯商业秘密,爬虫使用规范遵守robots.txt协议,遵守相关法律法规,根据,中华人民共和国网络安全法,以及最新刑事司法解释规定,“,非法提供,”,和,“,非法获取,”,公民个人信息构成犯罪的都可以入刑。,网络爬虫功能强大便捷，但是我们使用时，,一定要遵守相关法律法规,。,遵守相关法律法规 根据中华人民共和国网络安全法以及,网络采集方法：调查问卷,网上有的数据，我们可以通过搜索引擎查找、爬虫爬取。,如果网上没有的数据呢？,例如：,你所在,学校同学们的课外时间分配情况，课外娱乐时长和课外学业负担如何？,这种数据我们可以通过,调查问卷,形式采集。,网络采集方法：调查问卷网上有的数据，我们可以通过搜索引擎查找,网络采集方法：调查问卷,在线调查问卷工具,问卷星、问卷网、腾讯问卷、问卷小程序等。,网络采集方法：调查问卷在线调查问卷工具,课后作业,你身边的高中生课余时间是怎样规划安排的？学业负担重吗？都有哪些娱乐？请参考资源包关于在线调查问卷的说明，设计一个在线调查，了解身边同学课余时间安排，可参考下表，也可自行规划调查内容。,课后时间调查表,（单位：分钟）,序号,姓名,写作业,户外活动,玩手机,/,上网,看电视,1,小明,60,120,150,30,2,课后作业 你身边的高中生课余时间是怎样规划安排的？学业,课堂小结,找什么,去哪儿找,怎么找,明确数据需求,确定数据来源,选择采集方法,数据采集步骤,课堂小结找什么去哪儿找怎么找明确数据需求确定数据来源选择采集,课堂小结,数据采集方法,传感器采集,网络采集,搜索引擎,爬虫,调查问卷,采集已有网页数据,精确抓取网络数据,需要人提供的数据,采集物理世界的数据,课堂小结数据采集方法传感器采集网络采集搜索引擎爬虫调查问卷采,
展开阅读全文