资源描述
第2章 电子商务数据采集电子商务数据化运营管理概述/电子商务数据化运营管理实训教学概述主讲人：XXX第2章 电子商务数据采集电子商务数据化运营管理概述/电子商务1学习任务书任任务编号号分分项任任务职业能力目能力目标知知识要求要求参考参考课时2.1电子商务数据采集了解电子商务数据采集1.数据采集2.常用的电子商务数据分析方法常用的数据分析工具22.2电子商务数据采集实训进行电子商务数据采集实训1.HTML 源码解析及网络抓包2.采集并统计形成行业数据4学习任务书任务编号分项任务职业能力目标知识要求参考课时2.12数据采集01学习重点02HTML源码解析及网络抓包数据采集01学习重点02HTML 源码解析及网络抓包3常用的电子商务数据分析方法0103学习难点02常用的数据分析工具采集并统计形成行业数据常用的电子商务数据分析方法0103学习难点02常用的数据分析42.1电子商务数据采集2.1 电子商务数据采集5一、数据采集1.采集店铺排名数据采集店铺排名数据处理数据的首选工具就是 Excel。采集店铺排名数据主要涉及的操作包括创建 Excel 工作簿、重命名工作表、输入数据和保存文档。下面就以 Excel 2016 为例，介绍采集店铺排名数据的方法。一、数据采集1.采集店铺排名数据6启动启动 Excel 2016 Excel 2016，在右侧的列表框中选择，在右侧的列表框中选择“空白工作簿空白工作簿”选项，即可创建一选项，即可创建一个全新的个全新的 Excel Excel 工作簿工作簿1.采集店铺排名数据启动 Excel 2016，在右侧的列表框中选择“空白工作簿7在创建的在创建的 Excel Excel 工作簿左上角单击工作簿左上角单击“保存保存”按按钮钮1.采集店铺排名数据在创建的 Excel 工作簿左上角单击“保存”按钮1.采集店8打开打开“另存为另存为”界面，在其中可选择保存界面，在其中可选择保存 Excel Excel 工作簿的方式和位置，在右工作簿的方式和位置，在右侧的侧的“另存为另存为”栏中单击栏中单击“浏览浏览”按钮按钮1.采集店铺排名数据打开“另存为”界面，在其中可选择保存 Excel 工作簿的方9打开打开“另存为另存为”对话框，在对话框，在“文件名文件名”右侧的文本框中输入右侧的文本框中输入“商业规划商业规划”，单，单击击“保存保存”按钮，重命名并保存按钮，重命名并保存 Excel Excel 工作簿工作簿1.采集店铺排名数据打开“另存为”对话框，在“文件名”右侧的文本框中输入“商业规10在在“商业规划商业规划”工作簿左下角的工作簿左下角的“Sheet1”“Sheet1”工作表标签上单击鼠标右键，在弹工作表标签上单击鼠标右键，在弹出的快捷菜单中选择出的快捷菜单中选择“重命名重命名”命令，此时选择的工作表标签将呈可编辑状态，命令，此时选择的工作表标签将呈可编辑状态，然后在其中输入然后在其中输入“店铺排名店铺排名”1.采集店铺排名数据在“商业规划”工作簿左下角的“Sheet1”工作表标签上单击11选择选择 A1 A1、B1 B1 和和 C1 C1 单元格，并在其中分别输入单元格，并在其中分别输入“排行排行”“”“店铺名称店铺名称”“”“店铺店铺平台平台”，然后打开网页中需要采集数据的店铺排名，将相关数据分别输入到对，然后打开网页中需要采集数据的店铺排名，将相关数据分别输入到对应的单元格中，其输入后的效果如图所示应的单元格中，其输入后的效果如图所示1.采集店铺排名数据选择 A1、B1 和 C1 单元格，并在其中分别输入“排行”12Excel Excel 工作表通常是按列和行进行划分的，列标以英文字母标记，行号以数字标记。这里的工作表通常是按列和行进行划分的，列标以英文字母标记，行号以数字标记。这里的 A1 A1 表示第表示第 A A 列的第列的第 1 1 行所在的区域，行所在的区域，Excel Excel 也把这个区域称为单元格。另外，在输入店铺名称的过程中，若发现也把这个区域称为单元格。另外，在输入店铺名称的过程中，若发现 C C 列的宽度不够，可以将鼠标光标移动到列的宽度不够，可以将鼠标光标移动到 C C 列和列和 D D 列的中间，按住鼠标左键不放，向右拖动到合适位列的中间，按住鼠标左键不放，向右拖动到合适位置，释放鼠标左键后即可调整置，释放鼠标左键后即可调整 C C 列的宽度。列的宽度。再次在工作簿左上角单击再次在工作簿左上角单击“保存保存”按钮，保存输入的数据，按钮，保存输入的数据，完成采集店铺排名数据的操作完成采集店铺排名数据的操作1.采集店铺排名数据Excel 工作表通常是按列和行进行划分的，列标以英文字母标13一、数据采集2.采集商品类目销售数据采集商品类目销售数据采集商品类目销售数据的操作步骤与采集店铺排名数据的相似，只需要在前面创建的“商业规划”工作簿中新建一张工作表，然后在其中输入数据即可，其具体操作步骤如下。（1）打开“商业规划”工作簿，单击“店铺排名”工作表标签右侧的“新工作表”按钮，增加“Sheet2”工作表标签，将其命名为“类目”。（2）打开网页查看需要采集数据的类目，并在工作表中输入采集数据的类目数据，并根据文字的多少适当调整列宽。一、数据采集2.采集商品类目销售数据14一、数据采集3.采集商品品牌销售数据采集商品品牌销售数据（1）打开“商业规划”工作簿，单击“类目”工作表标签右侧的“新工作表”按钮，新建“Sheet3”工作表标签，将其命名为“品牌”。（2）打开网页中需要釆集数据的品牌，在工作表中输入对应的品牌数据，并适当调整列宽。一、数据采集3.采集商品品牌销售数据15二、常用的电子商务数据分析方法1.流量来源分析流量来源分析（1）流量来源：主要来源于关键词、来访域名、来访地区和人群。（2）流量来源分析方法：网站流量来源排名、搜索引擎关键词分析、网站流量趋势分析、网站流量核对、推介网站与直接访问的比例。二、常用的电子商务数据分析方法1.流量来源分析16到到达达率率：到达率是指广告从点击到网站登录页的比例。一般来说，到达率达到 80%是比较理想的，其与网站的速度有关，可以综合分析。二二跳跳率率：二跳率用于分析流量的有效性。如果是有效流量，一般会有合理的二跳；如果是虚假点击，一般是没有二跳的，但是也不排除有部分作假很厉害的网站能做出二跳。PV/IP PV/IP 比：比：访问量（Page View，PV），即页面浏览量或点击量，用户每次刷新即被计算一次。IP（独立 IP）：指独立 IP 数。00:0024:00 内相同 IP 地址只被计算一次。二、常用的电子商务数据分析方法2.流量效率分析流量效率是指到达网站的流量是不是真实流量，主要分析指标如下。订订单转化率：单转化率：订单转化率是最核心的数据，没有订单转化率，其他一切免谈。到达率：到达率是指广告从点击到网站登录页的比例。一般来说，到17页页面面流流量量排排名名：主要用于查看产品详情页的流量，特别是首页陈列的产品详情页参照最终的销售比例，优胜劣汰，用以调整销售结构。场景转化分析：场景转化分析：即首页列表页详情页购物车订单提交页订单成功页的数据流分析。频道流量排名：频道流量排名：主要用来分析产品组织的问题。二、常用的电子商务数据分析方法3.站内数据流分析站内数据流分析主要用来分析购物流程是否顺畅和产品分布是否合理，主要分析指标如下。站内搜索分析：站内搜索分析：这个指标反映的是用户关心的产品有哪些，是产品调整的最直接数据。用用户户离离开开页页面面分分析析：分析用户在哪些页面最容易离开，是首页还是频道页？是购物车还是订单提交页？若用户突然大比例地离开网站，往往预示着有问题产生。页面流量排名：主要用于查看产品详情页的流量，特别是首页陈列的18二、常用的电子商务数据分析方法4.网购用户行为特征分析网购用户行为特征分析用户在电子商务网站上有了购买行为之后，就从潜在客户变成了网站的价值客户。电子商务网站一般都会将用户的交易信息保存在自己的数据库中，所以对于这些用户，我们可以基于网站的运营数据对他们的交易行为进行分析，以估计每个用户的价值，及针对每个用户进行扩展营销（Lead Generation）的可能性。二、常用的电子商务数据分析方法4.网购用户行为特征分析19行业产品分布：行业产品分布：行业产品分布的数据主要从以下几个方面分析：找到什么样的产品，实现了多少销量产品的特性和卖点的分析寻找合适的推广方式。淘淘宝宝销销售售分分析析：对淘宝销售分布的数据分析主要从以下几个方面进行：对产品关键词搜索量（日搜索量、优化、提升）的分析对淘宝销售类目分布的分析对主要目标的分析。客客户户分分析析：对客户的数据分析主要从以下几个方面进行：客户数据分析的主要目的是为店铺装修、市场营销活动等提供参考客户分析的因素主要有性别、年龄、地域、职业、消费习惯、兴趣等。二、常用的电子商务数据分析方法5.网店经营数据分析网店经营数据分析产产品分析：品分析：对产品数据的分析主要有以下几个方面：产品数据分析的主要目标预测热销产品。店店铺铺/页页面分析：面分析：店铺/页面分析的主要目标 店铺/页面分析的目的 店铺/页面分析的内容。行业产品分布：行业产品分布的数据主要从以下几个方面分析：找20三、常用的数据分析工具1.查看内部数据查看内部数据（1）Google AnalyticsGoogle Analytics 是著名互联网公司 Google 为网站提供的数据统计服务。该工具可用于对目标网站的访问数据进行统计和分析，并提供多种参数供网站拥有者使用。其使用方法非常简单，只需在网站的页面上加入一段代码或者输入某网站地址，就可以得到所需并且详尽的图表式报告。Google Analytics 的主要功能是可以帮助用户衡量销售与转化情况，而且能为其提供最新的数据信息，帮助用户了解访问者如何使用网站，如何到达网站，以及如何吸引他们不断回访等。Google Analytics 的主要功能包括以下 6 个。三、常用的数据分析工具1.查看内部数据21实时报告：实时报告：实时报告的内容包括用户网站上的实时访问人数、访问者所在地及浏览内容等。自定义报告：自定义报告：用户能过自定义报告可以迅速定义专属的指标信息中心，与同事共享关键数据信息。自定义变量：自定义变量：自定义变量可以帮助用户了解客户所属的细分群体以及与客户的互动情况。分析工具分析工具主要帮助用户深入剖析访问者的数据，通过标准报告来衡量和理解网站上的访问和互动情况；另外，运用分析工具还可以迅速创建自定义报告和访问者细分，并以此作为用户团队分享的重要数据。Google Analytics 的分析工具包括以下 6 种。高高级细级细分分：高级细分用来轻松分析流量的特定部分，用户还可以自行创建细分系列。信信息息中中心心：信息中心用于组织、监控和分享关键效果指标，用户可以同时监控多种指标，从而快速了解账户的运行状态。可可视视化化：可视化包括用户流可视化和网页内分析两种。用户流可视化报告可用于分析访问者在用户网站上访问的路径，网页内分析可以直观地评估客户如何与用户的网页进行互动。实时报告：实时报告的内容包括用户网站上的实时访问人数、访问者22Google Analytics Google Analytics 的实时报告的实时报告分析工具Google Analytics 的实时报告 分析工具23网站搜索：网站搜索：利用网站搜索报告。网页内分析：网页内分析：用户可以直观地评估客户与网页的互动情况。网站速度分析：网站速度分析：网站速度分析结果可以显示客户需要多长时间才能看到网站内容并与内容互动。内容分析内容分析主要是指通过 Google Analytics 中的内容报告，找出网站上的热门内容以及隐藏的价值。用户可以了解客户访问网站上的各个网页的频率、停留的时间和转化频率。Google Analytics 的内容分析主要包括以下 4 种。事事件件跟跟踪踪：根据事件跟踪，用户可以查看与 Flash 和 AJAX 元素进行互动或者单击链接下载产品手册的频率，甚至还可以设置事件跟踪功能来详细了解客户的行为方式。网站搜索：利用网站搜索报告。网页内分析：用户可以直观地评估客24Google Analytics Google Analytics 的网页内分的网页内分析析内容分析Google Analytics 的网页内分析 内容分析25社交转化：社交转化：社交转化报告可显示来自各个社交网络的访问所带来的转化率和转化的货币价值。社交来源：社交来源：社交来源报告可以帮助用户优化互动地点，将企业社交策略从直觉式转变为以数据为中心。社社交交分分享享：通过结合流量与分享，用户可以将社交与内容关联在一起，帮助决策者做出明智的决策，并通过在站内和站外构建社区，让更多客户主动分享网站内容。社交分析社交分析主要是指通过社交报告帮助用户评估社交媒体对自己的业务目标和转化次数施加的影响。整合的网络和社交数据可帮助用户全面了解企业的内容和受众群体。Google Analytics 的社交分析包括以下 3 种。社交转化：社交转化报告可显示来自各个社交网络的访问所带来的转26移移动动应应用用分分析析：该功能可针对客户与应用接触的整个过程（从发现、下载到互动）进行评估。此类报告专为移动应用开发人员和营销人员设计，所提供的内容常为他们所关注的焦点。移移动动网网站站报报告告：在 Google Analytics 的“地理分布图”标签上按照位置查看统计信息，用户可以了解目前的移动流量的来源，并预测哪些位置的流量可能会增加。移动广告衡量：移动广告衡量：Google 移动广告会在移动设备上的 Google 搜索结果、内容网站和应用中展示。移动分析移动分析主要利用 Google Analytics 来衡量移动网站、应用以及具有网络访问功能的移动设备（包括智能手机和平板电脑）所带来的访问次数。用户可以向营销人员提供与客户相关的分析数据，以帮助营销人员抓住重点吸引客户，使其在不同类型的设备与屏幕上都能取得良好的广告效果。Google Analytics 的移动分析又包括以下 3 种。移动应用分析：该功能可针对客户与应用接触的整个过程（从发现、27Google Analytics Google Analytics 的移动分析的移动分析移动分析Google Analytics 的移动分析 移动分析28探探查查访访问问者者行行为为认认识识如如何何促促成成销销售售和和转转化化：用户可以跟踪销售量、下载次数、视频播放次数、转化次数、网站上的用户参与度或自定义指标来实现业务目标。利利用用电电子子商商务务报报告告提提高高在在线线销销售售量量：电子商务报告用于确定最畅销的产品和最有价值的促销活动，帮助用户了解客户购买的原因和类型。通通过过多多渠渠道道路路径径报报告告全全面面掌掌握握广广告告系系列列效效果果：用户可以查看自己的所有数字营销活 动的效果，包括搜索广告、展示广告、社交营销、联署网络营销、电子邮件营销等。转化分析转化分析主要是指利用 Google Analytics 转化套件扩大用户的分析范围，了解用户的所有数字营销渠道如何共同发挥作用，为企业网站带来访问者。通过衡量销售量、下载次数和视频播放次数等有价值的操作指标，了解访问者购买产品的意愿，从而调整网站和营销计划以达到企业的业务目标。Google Analytics 的转化分析包括以下 4 种。跟跟踪踪访访问问者者在在网网站站上上的的不不同同路路径径：利用 Google Analytics 用户流可视化功能和目标渠道，用户可以跟踪访问者的转化路径，找出网站导航中的优缺点，分析企业在网站和营销计划中的调整方向。探查访问者行为认识如何促成销售和转化：用户可以跟踪销售量、下29广告分析广告分析指通过了解用户的社交广告、移动广告、搜索广告和展示广告的效果，以最大限度地发挥广告的作用。Google Analytics 的广告分析包括提升搜索引擎营销的效果、使用再营销功能覆盖有需求的客户、了解展示广告对用户的广告计划的贡献度、了解用户的广告与多渠道路径的配合效果、通过广告系列衡量报告分辨有效的营销活动和无效的营销活动。广告分析广告分析指通过了解用户的社交广告、移动广告、搜索30广告分析Google Analytics 的基本使用方法如下。a.登录 Google Analytics（分析）网站，单击右上角的“登录”超链接或者“创建账户”按钮。b.打开登录页面，在文本框中输入注册好的电子邮件地址，单击“下一步”按钮，进入Google Analytics 管理页面。如果没有注册，则需要单击“创建账号”超链接，打开创建账户的页面，填写相关内容创建一个 Google 账户，然后再登录 Google Analytics 管理页面。c.在页面中单击“管理”选项卡，在右侧的“媒体资源”栏中单击“google-blog”右侧的下拉按钮，在打开的下拉列表中，选择“创建新媒体资源”选项。d.在打开的页面中，设置数据跟踪的站点，在“设置媒体资源”栏的“网站名称”和“网站网址”文本框中输入企业的网站内容，完成后单击“获取跟踪 ID”超链接。e.重新登录后，在管理页面中，单击“报告”选项卡，在左侧的任务窗格中选择对应的选项，即可查看到网站各种数据的分析结果（通常是 24 小时后可以看到效果）。广告分析Google Analytics 的基本使用方法31三、常用的数据分析工具1.查看内部数据查看内部数据（1）生意参谋生意参谋是淘宝官方的数据产品。生意参谋不但秉承数据让生意更简单的使命，而且致力于为电商、淘宝商家提供精准、实时的数据统计、多维的数据分析和权威的数据解决方案。提高销量。生意参谋的数据内容包括 8 个方面：访客分布、流量地图、产品诊断、产品效果、产品概览、经营报告、产品排名、标题优化。三、常用的数据分析工具1.查看内部数据32三、常用的数据分析工具1.查看内部数据查看内部数据（2）CRM客户关系管理（Customer Relationship Management，CRM）是一种基于互联网的应用系统，通过对企业业务流程的重组来整合用户信息资源，以更有效的方法管理客户关系，在企业内部实现信息和资源的共享，从而降低企业运营成本，为客户提供更经济、快捷、周到的服务，以保持和吸引更多的客户，最终达到企业利润最大化的目的。三、常用的数据分析工具1.查看内部数据33客客户户联联系系的的提提醒醒：提醒今天或明天应联系的客户、逾期未及时联系的客户、逾期未及时下单或长期没有业务往来的客户。客客户户资资料料的的查查询询和和分分析析统统计计：按客户名称关键词模糊查询，防止撞单；每天客户联系拜访情况的查询和分析。业业务务员员数数据据查查询询与与提提醒醒：包括业绩查询和统计，应收款的提醒，以及工资、提成及费用的查询。销销售售数数据据查查询询与与分分析析统统计计：包括订单查询及交货提醒、统计销售部门业绩和打印出货单。应应收收款款提提醒醒：提示周六、周日有哪些应收款，逾期未收的应收款。应应收收款款统统计计分分析析：分析哪些客户应收款比例较大、哪些客户逾期款累计金额超限、哪些客户账龄过长。收收/付付款款查查询询和和统统计计：对于任一时期的收/付款进账/出账明细，按收/付款方式、按业务员、按年、月等进行分类统计，显示各种统计图表，反映企业资金流入、流出情况。费费用用查查询询和和统统计计：查看企业各类费用和明细的支出情况，并可按费用多少、费用项目、年/月、业务员进行统计，显示统计图表。CRM的运用范围由于 CRM 主要是针对客户的数据管理软件，所以 CRM 数据对于各种业务人员和财务人员的作用更大，其运用范围主要如下：客户联系的提醒：提醒今天或明天应联系的客户、逾期未及时联系的34客客户户概概况况分分析析（ProfilingProfiling）：包括客户消费的层次、风险、爱好、习惯等。客客户户忠忠诚诚度度分分析析（PersistencyPersistency）：指客户对某个产品或商业机构的信用程度、持久性、变动情况等。客客户户利利润润分分析析（ProfitabilityProfitability）：指不同客户所消费的产品的边缘利润、总利润额和净利润等。客客户户性性能能分分析析（PerformancePerformance）：指不同客户所消费的产品按种类、渠道、销售地点等指标划分的销售额。客客户户未未来来分分析析（ProspectingProspecting）：客户未来分析包括客户数量和类别等情况的未来发展趋势、争取客户的手段等。客客户户产产品品分分析析（ProductProduct）：包括产品设计、关联性、供应链等。客客户户促促销销分分析析（PromotionPromotion）：包括广告和宣传等促销活动的管理。CRM的运营指标CRM 的运营指标被称为“TP”指标，包括以下 7 个方面的内容。客户概况分析（Profiling）：包括客户消费的层次、风险35按按软软件件关关注注的的重重点点分分类类：CRM 软件分为操作型和分析型两大类，也有两者并重的。操作型软件更加关注业务流程和信息记录，提供便捷的操作和人性化的界面；而分析型软件往往基于大量的企业日常数据，对数据进行挖掘分析，找出客户、产品、服务的特征，从而修正企业的产品策略、市场策略。从从软软件件的的技技术术层层面面分分类类：CRM 软件分为预置型和托管型两类，托管型 CRM 面临的最大难题是如何解决数据安全方面的问题；预置型 CRM 的重点功能则是如何说服一个成熟企业将核心数据放置在企业可控制范围之外。CRM软件的类型CRM 软件有很多种，主要有以下两种分类方法。按软件关注的重点分类：CRM 软件分为操作型和分析型两大类，36综合排名。综合排名指特定网站在所有网站中的名次，Alexa 每 3 个月公布一次新的网站综合排名。此排名的依据是用户链接数 UR、页面浏览数 PV、3 个月累积的几何平均值。分类排名。分类排名主要分为两种形式。一种是按主题分类排名，如新闻、娱乐和购物等，Alexa 给出某个特定网站在同一类网站中的名次。另一种是按语言分类排名，通过语言的不同，给出特定站点在所有此类语言网站中的名次。三、常用的数据分析工具2.查看外部数据查看外部数据（1）AlexaAlexa 是首屈一指的免费提供网站流量信息的公司，致力于开发网页抓取和网站流量计算。通常 Alexa 的网站排名主要分为综合排名和分类排名两种。综合排名。综合排名指特定网站在所有网站中的名次，Alexa 37（1）Alexa登录 Alexa 网站，并免费查询淘宝网的排名数据，其具体操作如下。登录 Alexa 网站，在 http:/www 右侧的文本框中输入需要查询的网站网址，这里输入“”，按【Enter】键。在下方将显示该网站的备案信息、服务器信息、站点的全球网站排名（包括当日、1 周平均、1 月平均、3 月平均的排名和排名变化趋势）、P 和 PV 值（包括日均、月平均、3 月平均。在下面还显示了该网站下属子站点的访问比例、页面访问比例、人均页面流览量，以及网站的日平均排名走势图。（1）Alexa登录 Alexa 网站，并免费查询淘宝网的排38市市场场趋趋势势：淘宝指数默认打开“市场趋势”选项卡，在“搜索指数”栏中显示最近 6 个月与关键词相关产品的搜索指数的变化趋势，在右侧的任务窗格中将显示搜索趋势简报，卖家可以根据这部分数据进行市场预测。另外，卖家还可以在“关键词”文本框中输入其他产品名称，进行搜索对比，以及拖动数据表格下方的时间滑块，显示其他时间的搜索数据。人群特征：人群特征：人群特征则主要有地域细分和人群定位两大功能板块。地域细分主要显示近 6 个月与搜索关键词相关的搜索和成交的地域分布情况。它又分为喜好度和人群占比两个板块。人群定位主要显示近 6 个月的人群性别、年龄、星座、爱好、买家等级和消费层级 6个层面的信息。市场细分：市场细分：单击“市场细分”选项卡，淘宝指数就会显示与关键词相关的市场细分情况。（2）淘宝指数淘宝指数是淘宝官方免费的数据分享平台，不同人群利用淘宝指数可以获得不同的便利。淘宝指数的主要数据来源就是淘宝网中的各项交易数据。通过淘宝指数，卖家可以对数据的市场趋势、人群特征、市场细分、成交排行进行分析，这 4 项也是淘宝指数的主要功能模块。成成交交排排行行：在淘宝指数页面的顶部单击“成交排行”超链接，即可显示近 1 周各类产品的搜索排行和成交排行。市场趋势：淘宝指数默认打开“市场趋势”选项卡，在“搜索指数”39趋趋势势研研究究：趋势研究是百度指数的默认显示模块，将显示 30 天内全国范围内搜索该关键词的指数概况和指数趋势。需求图谱：需求图谱：需求图谱能够显示网民对搜索关键词的关注内容和关注点舆舆情情洞洞察察：舆情洞察分为新闻监测和百度知道两个板块。新闻监测主要显示全国各大媒体与搜索关键词相关的新闻的媒体指数。百度知道则显示与搜索关键词相关的提问的浏览热度。（3）百度指数百度指数是以百度网民的行为数据为基础的数据分享平台。百度指数的主要功能模块包括基于单个词的趋势研究（包含整体趋势、PC 趋势和移动趋势）、需求图谱、舆情洞察、人群画像；基于行业的整体趋势、地域分布、人群属性和搜索时间特征。人人群群画画像像：人群画像分为地域分布和人群属性两个板块。地域分布主要显示该搜索关键词在全国各省份和城市的排名情况。人群属性则显示该搜索关键词在各年龄段和不同性别人群中的搜索分布情况。趋势研究：趋势研究是百度指数的默认显示模块，将显示 30 天402.2.1HTML源码解析及网络抓包2.2.1 HTML源码解析及网络抓包41掌握从HTML源码中寻找目标数据的方法0102实验目的掌握网络抓包的方法掌握从HTML源码中寻找目标数据的方法0102实验目的掌握网42HTML是什么？HTML（超文本标记语言）是用于在Internet上显示Web页面的主要标记语言。网页由HTML组成，用于通过Web浏览器显示文本，图像或其他资源。HTML是制作网页的基础，我们在网络营销中讲的静态网页，就是以HTML为基础制作的网页。HTML网页结构通常包括头部(head)、主体(body)两大部分。头部描述浏览器所需的信息，主体包含所要说明的具体内容。HTML文件是带有格式标识符和超文本链接的内嵌代码的ASCII文本文件HTML结构，可以被多种网页浏览器读取，产生网页传递各类资讯。一、关于HTMLHTML是什么？HTML是制作网页的基础，我们在网络营销中讲43由三部分由三部分组组成：成：资资源源类类型、存放型、存放资资源的主机域名、源的主机域名、资资源文件名源文件名。也也可可认认为为由由4部部分分组组成成：协协议议、主主机机、端口、路径端口、路径。URLURL的一般语法格式为：的一般语法格式为：(带方括号带方括号的为可选项的为可选项)：scheme:/host:port#/path/?query-string#anchorscheme:/host:port#/path/?query-string#anchor，其中：，其中：schemescheme：协议：协议(例如：例如：http,https,ftp)http,https,ftp)hosthost：服务器的：服务器的IPIP地址或者域名地址或者域名port#port#：服务器的端口（如果是走协议默认端口，缺省端口：服务器的端口（如果是走协议默认端口，缺省端口8080）pathpath：访问资源的路径：访问资源的路径query-stringquery-string：参数，发送给：参数，发送给httphttp服务器的数据服务器的数据anchoranchor：锚（跳转到网页的指定锚点位置）：锚（跳转到网页的指定锚点位置）例如：例如：http:/http:/http:/192.168.0.116:8080/index.jsphttp:/192.168.0.116:8080/index.jsphttp:/ 1查看源码所在页面中任一宝贝的标题或其中一部分关键词，粘贴到调出的搜索框内）查看源码所在页面中任一宝贝的标题或其中一部分关键词，粘贴到调出的搜索框内），找到目标信息则说明数据就在，找到目标信息则说明数据就在HTMLHTML中，此数据称之为静态数据。中，此数据称之为静态数据。一、HTML源码解析按键盘的CTRL+F键调出搜索框，根据前端页面的目标信息进行48打开打开http:/ 采集并统计形成行业数据53了解行业数据的统计方法0102实验目的实操数据采集方法03实操行业数据统计方法了解行业数据的统计方法0102实验目的实操数据采集方法03实54第三方公司统计行业数据的方法通常是基于统计学原理，根据某个行业的销量排序，从高到低采集固定数量的样本，统计样本的销量或者销售额来代表整个行业的数据。采采集集工工具具选选用用Power BI（个个人人免免费费版版）。Power BI是是微微软软旗旗下下的的一一款款（BI）商商业业智智能能软软件件，它它包包含含桌桌面面版版（Power BI Desktop）、网）、网页页版和移版和移动动版。版。一、行业数据的统计方法第三方公司统计行业数据的方法通常是基于统计学原理，根据某个行55总体总体个体个体样本样本样本容量样本容量总体与样本总体与样本总体包含所研究的全部个体（数据）的集合。个体总体中每一个考察对象称为个体。样本研究中实际观测或调查的一部分个体称为样本。样本容量样本中个体的数目称为样本容量。二、总体与样本为为了了研研究究某某中中学学九九年年级级学学生生的的身身高高情情况况，从从全全部部九九年年级级学学生生中中抽抽取取了了60名名学学生生的的身身高高。在在这这个个案案例例中中，总总体体、个个体体、样样本本、样样本本容容量各指什么？量各指什么？总体个体样本样本容量总体与样本总体个体样本样本容量二、总体与56总总体体是是一一个个确确定定的的数数字字集集合合，而而样样本本可可以以有有许许多多。“在在总总体体中中取取出出的的一一部部分分个个体体叫叫作作总总体体的的一一个个样样本本”，如如果果取取出出另另一一部部分分个个体体那那就就构构成成另另一一个个样样本本，即即使使每每次次抽抽取取身身高高作作为为样样本本的的学学生生都都是是6060人人，每每次次抽抽取取的的情情况况也也不不会会相相同同。所所以以样样本本里里面面的的数数都都是是一一些些变变量量，这这些些变变量量的的特特点点只只有有在在一一次次具具体体的的抽抽取取完完成成之之后后才才能能知知道道它它们们的的值值。从从上上述述的的分分析析可可以以得得出出结结论论：样样本本一一般般不不等等于于总总体体，但但样样本本来来源源于于总总体体，因因而而用用样样本本估估计计总总体体才才有有一一定定的的依依据据，这这是是统统计计的基本思想。的基本思想。研研究究电电商商行行业业大大数数据据的的基基本本思思想想也也是是如如此此，行行业业里里面面有有庞庞大大的的数数据据量量，就就商商品品数数据据来来说说，每每个个商商品品又又有有多多种种不不同同的的属属性性。我我们们通通常常对对数数据据整整体体进进行行抽抽样样采采集集，获获取取具具有有代代表表性性的的、能能够够尽尽可可能能地地代代表表整整体体趋趋势势的的数数据据，数数据据拿拿到到手之后，再抽取不同的属性特点作为研究对象，以分析不同的趋势特征。手之后，再抽取不同的属性特点作为研究对象，以分析不同的趋势特征。二、总体与样本总体是一个确定的数字集合，而样本可以有许多。“在总体中取出的57三、采集数据流程将将整整个个HTMLHTML或或者者JSJS文文件件下下载载到到本本地地，此此时时数数据据在在文文件件中中，文文件件可可转转换换成成文文本本这种可读的类型。这种可读的类型。采集采集存储数据一般将下载存储数据一般将下载的文件或者文本整个的文件或者文本整个存入数据库。存入数据库。储存储存从文件或者文本中提取从文件或者文本中提取目标资料，并组织成表目标资料，并组织成表格形式，形成可供分析格形式，形成可供分析的原始资料。的原始资料。清洗清洗三、采集数据流程将整个HTML或者JS文件下载到本地，此时数581、IP限限制制：最最基基础础的的反反爬爬虫虫方方式式，也也比比较较好好破破解解，通通过变换过变换网网络络IP即可破解。即可破解。四、反爬虫2、账账号号权权限限限限制制：必必须须登登录录账账号号才才可可以以访访问问，且且可可能能账账号号有有访访问问的的权权限限限限制制，如如限限制制页页面面或或者者限限制制访访问问次次数数，破破解解的的方方法法是是上上传传身身份份信信息息给给服服务务器，一般使用器，一般使用cookie字段。字段。对对于于限限制制访访问问权权限限的的，需需要要使使用用具具备备对对应应权权限限的的账账号号，如如果果暴暴力力破破解解则则是是黑黑客客范范畴畴。对对于于访访问问次次数数的的限限制，只要制，只要频频繁繁变换账变换账号即可。号即可。3、密密钥钥匹匹配配：密密钥钥匹匹配配是是目目前前比比较较难难破破解解的的，需需要要具具备备密密码码学学的的知知识识，破破解解密密钥钥的的算算法法，然然后后自自行行生成密生成密钥钥和服和服务务器匹配。器匹配。1、IP限制：最基础的反爬虫方式，也比较好破解，通过变换网络59业务背景：分析数据之前需要先有数据，数据一般可以通过数据产品和页面收集，收集数据时如果使用手动的方式将耗费大量的时间和精力，因此使用软件构建采集脚本可极大节约时间成本。下面我们将带领大家体验通过传统的源码采集方式实现数据采集。实验内容业务背景：分析数据之前需要先有数据，数据一般可以通过数据产品60https:/ q（搜索词），（搜索词），sortsort（排名方式）。也就是说链接中（排名方式）。也就是说链接中“q”“q”后面是搜索词字段，后面是搜索词字段，“sort”“sort”后面代表的后面代表的是排序方式。可直接复制该链接到浏览器中进行检验，如图所示，可以发现搜索词为是排序方式。可直接复制该链接到浏览器中进行检验，如图所示，可以发现搜索词为“路由器路由器”，排序方，排序方式为式为“销量从高到低销量从高到低”。一、实操数据采集方法明确目标链接https:/ BI主主页页，依次，依次单击单击“获获取数据取数据”、从、从“Web”获获取取选项选项，将上步复制的京，将上步复制的京东东搜搜索索页链页链接粘接粘贴贴到到弹弹出的出的“从从Web”对话对话框中，框中，单击单击“确定确定”按按钮钮。1）使用web引入示例的方法进行京东连衣裙数据的单页采集打开661）使用web引入示例的方法进行京东连衣裙数据的单页采集在在弹弹出的出的“导导航器航器”页页面面单击单击“使用示例添加表使用示例添加表”，等待数据的加，等待数据的加载载，如，如图图所示。所示。这这里里选选择择“使用示例添加表使用示例添加表”的操作是的操作是为为了学了学习习数据的路径，通数据的路径，通过过两到三个数据两到三个数据实现实现定位，定位，进进而完成整个数据表的填充（下一步操作中将体而完成整个数据表的填充（下一步操作中将体现现）。）。1）使用web引入示例的方法进行京东连衣裙数据的单页采集在弹671）使用web引入示例的方法进行京东连衣裙数据的单页采集在在弹弹出的出的“从从Web”对话对话框中框中进进行数据填充。首先在左下角的行数据填充。首先在左下角的“列列1”的空白行的空白行输输入上方入上方对对应应宝宝贝贝的的标题标题，这这里会有关里会有关键词键词提示，提示，输输入前几个关入前几个关键键字后会出字后会出现现包含相包含相应应字段的字段的标标题题，双，双击选击选中即可自中即可自动动填入。可先在前两行填入。可先在前两行输输入前两个宝入前两个宝贝贝的的标题标题，在其它空白，在其它空白单单元元格上双格上双击击（或者按住鼠（或者按住鼠标标左左键键划划过过整列），即可整列），即可进进行整列填充，如行整列填充，如图图所示，并将所示，并将该该列列重命名重命名为为“标题标题”。1）使用web引入示例的方法进行京东连衣裙数据的单页采集在弹681）使用web引入示例的方法进行京东连衣裙数据的单页采集同以上步同以上步骤骤，再分，再分别别添加添加“价格价格”和和“评评价数价数”列（列（这这里可根据需要，添加想要采集的内里可根据需要，添加想要采集的内容列），容列），单击单击“确定确定”按按钮钮。1）使用web引入示例的方法进行京东连衣裙数据的单页采集同以691）使用web引入示例的方法进行京东连衣裙数据的单页采集待出待出现现如如左左图图所示的所示的“导导航器航器”页页面面时时，单击单击“转换转换数据数据”（有的版本是（有的版本是“编辑编辑”），将），将进进入入“Power Query编辑编辑器器”页页面面，如右图所示。，如右图所示。1）使用web引入示例的方法进行京东连衣裙数据的单页采集待出701）使用web引入示例的方法进行京东连衣裙数据的单页采集依次依次单击单击“主主页页”、“高高级编辑级编辑器器”选项选项，可，可验证验证M语语言中的公式言中的公式为为：=Web.BrowserContents(URL)1）使用web引入示例的方法进行京东连衣裙数据的单页采集依次712）使用自定义函数进行京东羽绒服数据的单页采集单页单页采集采集连连衣裙数据之后衣裙数据之后进进入入Power Query编辑编辑器器页页面，得到面，得到“表表1”如如左左图图所示；右所示；右键键单击单击“表表1”，在，在弹弹出的菜出的菜单单里里单击单击第二个第二个“复制复制”选项选项，它的功能是复制并粘，它的功能是复制并粘贴贴表；也可表；也可单击单击第一个第一个“复制复制”，它的功能是复制表，复制完之后需要再次右，它的功能是复制表，复制完之后需要再次右键单击键单击“粘粘贴贴”，如右，如右图所示。图所示。2）使用自定义函数进行京东羽绒服数据的单页采集单页采集连衣裙72打开复制得到的表打开复制得到的表1（2），依次），依次单击单击“主主页页”、“高高级编辑级编辑器器”，进进行自定行自定义义函数函数设设置，置，引入引入变变量量“x”，编辑编辑如如图图所示，此步操作的含所示，此步操作的含义义是将是将x设设置置为为Web.BrowserContents函数函数的自的自变变量。量。2）使用自定义函数进行京东羽绒服数据的单页采集打开复制得到的表1（2），依次单击“主页”、“高级编辑器”，73将将Html.Table()函数中的函数中的“源源”替替换为换为Web.BrowserContents(x)，并将两行之，并将两行之间间多余的内容多余的内容删删掉，得到：源掉，得到：源=(x)=Html.Table(.)，这时这时x又又间间接成了接成了Html.Table函数的函数的变变量，如量，如图图所示。所示。2）使用自定义函数进行京东羽绒服数据的单页采集将Html.Table()函数中的“源”替换为Web.Bro74编辑编辑let和和in语语句模句模块块如如图图所示，所示，删删除多余行的内容，注意将除多余行的内容，注意将let语语句末尾的逗号句末尾的逗号删删除，除，否否则则将出将出现语现语句句错误错误，编辑编辑完成后完成后单击单击“完成完成”按按钮钮。2）使用自定义函数进行京东羽绒服数据的单页采集编辑let和in语句模块如图所示，删除多余行的内容，注意将l75单击单击“输输入数据入数据”选项选项，在，在弹弹出的出的“创创建表建表”对话对话框中将京框中将京东东搜索搜索“羽羽绒绒服服”的的链链接粘接粘贴贴至至单单元格，如元格，如图图所示，所示，这这里里实质实质上是相当于我上是相当于我们们所所输输入的入的链链接接为变为变量量x赋值赋值的的过过程，程，输输入完成后入完成后单击单击“确定确定”按按钮钮。2）使用自定义函数进行京东羽绒服数据的单页采集单击“输入数据”选项，在弹出的“创建表”对话框中将京东搜索“76依次依次单击单击“添加列添加列”、“调调用自定用自定义义函数函数”选项选项，函数，函数调调用如用如图图所示，所示，设设置完成后置完成后单击单击“确确定定”按按钮钮。2）使用自定义函数进行京东羽绒服数据的单页采集依次单击“添加列”、“调用自定义函数”选项，函数调用如图所示77如如左左图图所示，所示，对对得到的表格得到的表格进进行展开，即可得到所采集的搜索行展开，即可得到所采集的搜索页页羽羽绒绒服数据，如服数据，如右右图图所示。由于是在采集到的所示。由于是在采集到的连连衣裙数据基衣裙数据基础础上，通上，通过过引入自定引入自定义义函数的方法来采集羽函数的方法来采集羽绒绒服的数据，相当于学服的数据，相当于学习习了采集了采集连连衣裙数据衣裙数据时时的路径与方法，因此，得到的羽的路径与方法，因此，得到的羽绒绒服数据服数据所包含的商品属性与所包含的商品属性与单页单页采集采集连连衣裙数据衣裙数据时时所包含的商品属性是一致的，都包括所包含的商品属性是一致的，都包括“标标题题”、“价格价格”、“评评价数价数”等字段。等字段。2）使用自定义函数进行京东羽绒服数据的单页采集如左图所示，对得到的表格进行展开，即可得到所采集的搜索页羽绒78（1）使用自定使用自定义义函数方法函数方法进进行数据的批量采集行数据的批量采集前面我前面我们讲们讲到在到在单页单页采集采集连连衣裙数据的基衣裙数据的基础础上，通上，通过过自定自定义义函数引入函数引入变变量量x，用，用“羽羽绒绒服服”的搜的搜索索链链接接为为x赋值赋值，再，再调调用自定用自定义义函数函数实现实现羽羽绒绒服数据的服数据的单页单页采集。批量采集与采集。批量采集与单页单页采集的原理采集的原理相同，需要修改的步相同，需要修改的步骤骤是在高是在高级编辑级编辑器器语语句修改完成之后，句修改完成之后，“输输入数据入数据”时时，增加，增加单单元格行数，元格行数，并分并分别别粘粘贴贴京京东东搜索搜索页页各各页链页链接至接至单单元格，元格，这这里我里我们选择们选择以以5页页作作为为示例，如示例，如图图所示。所示。一、实操数据采集方法测试批量采集数据（1）使用自定义函数方法进行数据的批量采集前面我们讲到在单页79接下来的步接下来的步骤骤与与单页单页采集相似，操作完成将得到所搜索的采集相似，操作完成将得到所搜索的5页页数据，数据，结结果如果如图图所示。京所示。京东东每每页页可采集可采集30个宝个宝贝贝数据，因此数据，因此5页页一共有一共有150条宝条宝贝贝数据数据结结果。果。（1）使用自定使用自定义义函数方法函数方法进进行数据的批量采集行数据的批量采集一、实操数据采集方法测试批量采集数据接下来的步骤与单页采集相似，操作完成将得到所搜索的5页数据，80首先需首先需创创建批量采集的建批量采集的链链接接，通通过观过观察，察，page参数是以参数是以1起步，步起步，步长为长为2的等差数列，的等差数列，当当页码为页码为n时时page参数参数为为2n-1；M语语言中生成言中生成100个数的序列公式：个数的序列公式：=1.100。具体操作。具体操作如下：在前步如下：在前步“单页单页采集采集连连衣裙数据衣裙数据”结结果的基果的基础础上依次上依次单击单击“新建源新建源”、“空空查询查询”选项选项，如如图图所示。此步完成之后，将新建一个空所示。此步完成之后，将新建一个空查询查询“查询查询1”，后，后续续的的创创建批量采集建批量采集链链接、数接、数据抓包与采集等步据抓包与采集等步骤骤将在此将在此查询查询中完成。中完成。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据首先需创建批量采集的链接，通过观察，page参数是以1起步，81在在函函数数框框内内输输入入=，在在“=”后后面面输输入入“引引号号”（注注意意：这这里里的的符符号号都都是是英英文文状状态态下下的的，“=”是是一一定定要要加加的的，不不然然后后面面会会出出现现链链接接错错误误），并并将将京京东东搜搜索索链链接接粘粘贴贴到到这这里里（例例如如，我我们们此此处处是是京京东东搜搜索索“连连衣衣裙裙”，选选择择按按销销量量排排序序，将将第第一一页页搜搜索索结结果果的的链链接接复复制制过过来来）；把把链链接接末末尾尾的的“page=”后后面面的的参参数数删删掉掉（这这里里不不同同于于淘淘宝宝，若若是是淘淘宝宝链链接接，需需要要删删掉掉的的是是“s=”后后面面的的参参数数；京京东东的的s参参数数由由page参参数数直直接接l控控制制），因因为为我我们们后后面面要要建建立立多多页页的的链链接接；然然后后单单击击函函数数框框前前的的“对对号号”完完成成引引用；接着用；接着单击单击到到“到表到表”选项选项，如，如图图所示。所示。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据在函数框内输入=，在“=”后面输入“引号”（注意：这里的符号82依次依次单击单击“添加列添加列”、“自定列自定列”选项选项，自定，自定义义列的名称改列的名称改为为“页码页码序列序列”，自定，自定义义列公式列公式=1.100，单击单击“确定确定”按按钮钮，生成，生成100个数的序列，如个数的序列，如图图所示。所示。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据依次单击“添加列”、“自定列”选项，自定义列的名称改为“页码83单击单击“页码页码序列序列”列名右列名右侧侧的小的小图标图标，在下拉菜，在下拉菜单单中中单击单击“扩扩展到新行展到新行”，如，如图图所示。所示。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据单击“页码序列”列名右侧的小图标，在下拉菜单中单击“扩展到新84单击单击“页码页码序列序列”列名左列名左侧侧的小的小图标图标，在下拉菜，在下拉菜单单中将中将页码页码序列的数据序列的数据类类型型设设置成置成“整数整数”格式。然后依次格式。然后依次单击单击“添加列添加列”、“自定自定义义列列”选项选项，计计算生成算生成“page参数参数”，前面我，前面我们们已已经经分析分析过过，京，京东链东链接中接中page参数的数参数的数值值与与实际页码实际页码n的关系呈的关系呈2n-1的等差数列，如的等差数列，如图图所示，所示，单击单击“确定确定”按按钮钮。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据单击“页码序列”列名左侧的小图标，在下拉菜单中将页码序列的数85单击单击“page参数参数”列名左列名左侧侧的小的小图标图标，在下拉菜，在下拉菜单单中将中将page参数的数据参数的数据类类型型设设置成置成“文本文本”格式后，依次格式后，依次单击单击“添加列添加列”、“自定自定义义列列”选项选项，生成，生成“URL”列，如列，如图图所示。所示。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据单击“page参数”列名左侧的小图标，在下拉菜单中将page86当当URL列生成后，即完成了列生成后，即完成了100页页采集采集链链接的接的创创建，点建，点击击URL列列对应链对应链接接时时，在，在页页面下方面下方可可观观察到察到链链接接对应对应的的page参数会随参数会随页码页码序列呈公式序列呈公式为为2n-1的等差的等差变变化；如化；如图图所示，点所示，点击击第三行第三行时时，显显示的示的page参数参数为为5，这这与在京与在京东东网网页页上上观观察的察的链链接接结结果是一致的。果是一致的。（2）通通过创过创建多建多页页采集采集链链接接实现实现数据的批量采集数据的批量采集一、实操数据采集方法测试批量采集数据当URL列生成后，即完成了100页采集链接的创建，点击URL87创创建完建完100页页采集的采集的链链接之后，接下来将接之后，接下来将进进行行100页页数据的抓包。原理依然是在数据的抓包。原理依然是在单页单页采集采集连连衣衣裙数据的基裙数据的基础础上，学上，学习习其数据存其数据存储储路径与采集方法，路径与采集方法，进进而完成批量采集。而完成批量采集。单击连单击连衣裙的衣裙
展开阅读全文