banner

可视化采集软件火车浏览器抓取商品评论

作者: 大数据观察来源: 大数据观察时间:2017-04-01 09:21:350

电商商品评论数据可以用来研究用户情感和语义分析,同时也可以作为竞品口碑分析的切入点,那么如何抓取商品评论呢?可视化采集软件火车浏览器是这样操作的~

我们以某宝为例,用下面这个地址进行讲解,采集该商品下所有的评论内容以及用户名称:https://item.taobao.com/item.htm?spm=a230r.1.14.37.H4k5BQ&id=521456274218&ns=1&abbucket=8#detail  

配置过程第一步:本次实验将数据保存在sqlite数据库中,数据库配置中设置数据库路径:

第二步:使用打开网页步骤,打开商品页面。打开页面需要时间,因此打开网页步骤后面需加上暂停等待。并设置执行sql步骤,创建sql 表。

第四步:点击评论选项,加载出评论内容。评论的xpath 可以在火狐中分析。评论加载需要时间,因此点击之后需要加一步暂停等待。第三步:加一个滚动条设置,将页面滚动到累计评论的位置,以便观察运行结果。

第六步:第一页的评论采集后,我们就可以点击下一页,以采集下一页的内容了。第五步:提取评论每行的内容保存至list变量。

第八步:清空提取的list变量,然后加一步跳转,这样就可以形成循环运行,提取评论中所有页面的内容。第七步:上一步点击下一页需要暂停等待的时间,接下来的一步,可以将上一页提取的内容list,遍历一下,循环插入数据库。

脚本步骤编写后样式

在一系列可视化的操作之后,电商商品的评论数据就可以测试运行并采集保存了,可视化采集软件火车浏览器操作比较便捷,每一步骤都是自由组合的,所见即所得,可以满足我们多样化的运行需求。

banner
看过还想看
可能还想看
热点推荐

永洪科技
致力于打造全球领先的数据技术厂商

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.2
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限