当前位置: 首页 / 资源分享 / 正文

推荐一个简单强大的网页数据爬取工具-web scraper

发布时间:2021-03-25 18:46:28 作者:小超越君 365 次浏览

Web Scraper 是一款免费的,适用于普通用户(不需要专业 IT 技术的)的爬虫工具,可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、电商网站商品信息、博客文章列表等等。这一切仅仅只需要下载谷歌浏览器,安装web scraper插件,即可满足点哪爬哪超级懒人的需求。

Web Scraper 的优点

轻量:非常的轻量。上手只需要一个 Chrome 浏览器和一个 Web Scraper 插件。对于一些限制安装第三方软件的公司电脑,可以很轻易的突破这层限制
提效:Web Scraper 支持绝大多数的网页的爬取,可以无侵入的加入你的日常工作流中
快:抓取速度取决于你的网速与浏览器加载速度,其他的数据采集软件可能有限速现象(充钱就能不限速)

Web Scraper 的缺点

只支持文本数据抓取:图片短视频等多媒体数据无法批量抓取
不支持范围抓取:例如一个网页有 1000 条数据,默认是全量抓取的,无法配置抓取范围。想停止抓取,只能断网模拟数据加载完毕的情况
不支持复杂网页抓取:对于那些加了复杂交互、酷炫的特效和反人类的反爬虫网页,Web Scraper 无能为力(其实这种网页写 python 爬虫也挺头疼)
导出数据乱序:想让数据正序就得用 Excel 或者用 CouchDB,相对复杂了一些

总结

掌握了 Web Scraper 的使用,基本上可以应付学习工作中 90% 的数据爬取需求。相对于 python 爬虫,虽然灵活度上受到了限制,但是低廉的学习成本可以大大节省学习时间,快速解决手头的工作,提高整体的工作效率。综合来看,Web Scraper 还是非常值得去学习的。

Web Scraper下载

https://www.zhe94.com/code/crx/web-scraper.crx

Web Scraper怎么使用?
建议参考以下教程,小超越也是从这些文章一步一步走过来的,看完肯定有收获!我就懒得自己再写一遍了!

安装、简单示例说明:https://www.cnblogs.com/fengzheng/p/8440806.html
详细说明(比较长):https://zhuanlan.zhihu.com/p/89551741
涉及多级页面示例:https://blog.csdn.net/ztf312/article/details/103865868

系列教程

转载请保留本文链接:https://www.zhe94.com/868.html

小超越
热爱折腾,曾想着改变世界,如今只能向生活低头,寻找可口的牛奶和面包
添加站长微信作者头像
专注高品质湛江网站建设及湛江SEO优化服务 立即咨询