爬虫需要掌握的前端知识(零代码爬虫神器)
爬虫需要掌握的前端知识(零代码爬虫神器)
2024-11-05 02:30:52  作者:为你暖被窝  网址:https://m.xinb2b.cn/sport/zdy199518.html

经常会遇到一些简单的需求,需要爬取某网站上的一些数据,但这些页面的结构非常的简单,并且数据量比较小,自己写代码固然可以实现,但杀鸡焉用牛刀?

目前市面上已经有一些比较成熟的零代码爬虫工具,比如说八爪鱼,有现成的模板可以使用,同时也可以自己定义一些抓取规则。但我今天要介绍的是另外一个神器 -- Web Scraper,它是 Chrome 浏览器的一个扩展插件,安装后你可以直接在F12调试工具里使用它。

# 1. 安装 Web Scraper

有条件的同学,可以直接在商店里搜索 Web Scraper 安装它


没有条件的同学,可以来这个网站(https://crxdl.com/)下载 crx 文件,再离线安装,具体方法可借助搜索引擎解决


安装好后,需要重启一次 Chrome, 然后 F12 就可以看到该工具


# 2. 基本概念与操作

在使用 Web Scraper 之前,需要讲解一下它的一些基本概念:

sitemap

直译起来是网站地图,有了该地图爬虫就可以顺着它获取到我们所需的数据。

因此 sitemap 其实就可以理解为一个网站的爬虫程序,要爬取多个网站数据,就要定义多个 sitemap。

sitemap 是支持导出和导入的,这意味着,你写的 sitemap 可以分享给其他人使用的。

从下图可以看到 sitemap 代码就是一串 JSON 配置


只要拿到这个配置你就可以导入别人的 sitemap


Selector

直译起来是选择器,从一个布满数据的 HTML 页面中去取出数据,就需要选择器去定位我们的数据的具体位置。

每一个 Selector 可以获取一个数据,要取多个数据就需要定位多个 Selector。

Web Scraper 提供的 Selector 有很多,但本篇文章只介绍几种使用频率最高,覆盖范围最广的 Selector,了解了一两种之后,其他的原理大同小异,私下再了解一下很快就能上手。


Web Scraper 使用的是 CSS 选择器来定位元素,如果你不知道它,也无大碍,在大部分场景上,你可以直接用鼠标点选的方式选中元素, Web Scraper 会自动解析出对应的 CSS 路径。

Selector 是可以嵌套的,子 Selector 的 CSS 选择器作用域就是父 Selector。

正是有了这种无穷无尽的嵌套关系,才让我们可以递归爬取整个网站的数据。

如下就是后面我们会经常放的 选择器拓扑,利用它可以直观的展示 Web Scraper 的爬取逻辑


数据爬取与导出

在定义好你的 sitemap 规则后,点击 Scrape 就可以开始爬取数据。

爬取完数据后,不会立马显示在页面上,需要你再手动点击一下 refresh 按钮,才能看到数据。

最后数据同样是可以导出为 csv 或者 xlsx 文件。


# 3. 分页器的爬取

爬取数据最经典的模型就是列表、分页、详情,接下来我也将围绕这个方向,以爬取 CSDN 博客文章去介绍几个 Selector 的用法。

分页器可以分为两种:

一种是,点 下一页 就会重新加载一个页面

一种是:点 下一页 只是当前页面的部分内容重新渲染

在早期的 web-scraper 版本中,这两种的爬取方法有所不同。

对于需要重新加载页面的,需要 Link 选择器

对于不需要重新加载页面的,可以使用 Element Click 选择器

对于某些网站的确是够用了,但却有很大的局限性。

经过我的试验,第一种使用 Link 选择器的原理就是取出 下一页的 a 标签的超链接,然后去访问,但并不是所有网站的下一页都是通过 a 标签实现。

像下面这样用 js 监听事件然后跳转的,就无法使用 Link 选择器 。


而在新版的 web scraper ,对导航分页器提供了特别的支持,加了一个 Pagination的选择器,可以完全适用两种场景,下面我会分别演示。

不重载页面的分页器爬取

点入具体一篇 CSDN 博文,拉到底部,就能看到评论区。

如果你的文章比较火,评论的同学很多的时候,CSDN 会对其进行分页展示,但不论在哪一页的评论,他们都隶属于同一篇文章,当你浏览任意一页的评论区时,博文没有必要刷新,因为这种分页并不会重载页面。


对于这种不需要重载页面的点击,完全可以使用 Element Click 来解决。


其中最后一点千万注意,要选择 root 和 next_page,只有这样,才能递归爬取

最后爬取的效果如下


使用 Element Click 的 sitemap 配置如下,你可以直接导入我的配置进行研究,配置文件下载:https://wwe.lanzoui.com/iidSSwghkch


当然啦,对于分页这种事情,web scraper 提供了更专业的 Pagination选择器,它的配置更为精简,效果也最好


对应的 sitemap 的配置如下,你可以直接导入使用 ,配置文件下载:https://wwe.lanzoui.com/iidSSwghkch


要重载页面的分页器爬取

CSDN 的博客文章列表,拉到底部,点击具体的页面按钮,或者最右边的下一页就会重载当前的页面。


而对于这种分页器,Element Click 就无能为力了,读者可自行验证一下,最多只能爬取一页就会关闭了。

而作为为分页而生的 Pagination 选择器自然是适用的


爬取的拓扑与上面都是一样的,这里不再赘述。


对应的 sitemap 的配置如下,你可以直接导入去学习,配置文件下载:https://wwe.lanzoui.com/iidSSwghkch


# 4. 二级页面的爬取

CSDN 的博客列表列表页,展示的信息比较粗糙,只有标题、发表时间、阅读量、评论数,是否原创。

想要获取更多的信息,诸如博文的正文、点赞数、收藏数、评论区内容,就得点进去具体的博文链接进行查看


web scraper 的操作逻辑与人是相通的,想要抓取更多博文的详细信息,就得打开一个新的页面去获取,而 web scraper 的 Link 选择器恰好就是做这个事情的。


爬取路径拓扑如下


爬取的效果如下


sitemap 的配置如下,你可以直接导入使用,配置文件下载:https://wwe.lanzoui.com/iidSSwghkch


# 5. 写在最后

上面梳理了分页与二级页面的爬取方案,主要是:分页器抓取和二级页面抓取。

只要学会了这两个,你就已经可以应对绝大多数的结构性网页数据了。

例如你可以爬取自己发表在 CSDN 上的所有博文信息,包括:标题、链接、文章内容、阅读数,评论数、点赞数,收藏数。

当然想要用好 web scraper 这个零代码爬取工具,你可能需要有一些基础,比如:

CSS 选择器的知识:如何抓取元素的属性,如何抓取第 n 个元素,如何抓取指定数量的元素?

正则表达式的知识:如何对抓取的内容进行初步加工?

受限于篇幅,我尽量讲 web scraper 最核心的操作,其他的基础内容只能由大家自行充电学习了。

  • 有苦难言的句子(表达有苦难言的说说)
  • 2024-11-05表达有苦难言的说说生活到底对我们做了什么,不敢再尝试,不敢再用力爱,不敢再探索,你以为那是成熟,我认为那叫死了可能等到有一天,你也爱一个人像我爱你一样,你就会知道我有多累了爱是人生的一部分,付出了爱,并不意味着就一定能。
  • 9个民生大礼包请查收(快看这些大家伙)
  • 2024-11-05快看这些大家伙建筑垃圾、大件垃圾堆放在公共区域芬芳的绿化带成了腐臭的垃圾场废旧桌椅、沙发、杂物柜堆放在楼梯间居民进进出出好似翻山越岭……垃圾分类如火如荼进行可这些“大家伙”却让居民们犯了难近日,明园森林都市滴翠苑通。
  • 中秋自制月饼的快乐感受(中秋制作月饼的作文范文)
  • 2024-11-05中秋制作月饼的作文范文一年一度的中秋节到了,我和爸爸、妈妈一起做月饼首先,准备配料,有葡萄干、核桃仁、杏仁、腰果等等我们先把月饼馅和油搅拌好,再把它捏成一个个乒乓球大小的馅然后,和好面了,先切成小方块,再做成圆形,把准备好。
  • 在广州租房哪里比较好(在广州租房租哪里比较便宜)
  • 2024-11-05在广州租房租哪里比较便宜六月,正是青梅成熟的季节是千万学子的毕业季,也是全面复工的重要时候想象中,新生活应该是:住在温馨的小屋里,有着贴心的舍友或是可爱的宠物,下了班给自己做一顿丰盛的晚餐···谁知道,出师未捷身先死,不少人。
  • 女性阴道炎与男性有关吗(夫妻互动时女性)
  • 2024-11-05夫妻互动时女性和谐的夫妻互动本来是一件令人愉悦的事情,可以增强身体体质,增进夫妻感情,但是总有一些小意外会破坏这份和谐,甚至对身体造成伤害那么夫妻互动时,女性的“金沟”为什么会流血?为了健康要了解这与女性的身体状况。
  • 臧其超成功的背后(没有高大上的背景)
  • 2024-11-05没有高大上的背景现前在国内各大短视频平台上频频展现着许多谈吐顺畅、言语如同排山倒海之势倾泻而来的演说家所发布的视频,这些视频多数都是围绕着资本运作与财富管理这一主题而展开的在这些所谓的“演说家”当中,确实有实力惊人而。
  • 情感语录真正的朋友是一生的风景(5条爱情经典语录)
  • 2024-11-055条爱情经典语录1、等待太久得来的东西,多半已经不是当初自己想要的样子了世上最珍贵的不是永远得不到或者已经得到的,而是你已经得到并且随时都有可能失去的东西2、平淡中的相守,才最珍贵;简单中的拥有,才最心安快乐有人分享。
  • 光阳racing150x怎么样(详细测评光阳RacingX150别被它的平踏给骗了)
  • 2024-11-05详细测评光阳RacingX150别被它的平踏给骗了我翻了一下,我的上一篇详细测评是光阳CT250abs版,距离今天开始写文章都有半个月了真不是因为懒~而是这两周成都这个气温实在不怎么适合试车不光是我,就连我老爸都说,他印象里成都从来没有这么热过,更没。
  • 战无不胜是什么意思
  • 2024-11-05战无不胜是什么意思战无不胜[zhànwúbùshèng]【解释】:形容强大无比,可以战胜一切也比喻办任何事情都能成功【出自】:《战国策·齐策二》:“战无不胜而不知止者,身且死,爵且后归,犹为蛇足也”。
  • 手法娴熟 技术精湛什么意思
  • 2024-11-05手法娴熟 技术精湛什么意思手法娴熟,技术精湛,这句话的意思就是指一个人操作某一个东西的手法非常的熟悉,非常的精炼,同时技术也特别的精湛,形容就是很熟悉。
  • 三观不合一般指哪三观(为什么叫三观不合)
  • 2024-11-05为什么叫三观不合为什么叫三观不合,为什么不是四观不合或者是五观不合呢?这还得从头说起起,先来说说三观,我们和人相处,首先叫我们心动的是对方的长相,也就是五官不管是帅男的还是美女,我们看了都饱眼福,还不自觉地自言自语一。