Web Scraper 真的能满足大多数场景的数据爬取。当我们有多个拥有相同页面结构的URL,想要获取页面的某些特定字段时,可以在创建Sitemap的时候,点击➕号添加多个URL。但是当我们有成百上千个URL时,肯定不想一个个复制粘贴成百上千次,这个时候可以先输入几个URL。

选取好要爬取的字段。

点击Export Sitemap。

复制这段代码,扩展URL。

点击Import Sitemap。

粘贴(成百上千的URL粘贴在代码里)。

点击Scrape后就可以开始爬取数据了。


结果如下:

Web Scraper 真的能满足大多数场景的数据爬取。当我们有多个拥有相同页面结构的URL,想要获取页面的某些特定字段时,可以在创建Sitemap的时候,点击➕号添加多个URL。但是当我们有成百上千个URL时,肯定不想一个个复制粘贴成百上千次,这个时候可以先输入几个URL。

选取好要爬取的字段。

点击Export Sitemap。

复制这段代码,扩展URL。

点击Import Sitemap。

粘贴(成百上千的URL粘贴在代码里)。

点击Scrape后就可以开始爬取数据了。


结果如下:

文章评论