「HTML5,CSS3」分享一个免费易用的云端爬虫开发平台

爬虫是用JS写的,会正则表达式和JsonPath的人稍微看下开发的文档就能写出爬虫了。 使用起来也很简单,不需要安装环境,是在云上运行的。

var configs = {
    domains: ["www.qiushibaike.com"],
    scanUrls: ["http://www.qiushibaike.com/"],
    contentUrlRegexes: ["http://www\\.qiushibaike\\.com/article/\\d+"],
    fields: [
        {
            name: "content",
            selector: "//*[@id='single-next-link']",
            required: true
        },
        {
            name: "author",
            selector: "//div[contains(@class,'author')]//h2"
        }
    ]
};
var crawler = new Crawler(configs);
crawler.start();

神箭手云爬虫官网地址:http://www.shenjianshou.cn/

爬虫开发教程文档:http://doc.shenjianshou.cn/

爬虫demo源码:https://github.com/ShenJianShou/crawler_samples

回答
暂无回答
我来回答
无用回答
问题修改记录
暂无修改记录
广告位 点击查看投放指南

我的收藏