共 2 条评论关于"5分钟教你使用Node+Express爬取他人网站数据"
最新评论
经常听闻别人说爬数据,是不是觉得很牛逼的样子,其实前端通过node.js爬取数据也很简单,在此牺牲一下 CNode 社区(国内最专业的 Node.js 开源技术社区),教大家怎么去爬它了。
当在浏览器中访问 http://localhost:3000/ 时,输出 CNode(https://cnodejs.org/ ) 社区首页的所有帖子标题和链接,以 json 的形式。
1 2 3 4 5 6 7 8 9 10 | [ { "title": "【公告】发招聘帖的同学留意一下这里", "href": "http://cnodejs.org/topic/541ed2d05e28155f24676a12" }, { "title": "发布一款 Sublime Text 下的 JavaScript 语法高亮插件", "href": "http://cnodejs.org/topic/54207e2efffeb6de3d61f68f" } ] |
安装 expresssuperagent 和 cheerio。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | var express = require('express'); var cheerio = require('cheerio'); var superagent = require('superagent'); var app = express(); app.get('/', function (req, res, next) { // 用 superagent 去抓取 https://cnodejs.org/ 的内容 superagent.get('https://cnodejs.org/') .end(function (err, sres) { // 常规的错误处理 if (err) { return next(err); } // sres.text 里面存储着网页的 html 内容,将它传给 cheerio.load 之后 // 就可以得到一个实现了 jquery 接口的变量,我们习惯性地将它命名为 `$` // 剩下就都是 jquery 的内容了 var $ = cheerio.load(sres.text); var items = []; $('#topic_list .topic_title').each(function (idx, element) { var $element = $(element); items.push({ title: $element.attr('title'), href: $element.attr('href') }); }); res.send(items); }); }); app.listen(3000, function () { console.log('app is listening at port 3000'); }); |
1 | 运行方式 node app.js + 回车 |
最新评论
支付宝扫一扫打赏
微信扫一扫打赏
大佬在学后端了么?
@不吃鱼的猫前端还是要懂点后端的