Advertisement

node.js 爬虫 小红书 评论区

阅读量:

观察到目前爬虫相关的知识热度依然较高,近期一直在加强对JS方面的学习。这两天在尝试用脚本模拟爬取BOSS直聘信息时,也思考如何运用nodejs进行开发,但昨天未能更新文章,Q-Q,因为一直遇到失败的情况,未能取得实质性的进展。

所采用的模块

从这里可以看出,实际使用到的模块数量不少,但核心部分主要依赖于http和https模块,这两个模块在进行信息爬取时操作起来相对便捷。

复制代码
 var http=require('http');

    
 var https=require('https');
    
 var _=require('lodash')
    
 const { createObjectCsvWriter } = require('csv-writer');
    
 const download=require('download')
    
    
    
    
复制代码
 const csvWriter = createObjectCsvWriter({

    
     path: 'comments.csv',
    

全部评论 (0)

还没有任何评论哟~