Web Crawling Node.js Code - 2

http-req04.js

var client = require('cheerio-httpcli');

var request = require('request');

var fs = require('fs');

var urlType = require('url');

//저장할 디렉터리가 없으면 생성

var savedir = __dirname + '/img';

//var savedir = '/img';

if(!fs.existsSync(savedir)){

  fs.mkdirSync(savedir);

}

//URL 지정

var url = 'https://ko.wikipedia.org/wiki/' + encodeURIComponent('강아지');

var param = {};

//html 파일 획득

client.fetch(url, param, function(err, $, res){

  if(err) {console.log(err); return;}

  //img 링크 추출 후 함수 실행

  $('img').each(function(idx){

    var src = $(this).attr('src');

    //상대 경로 -> 절대 경로

    src = urlType.resolve(url, src);

    //저장 파일 이름 설정

    var fname = urlType.parse(src).pathname;

    fname = savedir + '/' + fname.replace(/[^a-zA-Z0-9\.]+/g, '_');

    //다운로드

    request(src).pipe(fs.createWriteStream(fname));

  });

});

http-req06.js

var client = require('cheerio-httpcli');

var request = require('request');

var fs = require('fs');

var urlType = require('url');

//저장할 디렉터리가 없으면 생성

//var savedir = _ _dirname + '/img';

var savedir = '/img';

if(!fs.existsSync(savedir)){

  fs.mkdirSync(savedir);

}

//URL 지정

var url = 'http://search.khan.co.kr/search.html?stb=photo&q=' + encodeURIComponent('강아지');

var param = {};

//html 파일 획득

client.fetch(url, param, function(err, $, res){

  if(err) {console.log(err); return;}

  //img 링크 추출 후 함수 실행

  $('img').each(function(idx){

    var src = $(this).attr('src');

    //상대 경로 -> 절대 경로

    src = urlType.resolve(url, src);

    //저장 파일 이름 설정

    var fname = urlType.parse(src).pathname;

    fname = savedir + '/' + fname.replace(/[^a-zA-Z0-9\.]+/g, '_');

    //다운로드

    request(src).pipe(fs.createWriteStream(fname));

  });

});