node.js是前端程序员不可不学的一个框架，我们可以通过它来爬取数据、发送邮件、存取数据等等。下面我们通过koa2框架简单的只有一个小爬虫并使用定时任务来发送小邮件！

　　首先我们先来看一下效果图

　　差不多就是这样，其实之前已经有人做了类似的东西，我也只是想自己操作一遍，练习一下koa2框架，async+await，以及爬虫、定时器和发送邮件。下面我将带着各位刚刚学习node的小童鞋进入这个世界。

1.我们先来看一看这个项目用到的框架和依赖

  1. koa2框架--基于Node.js平台的下一代web开发框架，也就是我们的开发载体
  2. ejs--嵌入式JavaScript模板引擎
  3. superagent--客户端请求代理模块
  4. cheerio--抓取网页数据模块
  5. node-schedule--任务调度器模块（定时器）
  6. nodemailer--邮件发送模块

　　差不多就是这些模块，首先来初始化koa2项目,并进入目录

npm install -g koa-generator

koa2 test_koa

cd test_koa

　　然后安装各种依赖

npm install ejs superagent cheerio node-schedule nodemailer --save

2.编辑ejs模板

　　因为我们要展示最近三天的编号、天气、温度、污染程度、以及one网站的图片、图片来源和鸡汤。所以按照我们想要表现的数据编写ejs模板。这里我们留下待使用的数据接口，想要详细学习请点击ejs官方网站。

3.接下来我们编写util工具方法集

　　首先引入方法需要的依赖

const cheerio = require('cheerio');

const superagent = require('superagent');

const nodemailer = require('nodemailer');

　　具体是做什么的上面已经提及

1.首先编写爬虫爬取one网站的页面，然后获取第一张图片也就是今天的图片。

module.exports.getOneData = async (url) => {

  return new Promise( resolve => {

    superagent.get(url).end((err,res)=>{

      if(err){

        return err

      }

      let $ = cheerio.load(res.text);

      let selectItem = $('#carousel-one .carousel-inner .item');

      let todayOne = selectItem[0];

      let todayOneData = {

        imgUrl: $(todayOne).find('.fp-one-imagen').attr('src'),

        type: $(todayOne).find('.fp-one-imagen-footer').text().replace(/(^\s*)|(\s*$)/g,""),

        text: $(todayOne).find('.fp-one-cita').text().replace(/(^\s*)|(\s*$)/g,""),

      }

      resolve(todayOneData)

    })

  })

}

　　因为superagent.get(url).end方法是一个异步的方法，所以我们使用async方法返回一个Promise对象，superagent.get(url)中的url为客户端请求代理模块路径。end方法中有两个参数，第一返回错误，第二个是获取的网页结果对象，res.text就是网页源码。接下来使用cheerio模块转化整个网页源代码成jquery模式。

let $ = cheerio.load(res.text);

　　之后分别获取图片路径、图片来源和鸡汤文

imgUrl: $(todayOne).find('.fp-one-imagen').attr('src'),

type: $(todayOne).find('.fp-one-imagen-footer').text().replace(/(^\s*)|(\s*$)/g,""),

text: $(todayOne).find('.fp-one-cita').text().replace(/(^\s*)|(\s*$)/g,""),

　　并封装成对象，.replace(/(^\s*)|(\s*$)/g,"")是清除文本的前后导空格。

2.然后爬取天气预报网站的页面。

　　这个原理和上面的一样就不多做解释，直接贴代码

module.exports.getWeatherData = async (url) => {

  return new Promise( resolve => {

    superagent.get(url).end((err,res)=>{

      if(err){

        return err

      }

      let $ = cheerio.load(res.text);

      let arr = [];

      $('.table_day7').each((index,item)=>{

        if (index < 3) {

          arr.push({

            day: $(item).find('dd:nth-of-type(1)').text(),

            air: $(item).find('dd:nth-of-type(2) b').text(),

            icon: "http:"+$(item).find('dd:nth-of-type(3) img').attr("src"),

            weather: $(item).find('dd:nth-of-type(4)').text(),

            temp: $(item).find('dd:nth-of-type(5)').text().replace(/℃/g,"°"),

          })

        }

      })

      resolve(arr)

    })

  })

}

3.接下来我们编写方法，发送email的天数

module.exports.getDateIndex = () => Math.ceil((new Date().getTime() - 1553085879604) / ( 24 * 60 * 60 *1000 ));

　　先生成一个当天的时间戳，我这里是1553085879604，然后通过这个时间戳计算是第几天发送信息，这个很简单。

4.当天的日期

　　这个也不用说，直接贴代码

module.exports.getToday = () => new Date().getFullYear() + " / " + new Date().getMonth() + " / " + new Date().getDate();

5.我们使用nodemailer模块发送

module.exports.sendEmail = (html) => {

  nodemailer.createTestAccount(() => {

    let transporter = nodemailer.createTransport({

      service: 'qq',

      port: 568,

      secure: false,

      auth: {

        user: '1149967915@qq.com',

        pass: '这里填写你自己的SMTP授权码'

      }

    });

    let mailOptions = {

      from: '"郭志强" <1149967915@qq.com>',

      to: '15045160109@163.com',

      subject: '一碗鸡汤趁热喝！',

      html: html

    };

    transporter.sendMail(mailOptions, (error, info) => {

      if (error) {

        return console.log(error);

      }

      console.log('发送成功----', info.accepted[0], new Date());

    });

  });

}

　　这里需要注意的是auth的pass不是密码，而是SMTP授权码，想知道怎么得到SMTP授权码的点这里。上面这五个方法基本就够了。

4.在项目根目录下创建schedule.js并调用定时器方法

　　这里我们写一个定时器并且调用上面写的方法，首先引入依赖

const schedule = require('node-schedule');

const fs = require('fs');

const path = require('path');

const ejs = require('ejs');

　　接下来引入util工具库中的方法

const { getOneData, getWeatherData, getDateIndex, getToday, sendEmail } = require('./util/index');

　　在调用getOneData方法和getWeatherData方法时。

const oneUrl = "http://wufazhuce.com";

const weatherUrl = "http://www.tianqi.com/beijing/7/";

const oneData = await getOneData(oneUrl);

const weatherData= await getWeatherData(weatherUrl);

　　像上面这样写显然是不合理的，我们并不需要等待getOneData方法执行完才去执行getWeatherData。node社区从不会辜负我们，我们可以采取await Promise.all方法同时执行这两个异步方法。之后是获取ejs模板，并通过接口渲染数据。

const template = ejs.compile(fs.readFileSync(path.resolve(__dirname, 'views/index.ejs'), 'utf8'));

　　最后调用sendEmail方法发送邮件。

sendEmail(html)

　　schedule定时任务模块就不多讲，详情请看点击这里，下面贴上schedule.js所有代码

const schedule = require('node-schedule');

const fs = require('fs');

const path = require('path');

const ejs = require('ejs');

const { getOneData, getWeatherData, getDateIndex, getToday, sendEmail } = require('./util/index');

module.exports = function () {

  //定时任务

  schedule.scheduleJob('0 0 7 * * *', async () => {

    const oneUrl = "http://wufazhuce.com";

    const weatherUrl = "http://www.tianqi.com/beijing/7/";

    const [oneData, weatherData] = await Promise.all([getOneData(oneUrl), getWeatherData(weatherUrl)]);

    const dateIndex = getDateIndex();

    const today = getToday();

    const template = ejs.compile(fs.readFileSync(path.resolve(__dirname, 'views/index.ejs'), 'utf8'));

    let ejsModelObject = {

      oneData: oneData,

      weatherData: weatherData,

      dateIndex: dateIndex,

      today: today,

    }

    const html = template(ejsModelObject);

    sendEmail(html)

  });

}

　　到这里就可以收工了，你也可以给心爱人送上暖心的邮件，这就自由发挥了。感谢大家支持，喜欢就收藏吧。博客园同步更新。

原创博客：转载请注明node.js爬取数据并定时发送HTML邮件

node.js爬取数据并定时发送HTML邮件的更多相关文章

  1. Node.js爬取豆瓣数据

    一直自以为自己vue还可以,一直自以为webpack还可以,今天在慕课逛node的时候,才发现,自己还差的很远.众所周知,vue-cli基于webpack,而webpack基于node,对node不了 ...

  2. node.js爬取ajax接口数据

    爬取页面数据与爬取接口数据,我还是觉得爬取接口数据更加简单一点,主要爬取一些分页的数据. 爬取步骤: 1.明确目标接口地址,举个例子 : https://www.vcg.com/api/common/ ...

  3. node.js抓取数据（fake小爬虫）

    在node.js中,有了 cheerio 模块.request 模块,抓取特定URL页面的数据已经非常方便. 一个简单的就如下 var request = require('request'); va ...

  4. 关于js渲染网页时爬取数据的思路和全过程（附源码）

    于js渲染网页时爬取数据的思路 首先可以先去用requests库访问url来测试一下能不能拿到数据,如果能拿到那么就是一个普通的网页,如果出现403类的错误代码可以在requests.get()方法里 ...

  5. Node.js 抓取电影天堂新上电影节目单及ftp链接

    代码地址如下:http://www.demodashi.com/demo/12368.html 1 概述 本实例主要使用Node.js去抓取电影的节目单,方便大家使用下载. 2 node packag ...

  6. 借助Chrome和插件爬取数据

    工具 Chrome浏览器 TamperMonkey ReRes Chrome浏览器 chrome浏览器是目前最受欢迎的浏览器,没有之一,它兼容大部分的w3c标准和ecma标准,对于前端工程师在开发过程 ...

  7. 【个人】爬虫实践，利用xpath方式爬取数据之爬取虾米音乐排行榜

    实验网站:虾米音乐排行榜 网站地址:http://www.xiami.com/chart  难度系数:★☆☆☆☆ 依赖库:request.lxml的etree (安装lxml:pip install ...

  8. Node.js 本地Xhr取得Node.js服务端数据的例子

    本以为用XHR取Nodejs http出的一段文字很简单,因为xhr取值和nodejs http出文字都是好弄的,谁知一试不是这回事,中间有个关键步骤需要实现. nodejs http出文字显示在浏览 ...

  9. Node.js 返回 JSON 数据

    Node.js 返回 JSON 数据 request.end([data[, encoding]][, callback]) var http = require('http'); const log ...

随机推荐

  1. Slam(即时定位与地图构建) 知识篇

    Slam即时定位与地图构建 技术解释 同步定位与地图构建(SLAM或Simultaneous localization and mapping)是一种概念:希望机器人从未知环境的未知地点出发,在运动过 ...

  2. uva 10271 (dp)

    题意:有n个数据,给定k,要从中选出k+8个三元组(x,y,z,其中x<=y<=z),每选一次的代价为(x-y)^2,求最小代价和. [解题方法] 将筷子按长度从大到小排序 排序原因: 由 ...

  3. phpmyadmin中访问时出现2002 无法登录 MySQL 服务器

    phpmyadmin中访问时出现2002 无法登录 MySQL 服务器! 解决方法如下: 修改phpmyadmin目录中libraries文件夹下的config.default.php文件 $cfg[ ...

  4. Ios cordova安装

    安装NODEJS:http://nodejs.org/ (如果你安装了旧版本的需要手动安装npm,不过最新版的自带了) 进入终端命令行使用npm安装cordova如下: $ sudo npm inst ...

  5. BestCoder Round #67 (div.2) N bulbs（hdu 5600）

    N bulbs Time Limit: 10000/5000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Total Su ...

  6. 从医生看病和快餐店点餐理解Node.js的事件驱动

    第一个例子是关于医生看病. 在美国去看医生,需要填写大量表格,比如保险.个人信息之类,传统的基于线程的系统(thread-based system),接待员叫到你,你需要在前台填写完成这些表格,你站着 ...

  7. js call的方法

    call 方法 请参阅 应用于:Function 对象 要求 版本 5.5 调用一个对象的一个方法,以另一个对象替换当前对象. call([thisObj[,arg1[, arg2[, [,.argN ...

  8. 坑：JavaScript 中 操作符“==” 和“===” 的区别

    标题:JavaScript 中 操作符"==" 和"===" 的区别 记录一些很坑的区别: 1. '' == '0' // false 0 == '' // t ...

  9. 背景图片固定不随页面上下滚动而滚动 ,属性 background-attachment

    <div id="testimonials-section" class="text-center"> </div> css: #tes ...

  10. c# ef

    找出不同项 ).ToList(); resultMsg = string.Join(",", query.select(p=>p.key).ToList())