本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点:

1、爬虫调度入口(crawler_main.py)

# coding:utf-8
from com.wenhy.crawler_baidu_baike import url_manager, html_downloader, html_parser, html_outputer print "爬虫百度百科调度入口" # 创建爬虫类
class SpiderMain(object): # 初始化 url管理器 html下载器 解析器 输出器
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.output = html_outputer.HtmlOutput() def craw(urls, downloader, parser, output, root_url):
# 计数
count = 1
# 添加url到url管理器中
urls.add_new_url(root_url)
# 判断是否有新的URL
while urls.has_new_url():
try: # 获取新的URL
new_url = urls.get_new_url()
print 'crawler %d : %s' % (count, new_url)
# 下载html页面数据
html_cont = downloader.download(new_url)
# 解析页面得到新的url列表,新的数据
new_urls, new_data = parser.parser(new_url, html_cont)
# 把解析到的url数组批量添加到url管理器中
urls.add_new_urls(new_urls)
# 收集数据
output.collect_data(new_data)
# 爬虫1000页面
if count == 500:
break
count = count + 1 except Exception as e:
print 'Crawler Failed ', e output.output_html() if __name__ == '__main__':
# 入口URL 百度百科地址
root_url = "http://baike.baidu.com/item/Python"
# 创建爬虫
obj_spider = SpiderMain()
# 启动爬虫
craw(obj_spider.urls, obj_spider.downloader, obj_spider.parser, obj_spider.output, root_url) 2、封装URL管理器(url_manager.py)
# coding:utf-8

print "URL管理器"

class UrlManager(object):

    # 初始化url容器(set集合)
def __init__(self):
self.new_urls = set()
self.old_urls = set() # 添加一个新的待爬取url
def add_new_url(self, url): if url is None:
return # 判断url不在新的url集合中也不再旧的url集合中 说明是一个全新的url
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url) # 批量添加解析页面的URL
def add_new_urls(self, urls): if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url) # 判断是否有新的待爬取的url
def has_new_url(self):
# 如果新的url集合里面len不等于0 说明有待爬取的url
return len(self.new_urls) != 0 # 获得url地址
def get_new_url(self):
# 获取url并移除当前url
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url 3、HTML下载器(html_downloader.py)
# coding:utf-8

import urllib2
print "下载HTML" class HtmlDownloader(object): def download(self, url):
# 判断是否为空
if url is None:
return None
# 下载url
response = urllib2.urlopen(url)
# 判断返回结果是否为200
if response.getcode() != 200:
return None
# 成功 返回页面内容
return response.read() 4、HTML 解析器(html_parser.py)
# coding:utf-8

from bs4 import BeautifulSoup
import re
import urlparse print "HTML 解析器" class HtmlParser(object): def _get_new_urls(self, page_url, soup): # 创建一个集合保存页面解析出来的所有url
new_urls = set()
# /item/ 词条url
links = soup.find_all('a', href=re.compile(r'/item/'))
for link in links:
# 获取连接
new_url = link['href']
# url拼接
new_full_url = urlparse.urljoin(page_url, new_url)
# print 'new_full_url', new_full_url
# 添加到集合中url
new_urls.add(new_full_url)
return new_urls def _get_new_data(self, page_url, soup):
# 定义一个dict 集合
res_data = {} res_data['url'] = page_url
# < dd class ="lemmaWgt-lemmaTitle-title" >< h1 > 自由软件 < / h1 >
title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
res_data['title'] = title_node.get_text()
# <div class="lemma-summary" label-module="lemmaSummary">
summary_node = soup.find('div', class_='lemma-summary')
res_data['summary'] = summary_node.get_text() return res_data # 解析器
def parser(self, page_url, html_content): if page_url is None or html_content is None:
return # 使用BeautifulSoup 解析html页面
soup = BeautifulSoup(html_content, 'html.parser', from_encoding='utf-8')
new_urls = self._get_new_urls(page_url, soup)
new_data = self._get_new_data(page_url, soup)
return new_urls, new_data 5、HTML 输出页面(html_outputer.py)
# coding:utf-8

print "HTML 输出页面"

class HtmlOutput(object):

    def __init__(self):
self.datas = [] # 收集数据
def collect_data(self, data):
if data is None:
return
self.datas.append(data) # 展示数据
def output_html(self): fout = open('output.html', 'w') fout.write('<html>')
fout.write('<head>')
fout.write('<meta http-equiv="Content-Type" content="text/html;charset=utf-8">')
fout.write('</head>')
fout.write('<body>')
fout.write('<table border="1">')
for data in self.datas:
fout.write('<tr>')
fout.write('<td><a href = "%s">%s</a></td>' % (data['url'].encode('utf-8'), data['title'].encode('utf-8')))
fout.write('<td>%s</td>' % data['summary'].encode('utf-8'))
fout.write('</tr>')
fout.write('</table>')
fout.write('</body>')
fout.write('</html>') fout.close() 总结:python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器
同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。

python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器 同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。的更多相关文章

  1. python基础知识回顾之列表

    在python 中,主要的常用数据类型有列表,元组,字典,集合,字符串.对于这些基础知识,应该要能够足够熟练掌握. 如何创建列表: # 创建一个空列表:定义一个变量,然后在等号右边放一个中括号,就创建 ...

  2. Python+Selenium之断言对应的元素是否获取以及基础知识回顾

    # coding=utf-8 from selenium import webdriver driver = webdriver.Firefox() driver.maximize_window () ...

  3. python基础知识回顾之字符串

    字符串是python中使用频率很高的一种数据类型,内置方法也是超级多,对于常用的方法,还是要注意掌握的. #author: Administrator #date: 2018/10/20 # pyth ...

  4. python基础知识梳理----6set 集合的应用

    集合内容简介: set 一: 集合简介 集合set集合是python的一个基本数据类型.一般不是很常用set.中的元素是不重复的.无序的.里里面的元素必须是可hash的tuple,bool),str, ...

  5. java基础知识回顾之java Thread类学习(五)--java多线程安全问题(锁)同步的前提

    这里举个例子讲解,同步synchronized在什么地方加,以及同步的前提: * 1.必须要有两个以上的线程,才需要同步. * 2.必须是多个线程使用同一个锁. * 3.必须保证同步中只能有一个线程在 ...

  6. python基础知识回顾之元组

    元组与列表的方法基本一样,只不过创建元组是用小括号()把元素括起来,两者的区别在于,元组的元素不可被修改. 元组被称为只读列表,即数据可以被查询,但不能被修改,列表的切片操作适用于元组. 元组写在小括 ...

  7. python基础知识回顾[1]

    1.声明变量 # 声明一个变量name用来存储一个字符串'apollo' name = 'apollo' # 声明一个变量age用来存储一个数字20 age = 20 # 在控制台打印变量name中存 ...

  8. 1.13 Python基础知识 - 字典和集合

    一.字典 字典是一组键-值对的数据结构.每个键对应一个值.在字典中,键不能重复.根据键可以查询到值.字典是键和值的映射关系 字典的定义: 字典通过花括号中用逗号分隔的元素(键-值.键-值对使用冒号分隔 ...

  9. 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(1): 基础知识Beautiful Soup

    开始学习网络数据挖掘方面的知识,首先从Beautiful Soup入手(Beautiful Soup是一个Python库,功能是从HTML和XML中解析数据),打算以三篇博文纪录学习Beautiful ...

随机推荐

  1. python 学习笔记十七 django深入学习二 form,models

    表单 GET 和 POST 处理表单时候只会用到GET 和 POST 方法. Django 的登录表单使用POST 方法,在这个方法中浏览器组合表单数据.对它们进行编码以用于传输.将它们发送到服务器然 ...

  2. 【RabbitMQ】RabbitMQ在Windows的安装和简单的使用

    版本说明 使用当前版本:3.5.4 安装与启动 在官网上下载其Server二进制安装包,在Windows上的安装时简单的,与一般软件没什么区别. 安装前会提示你,还需要安装Erlang,并打开下载页面 ...

  3. Failed to install on device ‘emulator-5554′: timeout

    启动android模拟器时候如果提示:Failed to install on device ‘emulator-5554′: timeout 这是可能因为卡的原因导致启动超时,解决办法:eclips ...

  4. [Android Memory] Android Zipalign zip对齐优化app程序

    转载地址:http://www.cnblogs.com/xirihanlin/archive/2010/04/12/1710164.html 参考文章:http://www.cnblogs.com/l ...

  5. 关于Win7 64位 mysql 5.7下载安装问题

    1.从官网下载mysql: 网址:http://dev.mysql.com/downloads/mysql/ 这是我们要找的,win7 64位 点击下载: 出现如图所示,我们不必要登录注册,点击红线内 ...

  6. uva 725 Division(暴力模拟)

    Division 紫书入门级别的暴力,可我还是写了好长时间 = = [题目链接]uva 725 [题目类型]化简暴力 &题解: 首先要看懂题意,他的意思也就是0~9都只出现一遍,在这2个5位数 ...

  7. sharedPreferences存储数据

    sharedPreferences使用的是键值对的方式存储数据. 1.Android中三种获取sharedPreferences的方式 1)Context 类中的getSharedPreference ...

  8. 微信公众平台开发实战Java版之如何网页授权获取用户基本信息

    第一部分:微信授权获取基本信息的介绍 我们首先来看看官方的文档怎么说: 如果用户在微信客户端中访问第三方网页,公众号可以通过微信网页授权机制,来获取用户基本信息,进而实现业务逻辑. 关于网页授权回调域 ...

  9. java中调用三方接口post传参时map和jsonobject的区别转换

    post方法名及参数为:(具体方法可参考https://www.cnblogs.com/mufengforward/p/10510337.html) public static String doPo ...

  10. sqli-labs安装

      平台:Win7 SP1     需要准备的东西:   1. Sqli-labs ,下载地址: https://github.com/Audi-1/sqli-labs   2.phpstudy   ...