爬虫小实例

一、问题描述与分析

    Q:查询某一只股票,在百度搜索页面的结果的个数以及搜索结果的变化。

    分析:

      搜索结果个数如下图:

      搜索结果的变化:通过观察可以看到,每个一段时间搜索结果的个数是有所变化的,因为百度的搜索结果是听过关

      键字来提供搜索结果的。对此我们从以下结果方面考虑:1、该只股票在近期内有较为明显的波动,对此,含有

      该股票代码的相关信息增多;2、通过观察搜索结果,存在很多以下标识的网站:

      此类标识的网站为广告网站,在考虑分析时,我们可以将其排除。

    A:通过前面“Python爬虫”这一文章,我们也分别从以下:抓取页面、分析页面和存储数据三方面来解决本实例的一些

      技术的实现问题。

二、一些问题

  1、完成的可运行的程序源码,放在个人的Github的Hazy-star这个库中,以下是Github链接:Hazy-star_Python

  2、程序中一些调用的库的使用,具体参考相关库的官方文档

  3、程序中可能仍然存在较多的纰漏以及值得完善的地方,有待大家指正

  4、实例中不涉及具体的数据的分析研究,只关心如何实现数据的获取。以及需要的一些有效数据的提取。

三、爬虫实例的实现

  百度搜索规则语法:

    http://www.baidu.com/s?wd=' 关键字 '+&pn=' + str(搜索页面数)

  抓取页面

    查询功能:baiduText(code, num) 实现输入code(股票代码),num(搜索页面的页数),返回相应的搜索页面

 #coding=utf-8
import socket
import urllib.request
import urllib.error def baiduText(code, num):
url = 'http://www.baidu.com/s?wd=' + code + '&pn=' + str(num)
try:
response = urllib.request.urlopen(url, timeout = 10)#下载页面,设定延迟10s
return response.read().decode('gbk', ‘ignore’).encode('utf-8')
except urllib.error.URLError as e: #抛出异常
if isinstance(e.reason, socket.timeout):
print('TIME OUT')

  分析页面

    通过对页面的抓取,我们可以将相应股票代码和搜索页面的HTML文档下载下来,接下来是对页面的分析,我们研究的是,为什么每个一段时间,搜索结果会发生变化,所以,我们考虑将每个搜索页面中搜索结果的标题以及url提取出来,存放在地点数据中,供后续的分析使用。

    首先查找页面搜索结果

    

 #coding=utf-8
from bs4 import BeautifulSoup
#全部的收缩结果
def parseHtml(text):
soup = BeautifulSoup( text, features="lxml" )
tags = soup.find_all( 'span' )
#寻找所有的span标签
for tag in tags:
cont = tag.string
if( cont is not None and cont.startswith( '百度为您找到相关结果约' )):
#此处可进行查询优化
cont = cont.lstrip( '百度为您找到相关结果约' )
cont = cont.rstrip( '个' )
cont = cont.replace( ',', '' )
return eval(cont)

  打印搜索结果标题以及URL,对此我们使用字典进行存储提取后的数据

 #coding=utf-8
from bs4 import BeautifulSoup
def printurl(text):
#打印出所有搜索结果中网站的URl以及网站名字
soupurl = BeautifulSoup( text, features="lxml" )
#通过分析,搜索结果的标题都是存放在h3中的
tagsurl = soupurl.find_all( 'h3' )
#使用循环将网站以及对应的url传入到字典中
dicturl = {}
for tagurl in tagsurl:
url = [x['href'] for x in tagurl.select('a')][0]
#使用列表生成式子,以及select方法提取搜索结果的url
dicturl.update({tagurl.get_text():url})
return dicturl

  考虑到前面分析时,存在着广告搜索结果的影响,我们对含有广告标识的页面数量进行分析

 #coding=utf-8
from bs4 import BeautifulSoup
def printurl(text):
#打印出所有搜索结果中网站的URl以及网站名字
soupurl = BeautifulSoup( text, features="lxml" )
#通过分析,搜索结果的标题都是存放在h3中的
tagsurl = soupurl.find_all( 'h3' )
#使用循环将网站以及对应的url传入到字典中
dicturl = {}
for tagurl in tagsurl:
url = [x['href'] for x in tagurl.select('a')][0]
#使用列表生成式子,以及select方法提取搜索结果的url
dicturl.update({tagurl.get_text():url})
return dicturl

  然后对定义函数,用于判断是否搜索到结果的最后一面

 #coding=utf-8
from bs4 import BeautifulSoup
def EndSel(text):
#用于结束搜索的函数
flag = True
temp = []
soupEnd = BeautifulSoup( text, features="lxml" )
#通过分析,搜索结果的标题都是存放在h3中的
tagsEnd = soupEnd.find_all( 'a' )
for tagEnd in tagsEnd:
temp.append(tagEnd.string)
if('下一页>' not in temp):
flag = False
return flag

  下载页面

    通过对下载的页面数据的分析,使用SaveDict(Dict) 实现将抓取的信息存在在的字典再存储到txt文件中,dict相当于我们使用的关系型的数据库。

  def saveDict(dict):
# 将字典保存问txt文件
file = open('dict.txt', 'a')
for k,v in dict.items():
file.write(k+'\n'+v+'\n')
file.close()

四、总结

  对于小型的爬虫的创建,我们基本依照上面的基本进行构建即可。示例总未展出主函数,完整的代码见 Github ,主函数主要编写对这些模块的调用,以及逻辑的构建。对于大型的爬虫,在每一部分可能遇到的问题有:

  1、在抓取页面时,有些网站可能有反爬机制,会对爬虫进行拦截,这时我们可能需要使用到代理,避免同一IP反复高频率访问网站被拦截

  2、在分析页面时,有写网站会对HTML页面进行JS加密等,进行计算机爬虫自动爬取,此些页面需要仔细分析其内在逻辑,才能抓取到真正的数据

  3、数据存储,小规模的爬取我们可以使用文件存储,当遇到大规模的数据爬取,我们就需要进行数据库的存储,方便我们或许分析处理数据

  4、对于单一爬虫,即便使用个人PC也可以运行,但是对于大规模的爬虫,我们可能需要考虑分布式布置爬虫进行数据的爬取,以提高数据搜集的效率

  5、对于爬虫中一些高级的运用,后续会再更新,包括一些常见的页面加密解析以及使用代理,模拟分布式、爬取App数据等。

2019-05-16

Python_爬虫小实例的更多相关文章

  1. python爬虫小实例

    1.python爬取贴吧壁纸 1.1.获取整个页面数据 #coding=utf-8 import urllib def getHtml(url): page = urllib.urlopen(url) ...

  2. Python(五)编程小实例

    Python(五)编程小实例 抓取网页信息,并生成txt文件内容! Python抓取网页技能--Python抓取网页就是我们常看见的网络爬虫,我们今天所要用到的就是我们Python中自带的模块,用这些 ...

  3. winform 异步读取数据 小实例

    这几天对突然对委托事件,异步编程产生了兴趣,大量阅读前辈们的代码后自己总结了一下. 主要是实现 DataTable的导入导出,当然可以模拟从数据库读取大量数据,这可能需要一定的时间,然后 再把数据导入 ...

  4. 基于webmagic的爬虫小应用--爬取知乎用户信息

    听到“爬虫”,是不是第一时间想到Python/php ? 多少想玩爬虫的Java学习者就因为语言不通而止步.Java是真的不能做爬虫吗? 当然不是. 只不过python的3行代码能解决的问题,而Jav ...

  5. 一个python爬虫小程序

    起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么“装饰器”啊.“多线程”啊都没有学到. 想到廖雪峰大神的python教程很经典.很著名.就想找找有木有pdf版的 ...

  6. CSS应用内容补充及小实例

    一.clear 清除浮动 <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...

  7. Objective-C之代理设计模式小实例

    *:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...

  8. Objective-C之@类别小实例

    *:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...

  9. OC小实例关于init方法不小心的错误

    *:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...

随机推荐

  1. UIPickerView的使用(二)

    上篇文章 UIPickerView的使用(一)学习了如何创建单列选择器,现在看一下如何创建多列选择器 多列选择器(以二列为例) 1.遵守协议和创建两个数据源 2.创建pickView 3.实现代理 / ...

  2. java中的tuple实现

    java中没有类似c#.scala中的tuple元组类,只能自己动手,丰衣足食了,见下面的代码: Tuple 抽象类 import java.util.Optional; /** * Tuple元组类 ...

  3. oracle 客户端单独配置

    本文目的是在CentOS 5.3上安装Oracle 11.2 instant client来访问远端的Oracle 10.2数据库,笔者测试通过,应该也适用于Redhat Linux 5.x     ...

  4. BZOJ3052——糖果公园

    0.题目链接:http://www.lydsy.com/JudgeOnline/problem.php?id=3052 1.题目大意:给定一颗n个点的无根树,每个点有一个颜色,要进行q次操作,有两种操 ...

  5. sharepoint 2010 masterpage中必须的Content PlaceHolder

    Professional SharePoint 2010 Branding and Use

  6. BZOJ1135: [POI2009]Lyz

    1135: [POI2009]Lyz Time Limit: 10 Sec  Memory Limit: 162 MBSubmit: 264  Solved: 106[Submit][Status] ...

  7. 解决ubuntu下的firefox无法在线播放音频和视频的问题

    一贯无视 Linux 平台的腾讯(无贬义)理所当然地没有开发QQ音乐Linux版,于是想尝试QQ音乐网页版,结果发现歌曲无法播放.刚开始以为是腾讯还在网页版上用万恶的 Windows Media Pl ...

  8. GCD HDU - 2588

    输入 N 和 M (2<=N<=1000000000, 1<=M<=N), 找出所有满足1<=X<=N 且 gcd(X,N)>=M 的 X 的数量. Inpu ...

  9. mapreduce中获取输入文件的路径

    InputSplit inputSplit = context.getInputSplit(); String fileName = ((FileSplit) inputSplit).getPath( ...

  10. pip_install的安装

    1.下载get-pip.py https://pip.pypa.io/en/latest/installing/#id9 2.运行 python get-pip.py 3.python -m pip ...