# -*- coding: utf-8 -*-
"""
获取实时汇率
Created on Fri Oct 18 13:11:40 2013 @author: alala
""" import httplib
import re
import MySQLdb
import datetime URL = 'fx.cmbchina.com' #网站名
PATH = '/hq/' #页面路径
HOST = 'localhost' #数据库地址(ip)
DB = "money" #数据库名称
USER = 'root' #数据库用户名
PSWD = 'sheet' #数据库密码 httpClient = None try:
#抓去网页内容
httpClient = httplib.HTTPConnection(URL, 80, timeout=30)
httpClient.request('GET', '/hq/')
response = httpClient.getresponse()
html = response.read()
#print html #用正则表达式抓去汇率数据
reg = re.compile(r"""
<tr>\s*<td\s+class="fontbold">\s*(?P<name>\S+)\s*</td>\s* #交易币
<td\s+align="center">\s*(?P<unit>\d+)\s*</td>\s* #交易币单位
<td\s+align="center"\s+class="fontbold">\s*(?P<base>\S+)\s*</td>\s* #基本币
<td\s*class="numberright">\s*(?P<midPrice>\d+\.\d+)\s*</td>\s* #中间价
<td\s*class="numberright">\s*(?P<sellPrice>\d+\.\d+)\s*</td>\s* #卖出价
<td\s*class="numberright">\s*(?P<buyPrice1>\d+\.\d+)\s*</td>\s* #现汇买入价
<td\s*class="numberright">\s*(?P<buyPrice2>\d+\.\d+)\s*</td>\s* #现钞买入价
<td\s*align="center">\s*(?P<time>\d+:\d+:\d+)\s*</td>\s* #时间
""", re.MULTILINE | re.X)
rows = reg.findall(html)
#打印汇率数据
for r in rows:
print ','.join(map(str,r)), '\n' #数据库操作
#确保mysqldb已经安装,可以用下面的命令安装
#pip install MySQL-python #建立和数据库系统的连接
conn = MySQLdb.connect(host=HOST, user=USER,passwd=PSWD) #获取操作游标
cursor = conn.cursor()
#执行SQL,创建一个数据库.
cursor.execute("CREATE DATABASE IF NOT EXISTS " + DB) #选择数据库
conn.select_db(DB);
#执行SQL,创建一个数据表.
cursor.execute("""CREATE TABLE IF NOT EXISTS exchange_rate(
name VARCHAR(50) COMMENT '交易币' PRIMARY KEY,
unit INT COMMENT '交易币单位',
base VARCHAR(50) COMMENT '基本币',
midPrice FLOAT COMMENT '中间价',
sellPrice FLOAT COMMENT '卖出价',
buyPrice1 FLOAT COMMENT '现汇买入价',
buyPrice2 FLOAT COMMENT '现钞买入价',
time DATETIME COMMENT '时间' ) """)
records = []
for r in rows:
(name,unit,base,midPrice,sellPrice,buyPrice1,buyPrice2,time) = r
time = datetime.datetime.strptime(datetime.datetime.now().strftime('%Y-%m-%d')
+ " " + time,'%Y-%m-%d %H:%M:%S')
record = (name,int(unit),base,float(midPrice),float(sellPrice),
float(buyPrice1),float(buyPrice2),time)
records.append(record)
#print records
#更新汇率
cursor.executemany("REPLACE exchange_rate VALUES(%s,%s,%s,%s,%s,%s,%s,%s)"
,records);
conn.commit() #关闭连接,释放资源
cursor.close(); except Exception,e:
print e
finally:
if httpClient:
httpClient.close()

python抓取汇率的更多相关文章

  1. Python 抓取网页并提取信息(程序详解)

    最近因项目需要用到python处理网页,因此学习相关知识.下面程序使用python抓取网页并提取信息,具体内容如下: #---------------------------------------- ...

  2. 使用 Python 抓取欧洲足球联赛数据

    Web Scraping在大数据时代,一切都要用数据来说话,大数据处理的过程一般需要经过以下的几个步骤    数据的采集和获取    数据的清洗,抽取,变形和装载    数据的分析,探索和预测    ...

  3. python抓取性感尤物美女图

    由于是只用标准库,装了python3运行本代码就能下载到多多的美女图... 写出代码前面部分的时候,我意识到自己的函数设计错了,强忍继续把代码写完. 测试发现速度一般,200K左右的下载速度,也没有很 ...

  4. python抓取网页例子

    python抓取网页例子 最近在学习python,刚刚完成了一个网页抓取的例子,通过python抓取全世界所有的学校以及学院的数据,并存为xml文件.数据源是人人网. 因为刚学习python,写的代码 ...

  5. Python抓取页面中超链接(URL)的三中方法比较(HTMLParser、pyquery、正则表达式) &lt;转&gt;

    Python抓取页面中超链接(URL)的3中方法比较(HTMLParser.pyquery.正则表达式) HTMLParser版: #!/usr/bin/python # -*- coding: UT ...

  6. 如何用python抓取js生成的数据 - SegmentFault

    如何用python抓取js生成的数据 - SegmentFault 如何用python抓取js生成的数据 1赞 踩 收藏 想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓 ...

  7. 关于python抓取google搜索结果的若干问题

    关于python抓取google搜索结果的若干问题     前一段时间一直在研究如何用python抓取搜索引擎结果,在实现的过程中遇到了很多的问题,我把我遇到的问题都记录下来,希望以后遇到同样问题的童 ...

  8. 用python抓取智联招聘信息并存入excel

    用python抓取智联招聘信息并存入excel tags:python 智联招聘导出excel 引言:前一阵子是人们俗称的金三银四,跳槽的小朋友很多,我觉得每个人都应该给自己做一下规划,根据自己的进步 ...

  9. python抓取月光博客的全部文章而且依照标题分词存入mongodb中

    猛击这里:python抓取月光博客的全部文章

随机推荐

  1. Sql Server系列:存储过程

    1 存储过程简介 存储过程是使用T-SQL代码编写的代码段.在存储过程中,可以声明变量.执行条件判断语句等其他编程功能.在MS SQL Server 2012中存储过程主要分三类:系统存储过程.自定义 ...

  2. Javascript之confirm的用法

    confirm函数 confirm函数用于提供确认功能,它首先显示给定的message参数所包含的信息,并提供两个可选择的回答“ok”和“cancel”,然后等待用户选择其中的一个.如果用户选择“ok ...

  3. debian7.8 安装 chm

    一.CHMSEE 这个比较常见了,呵呵. 安装: sudo apt-get install chmsee 之后在应用程序附件中就可以看到了. 问题1: 启动不了或者出现 chmsee: error w ...

  4. (转载)word-wrap,word-break,white-space,text-overflow的区别和用法

    在div中,文本布局经常出现,换行混乱的情况.问题表现:1.如果是全英文字符串,中间不包含任何符号(包括空格),不自动换行.           2.中英文混写,则在英文字符串的开始处换行(英文长度& ...

  5. 用FireMonkey写QQ皮肤

    这是运行在Windows平台的效果,同样不需要改一行代码就可以运行在Mac Os,并且效果完全相同: 用FireMonkey做界面速度非常快,其提供的Effect ,Filter,Animation等 ...

  6. WebUI框架

    Telerik Kendo UI http://demos.telerik.com/kendo-ui/window/right-to-left-support

  7. Spring再学习

    一.主要版本变更 框架最早发布于2004年,其后发布了几个重大的版本更新:在Spring 2.0中提供对XML命名空间和AspectJ的支持:Spring 2.5中新增了注解驱动的配置:在Spring ...

  8. Sublime 3 and Python

    1. 安装Anaconda插件 Ctrl+Shift+P打开控制面板,找到Install Package,回车 在弹出框中输入Anaconda,回车安装即可. 2.配置Anaconda文件 Prefe ...

  9. C#多线程编程(2)-- async,await基本用法

    上一章我简单介绍了异步编程的基本方法,推荐使用的方式是Task.Task是对线程池的封装,并且可以对Task使用async和await关键字.这两个关键字的使用非常简单,那么这两个关键字究竟起什么作用 ...

  10. @vue/cli 3.0 使用 svg-sprite-loader 加载本地 SVG 文件

    目录 @vue/cli 3.0 使用 svg-sprite-loader 加载本地 SVG 文件 运行 使用 配置 svg-sprite-loader 调用当前环境下的颜色 props @vue/cl ...