def downloadXml(isExists,filedir,filename):
if not isExists:
os.mkdir(filedir)
local = os.path.join(filedir,filename)
urllib2.urlopen(url,local)

报错:

Traceback (most recent call last):
File "C:\Users\william\Desktop\nova xml\New folder\download_xml.py", line 95, in <module>
downloadXml(isExists,filedir,filename)
File "C:\Users\william\Desktop\nova xml\New folder\download_xml.py", line 80, in downloadXml
urllib.urlretrieve(url,local)
File "E:\Python27\lib\urllib.py", line 98, in urlretrieve
return opener.retrieve(url, filename, reporthook, data)
File "E:\Python27\lib\urllib.py", line 245, in retrieve
fp = self.open(url, data)
File "E:\Python27\lib\urllib.py", line 213, in open
return getattr(self, name)(url)
File "E:\Python27\lib\urllib.py", line 350, in open_http
h.endheaders(data)
File "E:\Python27\lib\httplib.py", line 1053, in endheaders
self._send_output(message_body)
File "E:\Python27\lib\httplib.py", line 897, in _send_output
self.send(msg)
File "E:\Python27\lib\httplib.py", line 859, in send
self.connect()
File "E:\Python27\lib\httplib.py", line 836, in connect
self.timeout, self.source_address)
File "E:\Python27\lib\socket.py", line 575, in create_connection
raise err
IOError: [Errno socket error] [Errno 10060] A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond
>>>

google查找答案,搜索:urlretrieve Errno 10060

在 https://segmentfault.com/q/1010000004386726中提到是:频繁的访问某个网站会被认为是DOS攻击,通常做了Rate-limit的网站都会停止响应一段时间,你可以Catch这个Exception,sleep一段时间然后重试,也可以根据重试的次数做exponential backup off。

想了一个简单的办法,就是每次下载之间加个延时,将代码修改如下:

def downloadXml(isExists,filedir,filename):
if not isExists:
os.mkdir(filedir)
local = os.path.join(filedir,filename)
time.sleep(1)
urllib.urlretrieve(url,local)

执行。 本来是在第80条左右的数据就开始time out,但现在一直执行到2300多条数据。可惜,最后又time out。

这里,若延长延时,将1s改为5s等,虽然可能不会报错,但我想,这样,太费时间了。因为不报错时,也要延时5s,不如等报错时再延时重试。

于是,

def downloadXml(isExists,filedir,filename):
if not isExists:
os.makedirs(filedir)
local = os.path.join(filedir,filename)
try:
urllib.urlretrieve(url,local)
except Exception as e:
time.sleep(5)
urllib.urlretrieve(url,local)

这样的话,发现会卡在某条数据,不向后执行。所以只好改为在某条数据上,最多重试10次。

def downloadXml(flag_exists,file_dir,file_name,xml_url):
if not flag_exists:
os.makedirs(file_dir)
local = os.path.join(file_dir,file_name)
try:
urllib.urlretrieve(xml_url,local)
except Exception as e:
print e
cur_try = 0
total_try = 10
if cur_try < total_try:
cur_try +=1
time.sleep(15)
return downloadXml(flag_exists,file_dir,file_name,xml_url)
else:
raise Exception(e)

这样执行后,果然不再报错,顺利执行完了。但一想,有个问题,使用哪个URL进行下载失败,没有记录下来。所以又添加了将失败的url写入本地文本的功能。后面可以查看,并手动执行。

def downloadXml(flag_exists,file_dir,file_name,xml_url):
if not flag_exists:
os.makedirs(file_dir)
local = os.path.join(file_dir,file_name)
try:
urllib.urlretrieve(xml_url,local)
except Exception as e:
print 'the first error: ',e
cur_try = 0
total_try = 10
if cur_try < total_try:
cur_try +=1
time.sleep(15)
return downloadXml(flag_exists,file_dir,file_name,xml_url)
else:
print 'the last error: '
with open(test_dir + 'error_url.txt','a') as f:
f.write(xml_url)
raise Exception(e)

遗憾的是,这次竟再没有失败的url了,可能是网站这时流量不大。

python下载时报错 Errno 10060] A connection attempt failed because the connected party did not properly respond after a period of time的更多相关文章

  1. BUG:upstream timed out (10060: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected

    更换Apache扑向Nginx,刚搭建完WNMP,nginx能访问php页面 但是访问现有开发项目报错 [error] 4112#3724: *9 upstream timed out (10060: ...

  2. upstream timed out (10060: A connection attempt failed because the connected party did not properly respond

    openresty 错误日志报错内容: // :: [error] #: * upstream timed : A connection attempt failed because the conn ...

  3. VScode 1.13 gocode提示dial tcp 216.239.37.1:443: connectex: A connection attempt failed because the connected..

    在将VScode升级至 1.13后让升级gocode,在升级时报出如下错误 D:\go_work\src>go get -u -v github.com/mdempsky/gocode gith ...

  4. vs code解决golang开发环境问题 dial tcp 216.239.37.1:443: connectex: A connection attempt failed

    安装插件是出现 如下错误提示, https fetch failed: Get https://golang.org/x/tools/cmd/gorename?go-get=1: dial tcp 2 ...

  5. windows下pip安装python模块时报错

    windows下pip安装python模块时报错总结  装载于:https://www.cnblogs.com/maxaimee/p/6515165.html 前言: 这几天把python版本升级后, ...

  6. windows下pip安装python模块时报错【转】

    windows下pip安装python模块时报错总结 请给作者点赞--> 原文链接 1 权限问题 C:\Users\ljf>pip install xlwt Exception: Trac ...

  7. FetchType.LAZY 时属性加上@JsonIgnore,避免返回时报错:Could not write JSON: failed to lazily initialize a collection of role

    [示例] @OneToMany(fetch=FetchType.LAZY) @JsonIgnore @Fetch(FetchMode.SELECT) @Cascade(value={CascadeTy ...

  8. wget http://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz 下载时报错 ssl is required 解决办法

    方法一:使用浏览器下载.在浏览器中输入 http://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz 方法二:将h ...

  9. python 启动时报错无法正常启动(0xc000007b)请单击“确定”关闭应用程序的解决办法

    这是一个自己非常傻逼的问题,但是还是想记录下来 晚上安装python,不管是命令提示符中运行还是python直接打开,都提示报错 各种百度,各种查找排除以后,皆不能解决错误 最后发现:特么64位系统下 ...

随机推荐

  1. BZOJ 4423 【AMPPZ2013】 Bytehattan

    Description 比特哈顿镇有n*n个格点,形成了一个网格图.一开始整张图是完整的. 有k次操作,每次会删掉图中的一条边(u,v),你需要回答在删除这条边之后u和v是否仍然连通. Input 第 ...

  2. 中国电信大亚DP607光猫破解,设置路由,wifi!关闭远程管理,改连接限制,SN码查询!

    破解方法:以下为破解方法(一):1.进入192.168.1.12.用户名输入anonymous,密码不用,登陆3.输入网址192.168.1.1/backupsettings.conf4.用记事本打开 ...

  3. 给Array添加删除重复元素函数

    给Array本地对象增加一个原型方法,它用于删除数组中重复的元素(可能有多个重复), 返回值是一个包含被删除的重复条目的新数组. Array.prototype.distinct = function ...

  4. 在windows上搭建ipv6代理

    事出有因,学校每天12:00之后断网,断网之后怎么办?难道直接睡了?我不甘心.     幸好学校还是留有余地,在断网之后,还是能够上ipv6的,只是现阶段互联网对ipv6支持很不理想,怎么办?刚刚发现 ...

  5. percona-toolkit工具的使用

    percona-toolkit是一组高级命令行工具的集合,可以查看当前服务的摘要信息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等 percona-toolkit 源自 Maatkit 和 ...

  6. android 开发 我的高德地图代码例子

    下载高德地图依赖库和相关注册方式,请查看高德开发者网站:http://lbs.amap.com/api/android-sdk/summary  点击打开链接 高德地图坐标拾取器:http://lbs ...

  7. 原生js上传文件,使用new FormData()

    当创建一个内容较多的表单,表单里面又有了文件上传,文件上传也需要表单提交,单一的上传文件很好操作: <form action="接口" enctype="multi ...

  8. 牛客网Wannafly挑战赛15 B车辆安排(模拟)AND C 出队(规律)

    传送门 :B题:点我 C题: 点我 题目描述 有n个队伍,每个队伍的人数小于等于5,每辆车最多坐5个人,要求一个队伍的人都在一辆车上,求最少的车数 输入描述: 第一行n第二行n个数,表示每个队伍的人数 ...

  9. node的开发者环境设置丢失

    1.我看到的最简单的一种:evn 默认的值是  development var app = express(); if (app.get('env') === 'development') { req ...

  10. php做推送服务端实现ios消息推送

    本文部分内容引用于 http://zxs19861202.iteye.com/blog/1532460 准备工作 1.获取手机注册应用的deviceToken(iphone手机注册应用时返回唯一值de ...