文件损坏"/>
python下载文件损坏
这是我的第一篇文章。我一直在进行python编程,最近正在开发一个多线程下载器。但问题是我的文件(jpg是我的目标)被损坏。另外随着followinf输入:.jpgPython简单的多线程下载文件损坏
它显示错误
的文件被损坏。
下面是代码: -
import os, sys, requests
import threading
import urllib2
import time
URL = sys.argv[1]
def buildRange(value, numsplits):
lst = []
for i in range(numsplits):
if i == 0:
lst.append('%s-%s' % (i, int(round(1 + i * value/(numsplits*1.0) + value/(numsplits*1.0)-1, 0))))
else:
lst.append('%s-%s' % (int(round(1 + i * value/(numsplits*1.0),0)), int(round(1 + i * value/(numsplits*1.0) + value/(numsplits*1.0)-1, 0))))
return lst
def main(url=None, splitBy=5):
start_time = time.time()
if not url:
print "Please Enter some url to begin download."
return
fileName = "image.jpg"
sizeInBytes = requests.head(url, headers={'Accept-Encoding': 'identity'}).headers.get('content-length', None)
print "%s bytes to download." % sizeInBytes
if not sizeInBytes:
print "Size cannot be determined."
return
dataDict = {}
# split total num bytes into ranges
ranges = buildRange(int(sizeInBytes), splitBy)
def downloadChunk(idx, irange):
req = urllib2.Request(url)
req.headers['Range'] = 'bytes={}'.format(irange)
dataDict[idx] = urllib2.urlopen(req).read()
# create one downloading thread per chunk
downloaders = [
threading.Thread(
target=downloadChunk,
args=(idx, irange),
)
for idx,irange in enumerate(ranges)
]
# start threads, let run in parallel, wait for all to finish
for th in downloaders:
th.start()
for th in downloaders:
th.join()
print 'done: got {} chunks, total {} bytes'.format(
len(dataDict), sum((
len(chunk) for chunk in dataDict.values()
))
)
print "--- %s seconds ---" % str(time.time() - start_time)
if os.path.exists(fileName):
os.remove(fileName)
# reassemble file in correct order
with open(fileName, 'w') as fh:
for _idx,chunk in sorted(dataDict.iteritems()):
fh.write(chunk)
print "Finished Writing file %s" % fileName
print 'file size {} bytes'.format(os.path.getsize(fileName))
if __name__ == '__main__':
main(URL)
这里的缺口可能是错了,所以这里是代码引擎收录(点)的COM/wGEkp878
我会很感激,如果有人能指出错误
编辑:由人提议
def buildRange(value, numsplits):
lst = []
for i in range(numsplits):
first = i if i == 0 else buildRange().start(i, value, numsplits)
second = buildRange().end(i, value, numsplits)
lst.append("{}-{}".format(first, second))
return lst
谁能告诉我锄保持part1 part2等名称下载的零件文件等
2015-09-14
AKM
+0
作为第一个猜它看起来你有更为复杂,它的buildRange功能应该是,这也可能是你的问题。更重要的是,我很抱歉,这不是你的问题的答案,但多线程下载这样的下载几乎肯定会花费更多的时间,而不是在单个请求中进行。原因是尽管您的所有数据都在同一时间下载,但您仍然受限于带宽,现在您还有许多其他事情正在进行。虽然这是一个很酷的实验,但绝对值得完成。 –
+0
你能告诉我如何存储作为part 1 2 3 4 etc下载的零件文件吗? –
+0
你原来的构建范围似乎工作,但新的做得好得多。真正的问题似乎是额外的新行字符被添加!每遇到'\ n',在它之前插入一个额外的0x0D。 –
更多推荐
python下载文件损坏
发布评论