python 实现多线程下载m3u8格式视频，使用FFmpeg合并

多线程下载m3u8格式视频，使用FFmpeg合并"/>

python 实现多线程下载m3u8格式视频，使用FFmpeg合并

如果你需要下载的m3u8文件被加密

请移步：

 

电影之类的长视频好像都用m3u8格式了，这就导致了多线程下载视频的意义不是很大，都是短视频，线不线程就没什么意义了嘛。

我们知道，m3u8的链接会下载一个文档，相当长，半小时的视频，应该有接近千行ts链接。

这些ts链接下载成ts文件，就是碎片化的视频，加以合并，就成了需要的视频。

那，即便网速很快，下几千行视频，效率也就低了，更何况还要合并。我就琢磨了一下午，怎么样才能多线程下载m3u8格式的视频呢？

先上代码，再说重难点：

import datetime
import os
import re
import threading
import requests
from queue import Queue# 预下载，获取m3u8文件，读出ts链接，并写入文档
def down():# m3u8链接url = '.m3u8?auth_key=1573739375-474267152-0-a5aa2b6df4cb4168381bf8b04d88ddb1'# 当ts文件链接不完整时，需拼凑# 大部分网站可使用该方法拼接，部分特殊网站需单独拼接base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]# print(base_url)resp = requests.get(url)m3u8_text = resp.text# print(m3u8_text)# 按行拆分m3u8文档ts_queue = Queue(10000)lines = m3u8_text.split('\n')# 找到文档中含有ts字段的行concatfile = 'cache/' + "s" + '.txt'for line in lines:if '.ts' in line:if 'http' in line:# print("ts>>", line)ts_queue.put(line)else:line = base_url + linets_queue.put(line)# print('ts>>',line)filename = re.search('([a-zA-Z0-9-]+.ts)', line).group(1).strip()# 一定要先写文件，因为线程的下载是无序的，文件无法按照# 123456。。。去顺序排序，而文件中的命名也无法保证是按顺序的# 这会导致下载的ts文件无序，合并时，就会顺序错误，导致视频有问题。open(concatfile, 'a+').write("file %s\n" % filename)return ts_queue,concatfile# 线程模式，执行线程下载def run(ts_queue):tt_name = threading.current_thread().getName()while not ts_queue.empty():url = ts_queue.get()r = requests.get(url, stream=True)filename = re.search('([a-zA-Z0-9-]+.ts)', url).group(1).strip()with open('cache/' + filename, 'wb') as fp:for chunk in r.iter_content(5242):if chunk:fp.write(chunk)print(tt_name + " " + filename + ' 下载成功')# 视频合并方法，使用ffmpeg
def merge(concatfile, name):try:path = 'cache/' + name + '.mp4'command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)os.system(command)print('视频合并完成')except:print('合并失败')if __name__ == '__main__':name = input('请输入视频名称：')start = datetime.datetime.now().replace(microsecond=0)s,concatfile = down()# print(s,concatfile)threads = []for i in range(15):t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s})threads.append(t)for t in threads:t.start()for t in threads:t.join()end = datetime.datetime.now().replace(microsecond=0)print('下载耗时：' + str(end - start))merge(concatfile,name)over = datetime.datetime.now().replace(microsecond=0)print('合并耗时：' + str(over - end))

效果图：

代码开始：自己输入视频名称（也可以去原网站爬名称）

查看下载耗时，ffmpeg开始合并：

合并耗时：

7分多钟，90个ts文件，接近40MB。两秒下载完成。

更大的文件，开更多的线程。

然后我们画画重难点：

第一：ts文件命名问题。

我们知道，每一个线程启动，除了队列不会重复，那么代码里都会重新跑（线程里的代码），那么，1.ts，2.ts....这种命名是不可能的了，文件会被覆盖。命名我使用了ts链接中的部分链接。

第二：合并问题。

文件的合并是根据文档内的顺序，也就是，如果边下载边合并，那么，线程的无序性导致下载无序，文件写入也就无序化了，合并时，时间线会错误，合出来的视频就无法看。因此，文件要提前写好才行，这和命名有很大的关联，看代码即知。

第三：有的m3u8是特殊处理的，代码具有一定的局限性。

写的时候挺难的，脑子都乱了，就这些吧，记录一下。

对了，贴一下下载的图：90个ts文件，一个mp4文件，一个文档。

 

—————2019/11/18更新——————

更新点细节和后续处理。

今天找了个m3u8文件的电影链接，银河补习班，用代码测试，遇到了报错，等会放到我的报错指南里。

然后，解决了报错，下载很快，一个1.72G的电影，一分钟左右下载完成（线程数50）

但是，合并合一个小时？？？what f**k！！！

更新一下新的合并方法，顺便把下载的两千多个ts删除，简化文件夹：

import datetime
import os
import re
import threading
import requests
from queue import Queue# 预下载，获取m3u8文件，读出ts链接，并写入文档
def down(headers):url = ':65/ppvod/PkOhYba8'# 当ts文件链接不完整时，需拼凑# 大部分网站可使用该方法拼接，部分特殊网站需单独拼接# base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]base_url = ':65'print(base_url)resp = requests.get(url,headers=headers)m3u8_text = resp.textprint(m3u8_text)# 按行拆分m3u8文档ts_queue = Queue(10000)lines = m3u8_text.split('\n')# 找到文档中含有ts字段的行concatfile = 'cache/' + "s" + '.txt'for line in lines:if '.ts' in line:if 'http' in line:# print("ts>>", line)ts_queue.put(line)else:line = base_url + linets_queue.put(line)# print('ts>>',line)filename = re.search('([a-zA-Z0-9-_]+.ts)', line).group(1).strip()# 一定要先写文件，因为线程的下载是无序的，文件无法按照# 123456。。。去顺序排序，而文件中的命名也无法保证是按顺序的# 这会导致下载的ts文件无序，合并时，就会顺序错误，导致视频有问题。open(concatfile, 'a+').write("file %s\n" % filename)return ts_queue,concatfile# 线程模式，执行线程下载
def run(ts_queue, headers):tt_name = threading.current_thread().getName()while not ts_queue.empty():url = ts_queue.get()r = requests.get(url, stream=True, headers = headers)filename = re.search('([a-zA-Z0-9-_]+.ts)', url).group(1).strip()with open('cache/' + filename, 'wb') as fp:for chunk in r.iter_content(5242):if chunk:fp.write(chunk)print(tt_name + " " + filename + ' 下载成功')# 视频合并方法，使用ffmpeg
def merge(concatfile, name):try:path = 'cache/' + name + '.mp4'# command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)command = 'ffmpeg -y -f concat -i %s -bsf:a aac_adtstoasc -c copy %s' % (concatfile, path)os.system(command)print('视频合并完成')except:print('合并失败')def remove():dir = 'cache/'for line in open('cache/s.txt'):line = re.search('file (.*?ts)',line).group(1).strip()# print(line)os.remove(dir + line)print("删除成功")if __name__ == '__main__':name = input('请输入视频名称：')headers = {'Accept': '*/*','Accept-Encoding': 'gzip,deflate,br','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8','Connection': 'keep-alive','Host': 'www.mmicloud:65','Origin': '','Sec-Fetch-Mode': 'cors','Sec-Fetch-Site': 'cross-site','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36 Maxthon/5.1.3.2000'}start = datetime.datetime.now().replace(microsecond=0)s,concatfile = down(headers)# 获取队列元素数量num = s.qsize()# 根据数量来开线程数，每五个元素一个线程if num > 5:t_num = num // 5else:t_num = 1if t_num > 50:t_num = 50# print(s,concatfile)threads = []for i in range(t_num):t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s,'headers': headers})t.setDaemon(True)threads.append(t)for t in threads:t.start()for t in threads:t.join()end = datetime.datetime.now().replace(microsecond=0)print('下载耗时：' + str(end - start))merge(concatfile,name)over = datetime.datetime.now().replace(microsecond=0)print('合并耗时：' + str(over - end))remove()

合并改了命令，效率贼快，下载加合并接近4分钟：

代码开始：

下载开始到结束：

合并开始及结束：

文件夹：所有ts文件已被删除：

txt：部分截图：视频详情

另外，文中的链接具有时效性，一会就会失效。

————————19日更新——————

在更新一点小东西，可以直接用这个新版，前面不用看

import datetime
import os
import re
import threading
import time
import requests
from queue import Queue# 预下载，获取m3u8文件，读出ts链接，并写入文档
def down(headers, url, base_url):# 当ts文件链接不完整时，需拼凑resp = requests.get(url, headers=headers)m3u8_text = resp.text# print(m3u8_text)# 按行拆分m3u8文档ts_queue = Queue(10000)lines = m3u8_text.split('\n')s = len(lines)# 找到文档中含有ts字段的行concatfile = 'cache/' + "s" + '.txt'for i,line in enumerate(lines):if '.ts' in line:if 'http' in line:# print("ts>>", line)ts_queue.put(line)else:line = base_url + linets_queue.put(line)# print('ts>>',line)filename = re.search('([a-zA-Z0-9-_]+.ts)', line).group(1).strip()# 一定要先写文件，因为线程的下载是无序的，文件无法按照# 123456。。。去顺序排序，而文件中的命名也无法保证是按顺序的# 这会导致下载的ts文件无序，合并时，就会顺序错误，导致视频有问题。open(concatfile, 'a+').write("file %s\n" % filename)print("\r", '文件写入中', i, "/", s, end="", flush=True)return ts_queue, concatfile# 线程模式，执行线程下载
def run(ts_queue, headers):while not ts_queue.empty():url = ts_queue.get()filename = re.search('([a-zA-Z0-9-_]+.ts)', url).group(1).strip()try:requests.packages.urllib3.disable_warnings()r = requests.get(url, stream=True, headers=headers, verify=False)with open('cache/' + filename, 'wb') as fp:for chunk in r.iter_content(5242):if chunk:fp.write(chunk)print("\r", '任务文件 ', filename, ' 下载成功', end="", flush=True)except:print( '任务文件 ', filename, ' 下载失败')ts_queue.put(url)# 视频合并方法，使用ffmpeg
def merge(concatfile, name):try:path = 'cache/' + name + '.mp4'# command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)command = 'ffmpeg -y -f concat -i %s -bsf:a aac_adtstoasc -c copy %s' % (concatfile, path)os.system(command)print('视频合并完成')except:print('合并失败')def remove():dir = 'cache/'for line in open('cache/s.txt'):line = re.search('file (.*?ts)', line).group(1).strip()# print(line)os.remove(dir + line)print("ts文件全部删除")try:os.remove('cache/s.txt')print('文件删除成功')except:print('文件删除失败')if __name__ == '__main__':name = input('请输入视频名称：')url = input('请输入视频链接：').strip()# 测试用链接：.m3u8 # 链接电影：地球最后的夜晚base_url = '/'headers = {'referer': '','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}start = datetime.datetime.now().replace(microsecond=0)print("文件开始写入")s, concatfile = down(headers, url, base_url)print('\n')print("文件写入结束")# 获取队列元素数量num = s.qsize()# 根据数量来开线程数，每五个元素一个线程# 最大开到50个print("下载任务开始")if num > 5:t_num = num // 5else:t_num = 1if t_num > 50:t_num = 50# print(s,concatfile)threads = []for i in range(t_num):t = threading.Thread(target=run, name='th-' + str(i), kwargs={'ts_queue': s, 'headers': headers})t.setDaemon(True)threads.append(t)for t in threads:time.sleep(0.4)t.start()for t in threads:t.join()print('\n')print("下载任务结束")end = datetime.datetime.now().replace(microsecond=0)print('写文件及下载耗时：' + str(end - start))merge(concatfile, name)remove()over = datetime.datetime.now().replace(microsecond=0)print('合并及删除文件耗时：' + str(over - end))print("所有任务结束")print('任务总时长：', over - start)

更新为覆盖打印，避免打印几千行，太麻烦，写文件和下载都有进度了

下载错误还可以看错误打印信息，正确直接下载覆盖

清晰明了看见代码运行进度。

然后就算根据需要改三个东西，就可以使用代码

1，电影m3u8链接

2，m3u8文件中如ts链接无前面http部分，需自己更改base_url

3，更改headers信息

效果如图：

爬虫开始及文件写入：

下载开始，下载与写文件耗时：

说明：文件写入的数字是一直在变化的，用以进度观察。任务文件也是。

结束：

文件夹：