关于网页视频解析爬取以及合成的问题

测试积点老人

实现功能：在爬取一个网站的视频
1、拿到主页面的页面源代码，找到iframe
2、从iframe页面源代码中拿到m3u8文件
3、下载第一层m3u8文件，拿到真实地址
4、下载视频
5、下载key（密钥），进行解密操作
6、合并所有ts文件为一个MP4文件
'''

目前基本确定是在第4步和第5步是有问题的，但不清楚是代码错误的原因，还是因为好像有几个分段视频没有下载完成引起的；
所以导致第6步的问题也不清楚是什么导致的；求老鸟

问题截图：

代码页

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re   
   
4. import asyncio
   
5. import aiohttp   
   
6. import aiofiles   
   
7. from Crypto.Cipher import AES
   
8. import os   
   
9. #正则提取规则
   
10. obj1=re.compile(r'2.html","link_pre":"","url":"(?P<src>.*?)","url_next":"https:')
    
11. #2.1子程序：找到主页面的源代码，找到iframe对应的url
    
12. def get_iframe_src(url):
    
13.     resp=requests.get(url)
    
14.     #print(resp.text)  #测试是否正常爬取到源代码
    
15. 
    
16.     #修改为正则爬取，这里提取完之后就是第一层的m3u8地址了
    
17.     content=resp.text  #把源代码变成text格式存储起来，用来提取
    
18.     main_page=obj1.finditer(content)
    
19.     for it in main_page:
    
20.         #print(it.group('src'))  
    
21.         src_modify=it.group('src').replace('\\','')   
    
22.         #print(src_modify)
    
23.         return src_modify  #输出正确的第一层m3u8地址
    
24.     resp.close()
    
25.   
    
26. 
    
27. #2.2、子程序：拿到第一层的m3u8文件下载地址；这一步只在课程里91看剧需要，实操的网址2.1里拿到的就是第一层m3u8了
    
28. def get_first_m3u8_url(url):
    
29.     resp=requests.get(url)
    
30.     #print(resp.text)
    
31.     obj2=re.compile(r'var main=''(?P<m3u8_url>.*?)''')
    
32.     m3u8_url=obj2.search(resp.text).group('m3u8_url')   #这里是把m3u8地址提取出来
    
33.     #print(m3u8_url)
    
34.     resp.close()
    
35.     return m3u8_url  #让函数返回这一个地址
    
36. 
    
37. #2.3、子程序：下载第一层m3u8文件
    
38. def download_m3u8_file(url,name):
    
39.     resp=requests.get(url)
    
40.     with open(name,mode='wb')as f:
    
41.         f.write(resp.content)
    
42.     resp.close()
    
43. 
    
44. #2.5.1、子程序：异步协程进行下载
    
45. async def download_ts(url,name,session):
    
46.     async with session.get(url)as resp:
    
47.         async with aiofiles.open(f'4.9-video2/{name}',mode='wb')as f:
    
48.             await f.write(await resp.content.read())  #把下载到的内容写入文件中
    
49.     print(f'{name}下载完毕')
    
50. 
    
51. #2.5、子程序：异步协程处理拼接下载
    
52. 
    
53. #实操版
    
54. async def aio_download(up_url):
    
55.     tasks=[]
    
56.    
    
57.     async with aiohttp.ClientSession() as session:
    
58.         async with aiofiles.open('4.93-抓取91看剧复杂版——second-m3u8.txt',mode='r',encoding='utf-8')as f:
    
59.             async for line in f:
    
60.                 if line.startswith('#'):  #’#‘开头的行不要
    
61.                     continue
    
62.                 # line就是xxxx.ts文件
    
63.                 url = line.strip()
    
64.                 name1=line.rsplit('/',1)[1]
    
65.                 name=name1.strip()
    
66.                 task=asyncio.create_task(download_ts(url,name,session))
    
67.                 tasks.append(task)
    
68.             await asyncio.wait(tasks)  #等待任务结束
    
69. #2.6.1获取密钥
    
70. def get_key(url):
    
71.     resp=requests.get(url)
    
72.     print(resp.text)  
    
73.     a=resp.text
    
74.     b=bytes(a,'utf-8')  
    
75.     return b
    
76. #2.6.2创建解密视频的任务
    
77. async def aio_dec(key):
    
78.     #思路：解密，需要把下载的文件一个个打开；但是因为这里我们是直接用m3u8文件里后面的字符命名的
    
79.     tasks=[]
    
80.     async with aiofiles.open('4.93-抓取91看剧复杂版——second-m3u8.txt',mode='r',encoding='utf-8')as f:
    
81.         async for line in f:
    
82.             if line.startswith('#'):
    
83.                 continue
    
84.             line1=line.rsplit('/',1)[1]  #取网址最后一个斜杠后面的字符作为文件名,意思是：从右边切，切一次，得到【1】的位置的内容
    
85.             line=line1.strip()
    
86.             #开始创建异步任务
    
87.             task=asyncio.create_task(dec_ts(line,key))
    
88.             tasks.append(task)
    
89.         await asyncio.wait(tasks)
    
90. #2.6.3创建解密函数
    
91. async def dec_ts(name,key):
    
92.     aes=AES.new(key=key,IV=b'0000000000000000',mode=AES.MODE_CBC)
    
93.     async with aiofiles.open(f'4.9-video2/{name}',mode='rb')as f1,\
    
94.         aiofiles.open(f'4.9-video2/temp_{name}',mode='wb')as f2:
    
95.         bs=await f1.read()  #从源文件读取文件
    
96.         await f2.write(aes.decrypt(bs))  #把解密好的内容写入文件
    
97.     print(f'{name}处理完毕')
    
98. #2.7合并视频为mp4
    
99. def merge_ts():
    
100.     #mac:cat 1.ts 2.ts 3.ts > xxx.mp4
     
101.     #windows:copy/b 1.ts+2.ts+3.ts > xxx.mp4
     
102.     lst=[]
     
103.     with open('4.93-抓取91看剧复杂版——second-m3u8.txt',mode='r',encoding='utf-8')as f:
     
104.         for line in f:
     
105.             if line.startswith('#'):
     
106.                 continue
     
107.             line1 = line.rsplit('/', 1)[1]  # 取网址最后一个斜杠后面的字符作为文件名,意思是：从右边切，切一次，得到【1】的位置的内容
     
108.             line=line1.strip()
     
109.             lst.append(f'4.9-video2/temp_{line}')
     
110.     s=''.join(lst)
     
111.     os.system(f'copy /b {s} >movie.mp4')
     
112.     print('搞定！')
     
113. 
     
114. #2、主程序
     
115. def main(url):
     
116.     #2.1、找到主页面的源代码，找到iframe对应的url
     
117.     iframe_src=get_iframe_src(url)
     
118.     #print(iframe_src)
     
119.     #2.3下载第一层m3u8文件
     
120.     download_m3u8_file(iframe_src,'4.93-抓取91看剧复杂版——first-m3u8.txt')  #按照课程正常的话括号里的’iframe_src‘要改为2.2里的’first_m3u8_url_ture‘
     
121.     #2.4下载第二层m3u8文件
     
122.     with open('4.93-抓取91看剧复杂版——first-m3u8.txt',mode='r',encoding='utf-8') as f:
     
123.         for line in f:
     
124.             if line.startswith('#'):  #让程序识别文件里面时，自动跳过‘#’开头的行段
     
125.                 continue
     
126.             else:
     
127.                 line=line.strip()  #去掉空白或者换行符
     
128.                 #准备拼接第二层m3u8的下载路径
     
129.                 second_m3u8_url=iframe_src.split('/20210730')[0]+line
     
130.                 download_m3u8_file(second_m3u8_url,'4.93-抓取91看剧复杂版——second-m3u8.txt')
     
131.                 print('第二层m3u8下载完毕')
     
132.     #2.5下载视频
     
133.     #实操写法
     
134.     up_url='开始'
     
135.     #asyncio.run(aio_download(up_url))   #这个会报错：RuntimeError: Event loop is closed
     
136.     loop=asyncio.get_event_loop()     
     
137.     loop.run_until_complete(aio_download(up_url))   
     
138.     #2.6.1拿到密钥
     
139.     #实操
     
140.     key_url='https://ts6.hhmm0.com:9999/20210730/QoNAXIDD/1000kb/hls/key.key'  
     
141.    
     
142.     key=get_key(key_url)  #访问密匙的路径，拿到密匙
     
143.     #2.6.2解密
     
144.     asyncio.run(aio_dec(key))
     
145.     #2.7合并ts文件为mp4文件
     
146.     merge_ts()
     
147. #1、主程序调用处
     
148. if __name__=='__main__':
     
149.     url='https://www.pianba.net/yun/84961-1-1/'
     
150.     main(url)
     

复制代码

海海豚

https://blog.csdn.net/qq_39797956/article/details/88076404  参考下这个看看

qqq911

那就试下是否下载完全

jingzizx

看完全下载是否有问题，看是否有判断