更多教程请移步至:洛凉博客
大家可以登录下www.80s.tw网站,观察页面菜单。
最开始我是想把菜单下所有页面的都爬一遍。想想还是有点复杂。
image.png
但是最开始通过匹配,这些菜单的链接都拿到了。
单线程去写这些肯定和复杂,就放弃了。最后就攻下了电影菜单下的。
最开始也是用正则匹配迅雷(磁力)链接,但是匹配的有点问题。
最后直接用BS4解决了。
下面大家看代码吧。
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
def url_1(page_o,page_t):
url_s = []
for page in range(page_o,page_t):
url = 'http://www.80s.tw/movie/list/-----p'+str(page)
url_s.append(url)
return url_s
def html(url_s):
mv_urls = []
for url in url_s:
html = requests.get
更多推荐
python linux下载磁力链_Python爬取80s网电影名称及迅雷(磁力)链接
发布评论