【Python成长之路】从零学爬虫--下载豆瓣8分以上的电影（附电影下载地址）

编程入门行业动态更新时间:2024-10-27 14:32:10

【写在前面】

平时在家休闲时，经常为找不到好看的电影而发愁。因此写了个爬虫，下载豆瓣8分以上的各类电影链接。当前只是爬取了电影的下载地址，只需要复制链接到迅雷就可能下载了。

【示例代码】

# coding=utf-8# @Auther : "鹏哥贼优秀"# @Date : 2019/8/10# @Software : PyCharm
import threadingimport getheaderimport requestsfrom bs4 import BeautifulSoupimport time
# 多线程处理class myThread(threading.Thread):    def __init__(self,moviename,movieurl):        threading.Thread.__init__(self)        self.movieurl = movieurl        self.moviename = moviename
    def run(self):        # 线程锁        threadLock = threading.Lock()        threadLock.acquire()        with open("movidedownload.txt", "a",encoding="utf-8")as f:            for i in range(len(self.moviename)):                downloadurl = self.get_moviedownload(self.movieurl[i])                print(downloadurl)                f.write(downloadurl + "\n")        # 线程锁的释放        threadLock.release()        time.sleep(3)            # 从各电影的详情界面中，获取具体下载URL地址    def get_moviedownload(self,movieurl):        headers = getheader.getheaders()        r = requests.get(url=movieurl, headers=headers)        # 编码格式需要根据具体网站的请求头变化        r.encoding = "gb2312"        soup = BeautifulSoup(r.text, "lxml")        # 有部分响应没有a标签，导致线程异常。因此需要做个异常保护        if not soup.find("td", style="WORD-WRAP: break-word").a:            pass        else:            downloadurl = soup.find("td", style="WORD-WRAP: break-word").a.get_text()            return downloadurl        '''get_movieinfo()只是获取豆瓣8分以上的电影信息（电影名称及对应的电影详情界面，并没有下载URL地址）'''def get_movieinfo():    url = "https://www.ygdy8/html/gndy/jddy/20160320/50541.html"    headers = getheader.getheaders()    r = requests.get(url=url, headers=headers)    r.encoding = "gb2312"    soup = BeautifulSoup(r.text, "lxml")    result = soup.find("div", class_="co_content8")    movies = result.find_all("p")    movieurls = []    movienames = []    for movie in movies:        if movie.a:            movieurls.append(movie.a.get_text())            movienames.append(movie.get_text().split("http")[0].strip())    return movienames, movieurls
if __name__ == "__main__":    # 多线程的创建和启动流程    threads = []    threadnum = 5    movienames, movieurls = get_movieinfo()    enum = int(len(movienames)//threadnum)    for i in range(threadnum):        threadtemp = myThread(movienames[i*enum:(i+1)*enum],movieurls[i*enum:(i+1)*enum])        threadtemp.start()        threads.append(threadtemp)    for i in threads:        i.join()    print("Exit!")

【效果如下】

【知识点】

1、网站中文字体的乱码问题：

刚开始爬取电影信息时，发现中文全成了乱码。

明明我对响应进行了解码呀（原代码是r.encoding = "utf-8"），而且之前也一直是这么用的，也没发现有问题。

后面仔细查看该网站消息头，发现了猫腻。

2、多线程处理：

由于8分以上的电影比较多，如果用单线程进行爬取，时间太慢了。因此又自己学习了多进程和多线程的代码编码，在上述示例代码中加入了多线程。至于多进程和多线程如何写，我将在另一篇博客里已经进行了详细介绍。

另外，关于线程数量，我一开始是设置了10个线程，想下载速度尽可能快点，后来发现后面几个线程在访问时，会被网站自动断连，估计和反爬机制有关。因此设置了5个线程。

【电影下载地址】

这篇文章主要的目的还是把各电影下载址附上来，方便需要的同学下载。部分电影已经看过了，是蛮精彩的，毕竟豆瓣8分的评价摆在那里。

ftp://ygdy8:ygdy8@yg45.dydytt:6058/[阳光电影www.ygdy8]勇往直前.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:7029/[阳光电影www.ygdy8].天际行者.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt:7103/[阳光电影www.ygdy8].老幸运.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:8162/阳光电影www.ygdy8.养家之人.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg42.dydytt:7001/[阳光电影www.ygdy8].隐藏人物.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt:7002/[阳光电影www.ygdy8].校塔枪击案.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt:8004/[阳光电影www.ygdy8].完美陌生人.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8193/阳光电影www.ygdy8.看不见的客人.BD.720p.国西双语中英双字.mkv

ftp://ygdy8:ygdy8@yg42.dydytt:7005/[阳光电影www.ygdy8].分裂.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg73.dydytt:7003/[阳光电影www.ygdy8].终极斗士4.HD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg32.dydytt:7005/[阳光电影www.ygdy8].比海更深.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg73.dydytt:8005/[阳光电影www.ygdy8].竞速灭绝.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt:8201/[阳光电影www.ygdy8].地球脉动2.第一集.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y153.dydytt:9052/[阳光电影www.ygdy8].马龙，听我说.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg73.dydytt:8005/[阳光电影www.ygdy8].竞速灭绝.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt:8266/[阳光电影www.ygdy8].声之形.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@y219.dydytt:8260/[阳光电影www.ygdy8].沃伦.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt:9270/[阳光电影www.ygdy8].逃出绝命镇.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt:7006/[阳光电影www.ygdy8].家族之苦2.BD.720p.日语中字.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt:8083/[阳光电影www.ygdy8].家族之苦.BD.720p.日语中字.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt:8074/[阳光电影www.ygdy8].重返·狼群.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:8078/[阳光电影www.ygdy8].南汉山城.HD.720p.韩语中字.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt:8068/[阳光电影www.ygdy8].我能说.HD.720p.韩语中字.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt:8064/[阳光电影www.ygdy8].在这世界的角落.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7060/[阳光电影www.ygdy8].极盗车神.BD.720p.国英双语.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8089/[阳光电影www.ygdy8].猩球崛起3：终极之战.BD.720p.国英双语.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:7002/[阳光电影www.ygdy8].山2.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt:7195/阳光电影www.ygdy8.水形物语.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8176/阳光电影www.ygdy8.脸庞，村庄.BD.720p.法语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8172/阳光电影www.ygdy8.与神同行.BD.720p.韩粤双语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3065/阳光电影www.ygdy8.华盛顿邮报.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7166/阳光电影www.ygdy8.魅影缝匠.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3052/阳光电影www.ygdy8.马戏之王.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8156/阳光电影www.ygdy8.帕丁顿熊2.BD.720p.国粤英三语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8154/阳光电影www.ygdy8.至暗时刻.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8152/阳光电影www.ygdy8.春宵苦短，少女前进吧！.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg16.dydytt:7002/[阳光电影www.ygdy8].辛普森：美国制造.第1集.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt:7017/[阳光电影www.ygdy8].杰出公民.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8016/[阳光电影www.ygdy8].你的名字。.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7099/[阳光电影www.ygdy8].帝一之国.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:7024/[阳光电影www.ygdy8].至爱梵高·星空之谜.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:8121/[阳光电影www.ygdy8].银翼杀手2049.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt:8235/[阳光电影www.ygdy8].小丑回魂.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:8113/[阳光电影www.ygdy8].地球：神奇的一天.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg90.dydytt:8227/[阳光电影www.ygdy8].嘉年华.HD.1080p.国语中字.mp4

ftp://ygdy8:ygdy8@yg45.dydytt:7085/[阳光电影www.ygdy8].啊，荒野前篇.BD.720p.日语中字.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt:8097/[阳光电影www.ygdy8].相爱相亲.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4020/[阳光电影www.ygdy8].天才枪手.BD.720p.国粤泰三语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4016/[阳光电影www.ygdy8].龙的牙医.HD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3017/[阳光电影www.ygdy8].肉与灵.HD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4036/阳光电影www.ygdy8.神秘巨星.HD.1080p.国印双语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4103/阳光电影www.ygdy8.大象席地而坐导演剪辑版.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3153/阳光电影www.ygdy8.碟中谍6：全面瓦解.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8344/阳光电影www.ygdy8.超人总动员2.BD.720p.英国粤三语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7343/阳光电影www.ygdy8.怨恨3：杀手.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt:8411/阳光电影www.ygdy8.与神同行：罪与罚.BD.720p.韩粤双语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8342/阳光电影www.ygdy8.与神同行2：因与缘.BD.720p.韩语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8338/阳光电影www.ygdy8.克里斯托弗·罗宾.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8337/阳光电影www.ygdy8.冷战.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7336/阳光电影www.ygdy8.冒牌上尉.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:6133/阳光电影www.ygdy8.孪生陌生人.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:6126/阳光电影www.ygdy8.八年级.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8308/阳光电影www.ygdy8.不留痕迹.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7297/阳光电影www.ygdy8.幸福的拉扎罗.BD.720p.意大利语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8276/阳光电影www.ygdy8.三块广告牌.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:8259/阳光电影www.ygdy8.升级.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y153.dydytt:9206/[阳光电影www.ygdy8].血战钢锯岭.BD.720p.国英双语.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg20.dydytt:8005/[阳光电影www.ygdy8].雄狮.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt:9111/[阳光电影www.ygdy8].疯狂动物城.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt:9074/[阳光电影www.ygdy8].星球大战7：原力觉醒.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt:9241/[阳光电影www.ygdy8].降临.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt:8002/[阳光电影www.ygdy8].推销员.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt:8112/[阳光电影www.ygdy8].初恋这首情歌.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y153.dydytt:8094/[阳光电影www.ygdy8].死侍.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt:9094/[阳光电影www.ygdy8].荒野猎人.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg20.dydytt:8001/[阳光电影www.ygdy8].26个特殊劫匪.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg42.dydytt:8008/[阳光电影www.ygdy8].逃出绝命镇.HD.720p.英语中字.mkv

ftp://ygdy8:ygdy8@y219.dydytt:9063/[阳光电影www.ygdy8].大空头.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y153.dydytt:8064/[阳光电影www.ygdy8].第二个妈妈.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt:8356/阳光电影www.ygdy8.奇迹热气球.BD.720p.德语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3199/阳光电影www.ygdy8.无主之作.BD.720p.德语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3196/阳光电影www.ygdy8.小偷家族.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8410/阳光电影www.ygdy8.蜘蛛侠：平行宇宙.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4122/阳光电影www.ygdy8.白蛇：缘起.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7400/阳光电影www.ygdy8.迦百农.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8395/阳光电影www.ygdy8.徒手攀岩.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3190/阳光电影www.ygdy8. 绿簿旅友.HD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:7393/阳光电影www.ygdy8.猎凶风河谷.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8393/阳光电影www.ygdy8.看不见的客人.BD.720p.国西双语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3189/阳光电影www.ygdy8.头号玩家.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg90.dydytt:8474/阳光电影www.ygdy8.四个春天.HD.720p.国语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3188/阳光电影www.ygdy8.宠儿.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt:8343/阳光电影www.ygdy8.罗马.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt:8466/阳光电影www.ygdy8.谁先爱上他的.BD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4114/阳光电影www.ygdy8.调琴师.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8383/阳光电影www.ygdy8.波西米亚狂想曲.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:4109/阳光电影www.ygdy8.一个明星的诞生.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt:8456/阳光电影www.ygdy8.地牢回忆.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8376/阳光电影www.ygdy8.狗十三.HD.720p.国语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:3162/阳光电影www.ygdy8.登月第一人.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8368/阳光电影www.ygdy8.摄影机不要停！.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt:8364/阳光电影www.ygdy8.阿拉姜色.HD.720p.国语中字.mkv