python爬虫自学宝典——总结

爬虫自学宝典——总结"/>

python爬虫自学宝典——总结

源代码链接：
提取码：mszn

---

俗话说的好，山不转水转，山水相逢即有缘。现实中你我并不相识，但是并不妨碍你我神交。看了我的scrapy讲解，你甚至不需要明白网页架构，服务器工作原理，scrapy框架的架构，就已经会写一些简单的虫子爬取数据了。我的目的也是让看的人懂怎么用，而不是明白太多的为什么，尽管为什么很重要，但是我也不好说，因为牵扯的东西太多了，岂是我一个小小的大学生能够解释清楚的。 其实我做这么多，写这么多，就是想说一句，同是寒窗苦读，怎甘技不如人？大学四年，现在已经是大三了，从大一接触C和C++，便对编程这个东西产生了一种说不明道不清的情愫。现在还记得当初用C写的第一个输出语句是：print('hello, nan shou! lao zi tou tong a !')。别人是hello world，我的就要不一样，咋滴，你来打我呀！ 不过我对顺序型语言(结构化)并不感兴趣，用C最多的其实就是写算法的时候，C++写过一个DOS窗口下的教务系统。但这些都不是我感兴趣的。后来大二学Java，这个让我很感兴趣，因为好多东西都是开源的，我可以直接读开源的程序，就能明白函数到底是什么实现的，并且或多或少知道一些算法。 大二后半学期学些python，说实话，python这个鬼玩意，是个人都会用，太简单了，简单的无法想象。Java几百行的代码，python两三行就实现了，不过还要说明的是，python其实只是将好多东西封装起来了，只要你会调用，都不成为题。但我还是支持多学Java，好动脑子，不然迟早就生锈了。一个月，我就掌握了python这门语言，但是绝对谈不上精通。后来学习爬虫花费的时间较长，因为要学习web服务器结构，网站的网页结构，浏览器对网页的调试工具，网络通信等等，总之学的很多，都是为了掌握爬虫做铺垫。 小虫子很好玩，只要会钻空子，什么地方，你都能钻进去。

---

若是以后想精通爬虫，请学好网络，因为这个很重要。爬虫的最高境界就是，程序所做的事情，和人做的事情一般无二，让别人的程序误认为访问资源的是人，而不是什么机器人。顺便一提，如果想炸某某网站，可以试着了解一下CC，爽！！！但后果自负啊，用不好，追踪到可靠IP，你就只能进牢房了。
一定要掌握框架的运行机制，基层代码结构可以不知道，但是运行机制一定要搞明白。至于怎么搞明白，自己想办法去，我嘴笨，说不清，但我懂！！！

山水有相逢，后会有期。告辞了!!!

一句话送给所有人，同是寒窗苦读，怎甘技不如人？