本人现职系统运维,随着技术发展,越来越多的系统开始提倡自动化运维,而且运维职位也不是几年前只懂shell就可以了,前几年找工作任职要求还是熟练shell,会python有加分,现在已经是熟悉shell、python、perl、java等语言任意两种,要求有所提高,所以有些压力的我也一直再搞python,无奈看了很多基础的文档了,最后还是有些无从下手的感觉,所以借着51CTO博客改版,把学习记录一下,希望能通过写博客来真正搞懂python,由于我也是刚开始学习,如果有哪里写的有问题,也欢迎大家指正,下面开始正题吧。
| 操作系统 | 编辑器 | Python版本 | |-------------|----------------|--------------| | Win10 家庭中文版 | Pycharm 2016.3 | Python 3.6.1 |
1、学习爬虫需要哪些知识 {#1-}
Python基础知识
Python中urllib库的用法(python3后urllib和urllib2合并为urllib,具体见官网)
Python正则表达式
Python爬虫框架Scrapy
因为刚开始学习,暂时就列这么多吧,后续有新内容再更新。
1.1 python基础 {#1-1-python-}
书籍推荐:《python编程从入门到实践》
其它:简明python教程
博客:廖雪峰python教程
静觅 崔庆才的个人博客(我也参考这个博客学习,博客中的内容也会引用这个博客的内容,这个博客写的很好,很详细,只不过是python2的,我用python3写的)
1.2 urllib {#1-2-urllib}
学习Python爬虫最基本的urllib模块,利用这个模块我们可以得到网页的内容,并对内容用正则表达式提取分析,得到我们想要的结果。
1.3 python正则表达式 {#1-3-python-}
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。
1.4 Python爬虫框架Scrapy {#1-4-python-scrapy}
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
大体的学习方向就是以上这几点,后续有增加再及时更新,共勉!