本教程是崔大大的爬虫实战教程的笔记:网易云课堂

Python3+Pip环境配置

Windows下安装Python: http://www.cnblogs.com/0bug/p/8228378.html

Linux以Ubuntu为例,一般是自带的,只需配置一下默认版本:http://www.cnblogs.com/0bug/p/8598273.html

virtualenv的安装:http://www.cnblogs.com/0bug/p/8598458.html

用到的IDE是PyCharm,Windows下到官网下载就行(Professional版本):http://www.jetbrains.com/pycharm/download/

Linux下以Ubuntu为例:http://www.cnblogs.com/0bug/p/8598673.html

Pycharm需要花钱,建议花钱买正版。

Mac我就不写了,因为我没有Mac

MongoDB环境配置

Windows下安装和配置:http://www.cnblogs.com/0bug/p/8290330.html

Linux以Ubuntu为例:sudo apt-get install mongodb

Redis环境配置

Windows&Ubuntu:http://www.cnblogs.com/0bug/p/8892711.html

MySQL环境配置

Windows&Ubuntu:http://www.cnblogs.com/0bug/p/8655363.html

爬虫的基本原理

什么是爬虫?

爬虫就是请求网站并提取数据的自动化程序

爬虫的基本流程

1.发起请求

2.解析请求

3.获取相应内容

4.保存数据

什么是Request和Response?

比如我们在浏览器中输入一个网址

浏览器就会发送消息给该网址所在的服务器,这个过程就叫做HTTP Request

服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应处理,然后把消息回传给浏览器。这个过程叫做HTTP Response

浏览器收到服务器的Response信息后,会对信息进行相应的处理,然后展示。

Request中包含什么?

1.请求方式:

主要有GET、POST两种类型,另外还有HEAD、PUT、DELETE、OPTIONS等。

HTTP协议中GET和POST方法的区别:http://www.cnblogs.com/0bug/p/8892959.html

2.请求URL

3.请求头如User-Agent、Host、Cookies等

HTTP协议中中常见请求头信息:http://www.cnblogs.com/0bug/p/8893038.html#_label1

4.请求体

Responst中包含什么?

1.响应状态

有多种响应状态如200代表成功,301代表跳转,404代表找不到页面,502代表服务器错误

2.响应头

如内容类型,内容长度,服务器消息,设置Cookie等等

3.响应体

主要的部分,包含了请求资源的内容,如网页HTML、图片二进制数据等。

能抓取怎样的数据?

1.网页文本:如HTML文档,Json格式文本等

2.图片:获取的是二进制文件,另存为图片格式

3.视频:同为二进制文件,保持为视频格式即可

4.其他:只有能请求,都能获取

解析方式

1.直接处理

2.Json解析

3.正则表达式

4.BeautifulSoup

5.PyQuery

6.Xpath

7.其他

怎样解决JavaScript渲染的问题

1.分析Ajax请求

2.Selenium/WebDriver

3.Splash

4.PyV8、Fhost.py

怎样保存数据

1.文本:纯文本、Json、Xml等

2.关系型数据库:如MySQL、Oracle、SQL Server等具有结构化表结构形式的存储

3.非关系型数据库:如MongoDB、Redis等Key-Value形式存储

4.二进制文件:如图片、视频、音频等等直接保存成特定格式即可

Urllib库基本使用

Ullib的基本使用:http://www.cnblogs.com/0bug/p/8893677.html

Requests库的基本使用

reuqests库的基本用法:http://www.cnblogs.com/0bug/p/8899841.html

正则表达式与re模块

正则表达式与re模块:http://www.cnblogs.com/0bug/p/8272233.html

BeautifulSoup库详解

Beautiful Soup库基础用法:http://www.cnblogs.com/0bug/p/8260834.html

PyQuery详解

PyQuery:http://www.cnblogs.com/0bug/p/8276717.html

Selenium详解

Selenium基础用法:http://www.cnblogs.com/0bug/p/8270552.html

Requests+正则表达式爬取猫眼电影

Requests+正则表达式爬取猫眼电影:http://www.cnblogs.com/0bug/p/8906490.html

自己动手,丰衣足食!Python3网络爬虫实战案例的更多相关文章

  1. Python3网络爬虫开发实战PDF高清完整版免费下载|百度云盘

    百度云盘:Python3网络爬虫开发实战高清完整版免费下载 提取码:d03u 内容简介 本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib.req ...

  2. 崔庆才Python3网络爬虫开发实战电子版书籍分享

    资料下载地址: 链接:https://pan.baidu.com/s/1WV-_XHZvYIedsC1GJ1hOtw 提取码:4o94 <崔庆才Python3网络爬虫开发实战>高清中文版P ...

  3. 《Python3 网络爬虫开发实战》开发环境配置过程中踩过的坑

    <Python3 网络爬虫开发实战>学习资料:https://www.cnblogs.com/waiwai14/p/11698175.html 如何从墙内下载Android Studio: ...

  4. 《Python3 网络爬虫开发实战》学习资料

    <Python3 网络爬虫开发实战> 学习资料 百度网盘:https://pan.baidu.com/s/1PisddjC9e60TXlCFMgVjrQ

  5. 关于Python网络爬虫实战笔记③

    Python网络爬虫实战笔记③如何下载韩寒博客文章 Python网络爬虫实战笔记③如何下载韩寒博客文章 target:下载全部的文章 1. 博客列表页面规则 也就是, http://blog.sina ...

  6. Python3 网络爬虫(请求库的安装)

    Python3 网络爬虫(请求库的安装) 爬虫可以简单分为几步:抓取页面,分析页面和存储数据 在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操 ...

  7. Python简单网络爬虫实战—下载论文名称,作者信息(下)

    在Python简单网络爬虫实战—下载论文名称,作者信息(上)中,学会了get到网页内容以及在谷歌浏览器找到了需要提取的内容的数据结构,接下来记录我是如何找到所有author和title的 1.从sou ...

  8. python网络爬虫实战PDF高清完整版免费下载|百度云盘|Python基础教程免费电子书

    点击获取提取码:vg1y python网络爬虫实战帮助读者学习Python并开发出符合自己要求的网络爬虫.网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取互联网信息的程序或者脚 ...

  9. 《Python3网络爬虫开发实战》PDF+源代码+《精通Python爬虫框架Scrapy》中英文PDF源代码

    下载:https://pan.baidu.com/s/1oejHek3Vmu0ZYvp4w9ZLsw <Python 3网络爬虫开发实战>中文PDF+源代码 下载:https://pan. ...

随机推荐

  1. Android,ios,WP三大手机系统对比

    从前,我以为.一个手机系统只是一个系统的UI风格,没什么不同的.然而,在我混合使用这三个手机系统之后,才明白,一个手机系统远不只一个UI那么简单,而真的是可以称之为一个“生态”. 首先祭出三台经典设备 ...

  2. OC中的那些String

    /--------操作字符串--NSString(静态字符串)--------------------- NSString * a = @"a+b+c+a+b+d"; NSArra ...

  3. OC内存管理

    内存问题 野指针异常:访问所有权的内存,如果想要安全访问,必须确保空间还在(确保访问的内存不是僵尸对象) 内存泄露:空间使用完之后没有及时释放 过度释放:对一块空间释放多次,立刻crash 内存溢出: ...

  4. SpringMVC核心——参数获取与Servlet资源获取问题

    一.SpringMVC 使用 @PathVariable.@RequestParam.@RequestHeader.@CookieValue 等来解决参数获取问题. 1. @PathVariable: ...

  5. 操刀 requirejs,自己动手写一个

    前沿 写在文章的最前面 这篇文章讲的是,我怎么去写一个 requirejs . 去 github 上fork一下,顺便star~ requirejs,众所周知,是一个非常出名的js模块化工具,可以让你 ...

  6. C# 通过扩展WebBrowser捕获网络连接错误信息

    想捕获WebBrowser连接指定网站过程中发生的错误信息,包括网络无法连接.404找不到网页等等错误!经过网上的搜集,找到了以下解决方案,该解决方案不会在网站连接前发出多余的测试请求. 向Webbr ...

  7. python之函数学习

    #!/usr/bin/env python # # =============================================== # 位置参数说明 # 位置参数 通过参数传递的位置来 ...

  8. 文件系统与linux相关知识点

    文件系统是操作系统中管理持久性数据的子系统,提供数据存储和访问功能.对于服务器开发人员,比较关注的是unix(linux)环境下的文件系统,比如分区与磁盘关系,磁盘的剩余空间,文件的类型与权限控制,文 ...

  9. Java并发,看到了,就记录下呗

    在这篇博客中,主要把之前看的书的内容记录一下,个人感觉还是可以的,原题是这样的:开发一个高效的缓存.这里指的是单机. 首先我来看当前的一个版本 public interface Computable& ...

  10. jquery 选择器、筛选器、事件绑定与事件委派

    一.jQuery简介 1.可用的jQuery服务器网站:https://www.bootcdn.cn/ jQuery是一个快速的,简洁的javaScript库,使用户能更方便地处理HTMLdocume ...