Cookie
是指某些网站服务器为了辨别用户身份和进行Session跟踪，而存储在用户浏览器的文本文件，Cookie可以保持登陆信息到用户下次与服务器会话。Cookie原理
HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性，包括:
Cookie名字（Name）
Cookie的值（Value） Cookie的过期时间（Expires/Max-Age） Cookie作用路径（Path） Cookie所在域名（Domain）， 使用Cookie进行安全连接（Secure）。
前两个参数是Cookie应用的必要条件，另外，还包括Cookie大小（Size，不同浏览器对Cookie个数及大小限制是有差异的）。
Cookie由变量名和值组成，根据 Netscape公司的规定，Cookie格式如下：
Set－Cookie: NAME=VALUE；Expires=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE构建一个已经登录过的用户的headers信息
#构建一个已经登录过的用户的headers信息headers = { "Host":"www.renren.com", "Connection":"keep-alive", "Upgrade-Insecure-Requests":"1", "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", "Accept-Language":"zh-CN,zh;q=0.8,en;q=0.6", # 便于终端阅读，表示不支持压缩文件 # Accept-Encoding: gzip, deflate, sdch, # 这个Cookie是保存了密码无需重复登录的用户的Cookie，这个Cookie里记录了用户名，密码(通常经过RAS加密) "cookie":"_ga=GA1.2.1071370191.1536665724; _gid=GA1.2.66980xx15.1536665724; .CNBlogsCookie=E35xx4049853DF7D8C1C98C; ........"} cookielib库 和 HTTPCookieProcessor处理器
在Python处理Cookie，一般是通过cookielib模块和 urllib下request模块的HTTPCookieProcessor处理器类一起使用。
cookielib模块：主要作用是提供用于存储cookie的对象
HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。
cookielib 库
该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
FileCookieJar (filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。
MozillaCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。
LWPCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。
大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar() 或 LWPCookieJar()
获取Cookie，并保存到CookieJar()对象中:
import urllibimport cookielib# 构建一个CookieJar对象实例来保存cookiecookiejar = cookielib.CookieJar()# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象handler=urllib.request.HTTPCookieProcessor(cookiejar)# 通过 build_opener() 来构建openeropener = urllib.request.build_opener(handler)# 4. 以get方法访问页面，访问之后会自动保存cookie到cookiejar中opener.open("http://www.baidu.com")## 可以按标准格式将保存的Cookie打印出来cookieStr = ""for item in cookiejar: cookieStr = cookieStr + item.name + "=" + item.value + ";"## 舍去最后一位的分号print cookieStr[:-1] 访问网站获得cookie，并把获得的cookie保存在cookie文件中
import cookielibimport urllib# 保存cookie的本地磁盘文件名filename = 'cookie.txt'# 声明一个MozillaCookieJar(有save实现)对象实例来保存cookie，之后写入文件cookiejar = cookielib.MozillaCookieJar(filename)# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象handler = urllib.request.HTTPCookieProcessor(cookiejar)# 通过 build_opener() 来构建openeropener = urllib.request.build_opener(handler)# 创建一个请求，原理同urllib的urlopenresponse = opener.open("http://www.baidu.com")# 保存cookie到本地文件cookiejar.save() 从文件中获取cookies，做为请求的一部分去访问
import cookielibimport urllib# 创建MozillaCookieJar(有load实现)实例对象cookiejar = cookielib.MozillaCookieJar()# 从文件中读取cookie内容到变量cookie.load('cookie.txt')# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象handler = urllib.request.HTTPCookieProcessor(cookiejar)# 通过 build_opener() 来构建openeropener = urllib.request.build_opener(handler)response = opener.open("http://www.baidu.com") 利用cookielib, Post登录
import urllibimport cookielib# 1. 构建一个CookieJar对象实例来保存cookiecookie = cookielib.CookieJar()# 2. 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象cookie_handler = urllib.request.HTTPCookieProcessor(cookie)# 3. 通过 build_opener() 来构建openeropener = urllib.request.build_opener(cookie_handler)# 4. addheaders 接受一个列表，里面每个元素都是一个headers信息的元祖, opener将附带headers信息opener.addheaders = [("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36")]# 5. 需要登录的账户和密码data = {"email":"xxxx@163.com", "password":"123456"} # 6. 通过urlencode()转码postdata = urllib.parse.urlencode(data)# 7. 构建Request请求对象，包含需要发送的用户名和密码request = urllib.request.Request("http://www.baidu.com/", data = postdata)# 8. 通过opener发送这个请求，并获取登录后的Cookie值，opener.open(request) # 9. opener包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面response = opener.open("http://xueshu.baidu.com/usercenter/data/authorchannel?cmd=inject_page") # 10. 打印响应内容print(response.read()) 当然，我们也可以直接发送账号密码到登录界面模拟登录，但是当网页采用JavaScript动态技术以后，想封锁基于 HttpClient 的模拟登录就太容易了，甚至可以根据你的鼠标活动的特征准确地判断出是不是真人在操作。
所以，想做通用的模拟登录还得选别的技术，比如用内置浏览器引擎的爬虫(关键词：Selenium ，PhantomJS)，这个我们将在以后会介绍。