为什么用Scrapy无法使用Cookies登录-古蔺大橙子建站
RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-17:00
你可能遇到了下面的问题
关闭右侧工具栏

新闻中心

这里有您想知道的互联网营销解决方案
为什么用Scrapy无法使用Cookies登录

这篇文章给大家介绍为什么用Scrapy无法使用Cookies登录,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

创新互联公司-专业网站定制、快速模板网站建设、高性价比潜江网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式潜江网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖潜江地区。费用合理售后完善,10多年实体公司更值得信赖。

我们知道,网站使用 Cookies 来记录用户的登录状态。如果我们从浏览器中把 Cookies 复制下来,放到爬虫中,在某些情况下,就可以让爬虫直接访问到登录后的页面。

以练习页面http://exercise.kingname.info/exercise_login_success为例。在没有登录的情况下,访问这个地址,会自动跳转到登录页面,如下图所示:

为什么用Scrapy无法使用Cookies登录  

输入用户名kingname,密码genius,点选自动登录,并点击登录按钮,跳转到登录成功的页面,如下图所示:

为什么用Scrapy无法使用Cookies登录  

一旦登录成功,即使关闭浏览器再重新打开该网址,依然会直接进入登录后的页面。

我们在 Chrome 的开发者工具中可以看到在登录后,当我们刷新页面时发送的请求:

为什么用Scrapy无法使用Cookies登录  

Request Headers里面可以看到请求头,在请求头中包含了 Cookie项。

当我们使用 Requests 访问这个网址时,只要请求头中含有这个 Cookie,我们就能直接访问到请求成功的页面,如下图所示:

为什么用Scrapy无法使用Cookies登录  

整个过程非常简单并直观。

但如果你想使用 Scrapy 做同样的事情,你会发现登录失败了。如下图所示:

为什么用Scrapy无法使用Cookies登录  

这其中的关键,就在于 Scrapy 发起请求的时候,并不会使用 Headers 中的 Cookie,而是单独有一个cookies参数。

当使用 Request 时,Cookie在 Headers 中是以字符串的形式存在,不同的项目之间使用分号连接,项目内的键值之间使用冒号连接。

但是在 Scrapy 中,传给cookies参数的值是一个字典,字典的 key 就是各个项目的 key,值就是各个项目的值。

所以我们对 Scrapy 的代码稍作修改,从Headers 中移除 Cookie 项,并改成字典形式,传给 cookies参数,再次请求发现请求成功:

为什么用Scrapy无法使用Cookies登录  

关于为什么用Scrapy无法使用Cookies登录就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


文章标题:为什么用Scrapy无法使用Cookies登录
标题来源:http://scgulin.cn/article/pghcej.html