建站
咨询
售后
建站咨询
pythonScrapy爬虫代码怎么写
本篇内容主要讲解“python Scrapy爬虫代码怎么写”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“python Scrapy爬虫代码怎么写”吧!
成都创新互联是专业的碑林网站建设公司，碑林接单;提供成都做网站、成都网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行碑林网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
import scrapyclass demo(scrapy.Spider): # 需要继承scrapy.Spider类name = "demo" # 定义蜘蛛名def start_requests(self): # 由此方法通过下面链接爬取页面# 定义爬取的链接urls = ['http://lab.scrapyd.cn/page/1/','http://lab.scrapyd.cn/page/2/',]for url in urls:yield scrapy.Request(url=url, callback=self.parse) # 爬取到的页面如何处理？提交给parse方法处理def parse(self, response):'''start_requests已经爬取到页面，那如何提取我们想要的内容呢？那就可以在这个方法里面定义。这里的话，并木有定义，只是简单的把页面做了一个保存，并没有涉及提取我们想要的数据，后面会慢慢说到也就是用xpath、正则、或是css进行相应提取，这个例子就是让你看看scrapy运行的流程：1、定义链接；2、通过链接爬取（下载）页面；3、定义规则，然后提取数据；'''page = response.url.split("/")[-2] # 根据上面的链接提取分页,如：/page/1/，提取到的就是：1filename = 'demo-%s.html' % page # 拼接文件名，如果是第一页，最终文件名便是：mingyan-1.htmlwith open(filename, 'wb') as f: # python文件操作，不多说了；f.write(response.body) # 刚才下载的页面去哪里了？response.body就代表了刚才下载的页面！self.log('保存文件: %s' % filename) # 打个日志
每一句话的解释都在注释里面了，大家可以好好的看一下，我也不用多说啥了，最后直接crawl运行爬虫即可！
到此，相信大家对“python Scrapy爬虫代码怎么写”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
标题名称：pythonScrapy爬虫代码怎么写
网页地址：http://scgulin.cn/article/pecipp.html
