关闭
当前位置:首页 - 美国在线 - 正文

好久不见歌词,关于Scrapy爬虫项目运转和调试的小技巧(上篇),impossible

admin 2019-04-15 320°c

打扫工作Scrapy爬虫程序的bug之后,现在便能够开端进行编写爬虫逻辑了。在正式开端爬虫编写之前,在这儿介绍四种小技巧,能够便利咱们操作和调试爬虫。

一、树立main.py好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossible文件,直接在Pycha谌字怎样读rm下进行调试

许多时分咱们在运用Scrapy爬虫结构的时分,假如想工作Scrapy爬虫项目的话,一般都会想着去命令行中直接履行命令“scrapy crawl crawler_name”,其间crawler_name指的是最新韩剧网爬虫的姓名,在一开端创立Scrapy爬虫模板的时分就指定了的,并且在该爬虫项目中具有唯一性。可是每次跑到命令行下去履行,看交互的成果,有时分并不是很明晰,所以这儿介绍一种办法文曲星,能够协助咱们进步开发功率,尤其是调试的时分更是显得便利。

在与爬虫项目的s好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossiblecrapy.cfg文奥术水晶哪里多件同级目录下树立一个main.py文件,用于操控整个爬虫项目的履行。

在该文件夹中写入的代码见下图。其间execut择吉e函数是内qq注册账号嵌在scrapy中的,调用这个函数能够直接调用该Scrapy工程项目的爬虫脚本,这个函数的履行需要在爬虫项目的父目录下进行。而第7行代码的意思便是获取当时py文件的父目录,省去咱们直接仿制途径的精力和时刻,一起也便利咱们将该项目放到其他的渠道上去工作,不会报途径的过错。execute函数里面的参数其实便是将Scrapy爬虫履行命令谢贝梅拆分,然后别离以一个字符的办法放到了一个数组中。

红楼梦主题曲
给宝宝起个好姓名
好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossible

之后咱们直接工作这个main.py文件栾树便能够调用Scrapy爬虫程序了内濑户实在。

二、多用Debug进行调试,进步开甲申风云发速度

信任用过Pycharm的小伙伴罗海琼都看到过Debug这个东东,它的英文好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossible意思便是“小虫子”,在Pycharm中的logo也是个小虫子,像是七星瓢虫相同,不过许多小伙伴或许还没有怎样用过,这儿简略的介8060绍给咱们,期望咱们日后能够多多用到,关于项目的调试非常有协助。好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossible

在进行Debug调试之前,咱们需要在咱们想要调试的代码左边进行打断点,断点一般是赤色的,打断点的办法很简略,只需要在代码的左边点击一下左键即可,如下图所示。

断点设置完结之后,便能够去main.py文件进行阳新气候调试了。在main.py文件点击右键,然后挑选“Debug ‘main’”,如下图所示。

之后爬bow泰星虫程序便开端进行调试,并且会回来一系列成果,如下图所示,能够便利的进行拖拽检查。一起也会在爬虫文件中以绿色的字体简历表进行显现爬好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossible虫的成果,很漂亮。

假如想退出或许中止该调试,则点击Pycharm上方选项卡的Run,然后点击“Stop ‘main’”即可,如下图所示。谷歌翻译在线翻译

之后该爬虫程序就会退出调试,康复正常的Pycharm界面,如下图所示。

关于Scrapy爬虫项目工作和调试两个小技巧先共享到这儿,下次将共享Scrapy爬虫项目中更为有用的两种调试办法,敬请期待~~

开发
声明:该文观念仅代表作者自己绣球花,搜狐号系信息发布渠道,搜狐仅供给信息存储空好久不见歌词,关于Scrapy爬虫项目工作和调试的小技巧(上篇),impossible间效劳。
admin 14文章 0评论 主页

相关文章

  用户登录