scrapy 命令行工具
全局命令
-
startproject
新建项目 -
genspider
生成spider -
settings
获取项目的配置信息 -
runspider
运行spider,与crawl不一样的是这个运行文件名.py 而crawl运行定义的spider name -
shell
进入scrapy命令行 -
fetch
调用scrapy的下载器,返回网页的源码 -
view
请求网址,输出网址的源码 -
version
查看scrapy版本
项目命令
-
crawl
运行工具 -
check
检查代码 -
list
查看所有spider -
edit
调用vim编辑文件 -
parse
获取给定的 URL 并使用相应的 spider 分析处理 -
bench
运行 benchmark 测试
具体内容参考官网地址