疏窗

  • 首页
  • 生活
  • Java
  • Python
  • Golang
  • 其他
  • 归档

  • 搜索
leetcode jdk 生活 nas nosql 数据库 线程 爬虫 中间件

scrapy学习记录(命令行工具)

发表于 2020-05-26 | 分类于 Python | 0 | 阅读次数 1394

scrapy 命令行工具

全局命令
  • startproject 新建项目

  • genspider生成spider

  • settings获取项目的配置信息

  • runspider 运行spider,与crawl不一样的是这个运行文件名.py 而crawl运行定义的spider name

  • shell 进入scrapy命令行

  • fetch 调用scrapy的下载器,返回网页的源码

  • view 请求网址,输出网址的源码

  • version 查看scrapy版本

项目命令
  • crawl运行工具

  • check检查代码

  • list查看所有spider

  • edit调用vim编辑文件

  • parse获取给定的 URL 并使用相应的 spider 分析处理

  • bench运行 benchmark 测试

具体内容参考官网地址

打赏作者
疯子虾夫 微信支付

微信支付

疯子虾夫 支付宝

支付宝

  • 本文作者: 疯子虾夫
  • 本文链接: https://hefengwei.com/archives/1590478813
  • 版权声明: 本博客所有文章除特别声明外,均采用CC BY-NC-SA 3.0 许可协议。转载请注明出处!
# 爬虫
scrapy学习记录(选择器与调试工具)
scrapy学习记录(练手)
  • 文章目录
  • 站点概览
疯子虾夫

疯子虾夫

24 日志
5 分类
9 标签
RSS
Creative Commons
© 2025 疯子虾夫
由 Halo 强力驱动
|
主题 - NexT.Mist v5.1.4
赣ICP备2024026242号

粤公网安备 44010602005909号