Python 爬虫教程 scrapy shell
1什么是python shell
当你做一个很大的scrapy项目的时候，可以直接快速的调试你的xpath re是否
是正确的 类似于postman 一个专门测试 API 的工具
2.下载：
我们在anaconda中搜索scrapy 点击apply
3.启动命令(在安装好有scrapy的环境里面)
scrapy shell “website name”
所有数据都会包装成一个resposne对象供给使用者使用
你可以想象成一个草稿纸版简易的scrapy项目
response.body
response.header
response.xpath()
response.css()
4.测试小案例
我们用 scrapy 爬虫实验室 作为测试案例
我们在控制台输入 ：
response.css('title')
5.疑问—-那么我们如何获取里面的信息呢
6.查看数据
当我们输入的时候 回车就自己运行了 那我们如何进行多行输入
当我们使用for循环或者其他函数的时候 可以多循环 但是回车没法执行
这个时候我们就用 Ctri +Enter j就可以了
7.通过结构化提取 查看数据是否是正确的
那我们再通过结构化提取 看看我们的数据是否在里面
说明数据在里面 我们的xpath语法正确
结果
结语
多敲代码，多学习，这些就会了
scrapy shell
