使用之前的创建虚拟环境方法（pipenv）
创建虚拟环境并进入虚拟环境
mkdir douban
cd douban pipenv install pipenv shell
再安装我们的scrapy
pipenv install scrapy
然后创建项目
scrapy startproject doubanmovie
cd doubanmovie
scrapy genspider douban_movie （这里加入你想要爬的网站url）
再使用pychram打开这个目录
写好代码后在pycharm下方点击终端输入
scrapy crawl douban_movie
scrapy crawl douban_movie -o detail.json #为json格式保存
scrapy crawl douban_movie -o detail.jl #以行的形式保存
scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
scrapy crawl douban_movie -o detail.xml #以xml文件格式保存
运行任务
简单使用结束
内容来源于网络如有侵权请私信删除
- 还没有人评论，欢迎说说您的想法！
客服
