前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者：nanyc
Scrapy的下载
在终端中输入代码'pip3 install scrapy'。
创建Scrapy项目
假设你希望将项目保存至桌面名为Python的文件夹中。可以在终端中输入'cd '，并将Python文件夹拖拽至其后。换行后，继续输入'scrapy startproject ScrapyProject'，此处的ScrapyProject为该项目的名字，可根据情况自行定义。
定义items数据
Scrapy项目创建成功后，我们可以在其所在的文件夹里看到spiders，pipelines.py，middlewares.py，settings.py等一系列文件。我们需要做的是在其中找到items.py，并对其进行修改。此处的重点在于定义所需数据的属性，其中主要会使用到scrapy.Field()。
创建爬虫文件
同样在ScrapyProject文件夹内，找到spiders文件夹，并在内创建一个新的爬虫文件，如下图的book.py。（需要与_pychache_及_init_文件同级。）
编辑爬虫文件
此处的爬虫文件为整个Scrapy项目的核心，数据的解析与提取都是在这一步进行的。
运行Scrapy程序
在ScrapyProject文件夹内，找到settings.py文档，并更改好user_agent相关信息。之后再在终端输入代码scrapy crawl book即可。（book为此爬虫的名字。）
注：上述内容皆为Mac环境下的操作。
PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取
可以免费领取源码、项目实战视频、PDF文件等
文章来源: 博客园
- 还没有人评论，欢迎说说您的想法！
客服
