python爬虫爬取赶集网数据

424 0 0

作者:嗨学编程

scrapy startproject putu

二.创建spider文件

scrapy genspider patubole patubole.com

三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式，开始编写patubole.py文件。网络的爬取是通过这个文件进行的

以下代码是最终的代码

所建的patubole.py文件必须实现name,parse函数，start_url这三个属性

四.将爬取的数据保存到数据库sufang中。

（1）在pycharm中新建数据库

完成后会出现

（2）将数据存放在新建的数据库zufang的数据表sufang中

数据的爬取是有patubole.py实现的，数据的存储是由pipelines.py实现的，pipelines.py又是有items.py提供数据的支持

所以编写items.py

此时就要回过头来修改刚开是为了测试编写的patubole.py 文件

代码如下

3）在settings.py中进行PatuPipeline文件配置

ITEM_PIPELINES = {

'patu.pipelines.PatuPipeline': 300,

}

（5）pipelines.py文件代码，实现存储数据到数据库中

其中包含SQL的相关知识

最终结果

其中main.py文件是为了调式方便而添加的，可以不用，直接用相关命令启动爬虫

内容来源于网络如有侵权请私信删除

标签： Python Python开发 Python语言

你还没有登录，请先登录或注册！