python爬虫爬取赶集网数据

发布时间:2019-05-27 22:03:46编辑:auto阅读(1808)

    一.创建项目

    scrapy startproject putu

    二.创建spider文件

    scrapy genspider  patubole patubole.com


     

    三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式,开始编写patubole.py文件。网络的爬取是通过这个文件进行的

    以下代码是最终的代码

    所建的patubole.py文件必须实现name,parse函数,start_url这三个属性


     

    四.将爬取的数据保存到数据库sufang中。

    (1)在pycharm中新建数据库


     

     

    完成后会出现


     

    (2)将数据存放在新建的数据库zufang的数据表sufang中

    数据的爬取是有patubole.py实现的,数据的存储是由pipelines.py实现的,pipelines.py又是有items.py提供数据的支持

    所以编写items.py


     

    此时就要回过头来修改刚开是为了测试编写的patubole.py 文件

    代码如下


     

    3)在settings.py中进行PatuPipeline文件配置

    ITEM_PIPELINES = {

          'patu.pipelines.PatuPipeline': 300,

     }

    (5)pipelines.py文件代码,实现存储数据到数据库中

    其中包含SQL的相关知识


     

    最终结果


     

     其中main.py文件是为了调式方便而添加的,可以不用,直接用相关命令启动爬虫


     

关键字