scrapy的简单使用

发布时间:2019-05-15 22:15:18编辑:auto阅读(2163)

    使用之前的创建虚拟环境方法(pipenv)

    创建虚拟环境并进入虚拟环境

    mkdir douban 
    cd douban pipenv install pipenv shell

    再安装我们的scrapy

    pipenv install scrapy

    然后创建项目

    scrapy startproject doubanmovie
    cd doubanmovie
    scrapy genspider douban_movie (这里加入你想要爬的网站url)

    再使用pychram打开这个目录

    写好代码后在pycharm下方点击终端输入

    scrapy crawl douban_movie
    scrapy crawl douban_movie -o detail.json #为json格式保存
    scrapy crawl douban_movie -o detail.jl #以行的形式保存
    scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
    scrapy crawl douban_movie -o detail.xml #以xml文件格式保存

    运行任务

    简单使用结束

     

关键字

上一篇: python协程

下一篇: flask笔记(一)