Python scrapy 怎么做成一个 flask 的接口

[DOUWH]

##我想了想，没想出来，

#比如：

调用 flask-api 接收参数，参数有 name：张三，age：30，sex：男。

爬虫程序 scrapy 需要拼接这些参数去完成 url 请求，返回 json，或者入库

思考下：

1.flask 怎么传递这些参数给 scrapy,scrapy 又怎么被 flask 所运行。
2.项目部署该怎么部署，是部署 flask-api 还是部署 scrapy ？
3.flask 和 scrapy  如何交互
4.有没有什么好的办法，把 scrapy 爬虫变成一个 api 接口，方便调用的那种


各位大佬，尽情的发表意见，小弟在线等
												
                                                
                                                	--来自 python 小白的呐喊

[djj510620510]

用 redis 或者数据库呗

[chengxiao]

Scrapyd 了解下 剩下的就是调接口

[midasplus]

关键词: scrapyd python-scrapyd-api

[midasplus]

可以参考一下(这个)[https://medium.com/@ali_oguzhan/how-to-use-scrapy-with-django-application-c16fabd0e62e]

[IanPeverell]

flask 把 url 存进一个 json 文件，然后用 scrapy.crawl 的 CrawlRunner 调爬虫，爬虫通过读 json 来读 url，爬出来的数据直接入库，flask 通过查增量来获取爬去的新数据。这样的话，只需要起一个 flask，然后爬虫跑在 flask 的进程中，通过 json 文件传 url

[wwb721]

可以看看 scrapyrt