如何用爬虫爬取猫眼等网站上的电影信息？

[wateryessence]

学校要求的项目是从猫眼和豆瓣上抓取 2015 年至今的电影信息，爬取数据需包含但不限于电影名，电影题材，电影演员，电影导演，当前累计票房，上映时间。

而且要求“数据爬取功能需满足登录用户在系统中输入一段时间，系统能够将时间段内爬取返还给用户”。

需要用分布式爬虫吗？我是第一次接触 python 爬虫。不知道如何解决这些问题。

[raycool]

github 上找下，这个肯定有类似现成的轮子。

[ClutchBear]

豆瓣有 api
猫眼的关键数据用字体加密的.

[xiaozizayang]

先爬数据再处理给用户返回，比如时间段


[locoz]

看了一下，猫眼的票房是有做字体加密的，如果是第一次写爬虫的话可能有点难度；豆瓣是入门级，无难度随便爬。
“数据爬取功能需满足登录用户在系统中输入一段时间，系统能够将时间段内爬取返还给用户”这个需求的实现可以有两种方式：
1、数据实时性要求较高的
接口得到用户输入的时间段参数后再去爬，爬完格式化好了返回，缺点是速度可能较慢、容易触发反爬。
2、数据实时性要求不那么高的
爬虫和接口分开，爬虫每隔一段时间爬一次数据并存到数据库，接口得到时间段参数之后去查数据库就行了

量少没必要分布式，拿 requests 写都行

[wc110302]

自学，写了很多小网站爬虫，可以看一下 --> https://github.com/wc110302/My-spider