【大数据】使用API进行爬虫

前言

数据爬虫就是通过代码的形式对于网络上的数据进行爬取,例如获取成都近3年的空气质量数据,如果通过人工收集则太过低效了。所以我们必须借助代码来实现。
数据爬虫主要有两种方式

  • 通过网站提供的API进行爬取。
    这是最为简单直接的方式,例如豆瓣网提供了对于电影、书籍等资源的各种数据的API,我们可以通过调用API来得到所需的数据。通过API的缺点是有些网站会限制API调用的次数和频率,用户需要付费来升级成高级用户来获取更灵活的API调用。
  • 基于HTML的数据抓取
    这个方法比较麻烦,优点就是不受API的调用限制。通过访问网页的HTML代码,并从中抓取到所需节点上的数据。这个方法还有一个缺点就是,网页一旦发生一点小小的结构变化,抓取代码就有可能需要重写。

这篇文章中我们将讨论第一种方式。并将以豆瓣电影API为例子实现数据的抓取。

安装Jupyter Notebook

Jupyter Notebook是一个交互式的笔记本,可以理解成是一个IDE,支持40多种语言,而我们将用它来编写Python程序。Jupyter Notebook用起来非常的方便,而且各大数据挖掘类的比赛所使用的文件格式基本都是Jupyter Notebook的。

首先我们在命令行当中使用如下命令打开Python环境,命令中的python36是我们之前配置的Python运行环境的名字,具体如何设置请参考【大数据】环境配置

source activate python36

使用Conda来安装Jupyter Notebook:

conda install jupyter

打开Jupyter Notebook:

jupyter notebook

随后浏览器会被打开,我们会发现Jupyter Notebook是一个嵌入在浏览器当中的编辑器,用起来非常方便。

Jupyter Notebook

然后我们找到一个合适的文件位置,点击右上角的New按钮,选择新建一个Python 3Notebook。这时浏览器会打开一个新窗口,显示一个刚刚创建的Notebook。这时我们可以在文本框中输入Python代码了。

新建的Notebook

豆瓣API

在这篇文章中我们将尝试通过Python代码来访问豆瓣电影的API,来抓取一些豆瓣上历史评分最高的20部电影的分数。首先我们可以访问豆瓣电影Api文档阅读相关信息。这里我们可以看到,为了实现我们的目的我们需要两组接口:v2/movie/top250用来获取历史评分最高的20部电影的ID(其实这里已经包含了评分,出于学习目的我们只从中读取电影ID信息)以及/v2/movie/subject/:id通过电影ID来获取电影的具体信息。

通过Python代码访问豆瓣API

首先这里我们先引入一个urllib的包来发送http请求。

import urllib.request as request

然后访问豆瓣电影Top250的API用来获取评分最高的20部电影的信息。并通过print函数将内容输出。

url = 'https://api.douban.com/v2/movie/top250'
crawl_content = request.urlopen(url).read()
print(crawl_content)
crawl_content

从截图中我们发现已经有一些我们可以阅读的内容了,但是如何将这些内容提取出来呢?其实这一段内容是一段JSON格式的信息,我们可以通过将其格式化让其变得更具可读性。引入json工具包并用它对crawl_content进行格式化。

import json
print(json.loads(crawl_content.decode('utf8')))
格式化后的crawl_content

此时我们发现内容更加具有可读性,比如这一次请求拿回的条目一共有20条,全部在subjects节点下面。现在我们就可以通过一层一层的节点访问拿到评分最高的20部电影的ID,然后在通过豆瓣电影API去拿到每一部电影的具体信息。


20部电影的具体信息

如果我们只想得到片名和评分之间的一个对应关系,我们可以深入到相应的节点上进行爬取。代码如下:

import urllib.request as request
import json
url = 'https://api.douban.com/v2/movie/top250'
crawl_content = request.urlopen(url).read()
top20 = json.loads(crawl_content.decode('utf8'))['subjects']
for movie in top20:
    url = 'https://api.douban.com/v2/movie/' + movie['id']
    movieContent = request.urlopen(url).read()
    print(json.loads(movieContent.decode('utf8'))['title'] + ': ' + json.loads(movieContent.decode('utf8'))['rating']['average'])
片名与评分

这样我们就通过访问API的方式爬取到了我们所需要的数据。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 167,358评论 24 706
  • 你爬了吗? 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网...
    Albert新荣阅读 1,890评论 0 8
  • 33款可用来抓数据的开源爬虫软件工具 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即...
    visiontry阅读 6,764评论 1 99
  • 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序...
    评评分分阅读 7,491评论 2 121
  • 上周六,我在阳台收桂圆干,豆豆在客厅看到姑姑在忙碌,赶紧跑出来有模有样的帮姑姑把桂圆干收起来,在收的过程中不小心踩...
    婉慧阅读 276评论 0 0
  • Qan_倩阅读 95评论 0 0
  • 又快到周末了,今天不知道写什么,分享一下 思念 作者:马克思 (德) 燕妮,即使大地盘旋回翔, 你比太阳和天空更光...
    虾虾哥阅读 77评论 2 1
  • 李敬泽先生在给《皮囊》的序言中这样说道:“皮囊可以不相信心,可以把心忘掉。但一颗活着、醒着、亮着的心无法拒绝皮囊,...
    黄梅梅阅读 681评论 5 11
  • 作者:张溪桐 今天,我的班主任买了一束花——几朵百合和几枝康乃馨。放在...
    常星慧阅读 575评论 1 2