2020-05-29 学习R语言批量爬取NCBI基因注释数据

python爬虫的教程那么多,有些杂乱,学习了2周好多基础知识还不清楚,但是我学习的目的还是为了用起来,很多学习也是没有必要的,那就学点实用的吧。

本来在学习利用selenium模块爬取pubmed数据,奈何解析网页这步有点卡住了,我得去补习点CSS selectorXpath表达式等,无法复现下面2位作者的代码(主要是请求超时问题没法解决,python代码不太熟悉,对函数定义这块感觉比R要复杂)

那就来学习一下R语言爬虫吧:
image.png

其实学习了python爬虫的基础之后用R语言来进行数据爬取也是很便利的。

参考学习资料:R语言批量爬取NCBI基因注释数据

使用R语言批量爬取NCBI基因注释信息,主要用到了XML包的getNodeSet函数。需要使用者有一定html+css基础,以及理解并能使用XML路径语言(xpath)。

使用R爬取NCBI人类基因信息流程如下:

首先准备目标基因文件,我们以下面这几个基因(gene symbol的形式)为例进行爬取其在NCBI(gene)中的信息,基因列表"FOXC1" "BMP6" "GNMT" "SRF" "VEGFA" "MUT" "TFAP2B" "BMP5" "ANKRD6" "AMD1" "GJA1" "DLL1",可以自行编辑:

image.png

然后再读入R:

读入数据

library(RCurl)
library(stringr)
library(XML)
library(clusterProfiler)

rm(list=ls())
# 读入基因列表:
genes <- read.table("test_genes",header = T,stringsAsFactors = F)

image.png

从下图可以发现NCBI对于基因页面的索引方式都是 https://www.ncbi.nlm.nih.gov/gene/Entrze ID 的方式。
image.png

ID转换

所以我们需要将gene symbos转为entrze ID,这里使用clusterProfiler包的bitr函数进行转换:

# 将gene symbol转为entrze ID:
genes <- bitr(genes$SYMBOL, fromType="SYMBOL", toType="ENTREZID", OrgDb="org.Hs.eg.db")
image.png

获取索引链接

然后获得每个基因在NCBI中的索引链接:

# 网址数据框:
genes$NCBI_url <- paste("https://www.ncbi.nlm.nih.gov/gene/",genes$ENTREZID,sep="")
head(genes)
image.png

使用XML包的getNodeSet()函数需要两个参数,一个是根据URL获得的网页XML document对象,另一个是要定位的节点(xpath格式)。

我们可以在不了解语法的情况下获得要定位节点的xpath。只需要在chrome浏览器里打开NCBI的gene信息页面,我们以基因VEGFA为例,打开chrome浏览器自带的开发者工具(F12,或者右键inspect):

image.png

示例

比如说我们要爬取基因的Official Full name信息,我们只需要在调出来的开发者工具栏右上角点几下那个小箭头,然后在点下Official Full name然后在右上方的源代码显示Official Full name的位置点击右键,选择Copy,Copy XPath
会得到如下字段:

# Official Symbol: //*[@id="summaryDl"]/dd[1]
# Official Full name的xpath://*[@id="summaryDl"]/dd[2]

使用同样的方法,我们可以获得基因的HGNC ID,Gene type和Summary等任何部分的xpath。

# HGNC ID的xpath://*[@id="summaryDl"]/dd[3]/a
# Gene type的xpath://*[@id="summaryDl"]/dd[5]/text()
# Summary的xpath://*[@id="summaryDl"]/dd[10]/text()

到这里准备工作就结束了,接下来构建并调用函数来爬取每个基因这4个字段的信息:

构建并调用函数来爬取相应字段信息

# 根据xpath获取节点内容:
getNodesTxt <- function(html_txt1,xpath_p){
  els1 = getNodeSet(html_txt1, xpath_p)
  # 获得Node的内容,并且去除空字符:
  els1_txt <- sapply(els1,xmlValue)[!(sapply(els1,xmlValue)=="")]
  # 去除\n:
  str_replace_all(els1_txt,"(\\n )+","")
}

# 处理节点格式,为character且长度为0的赋值为NA:
dealNodeTxt <- function(NodeTxt){
  ifelse(is.character(NodeTxt)==T && length(NodeTxt)!=0 , NodeTxt , NA)
}

使用一个for循环获得每个基因的信息并存储到数据框:

for(i in 1:nrow(genes)){
  # 获得网址:
  doc <- getURL(genes[i,"NCBI_url"])
  cat("成功获得网页!\t")
  # 获得网页内容
  html_txt1 = htmlParse(doc, asText = TRUE)
  
  # 获得Full Name:
  genes[i,"FullName"] <- dealNodeTxt(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[2]/text()'))
  cat("写入基因\t")
  # 获得HGNC ID:
  genes[i,"HGNC_ID"] <- str_replace_all(dealNodeTxt(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[3]/a')),"HGNC|:","")
  cat("写入HGNC_ID\t")
  # 获得Gene type:
  genes[i,"GeneType"] <- dealNodeTxt(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[5]/text()'))
  cat("写入GeneType\t")
  # 获得summary:
  genes[i,"Summary"] <- ifelse(length(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[10]/text()'))!=0,getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[10]/text()'),NA)
  cat("写入Summary\n")
  
  print(paste("完成第",i,"个了!"))

}

image.png

运行需要一些时间。
有一个问题是,有可能爬取数据过多,导致服务器超载,可能你的IP地址会被封停。
更多学习资料:
爬虫最怕遇到JavaScript依赖性的动态网页:
https://mp.weixin.qq.com/s/HgjtRcSOlGhORhuq3q6t2w
在R里面配置selenium爬虫环境:
https://mp.weixin.qq.com/s/KGiw3MI4qE52e-i8Y4mrpg
selenium爬虫操作网页(实战篇):
https://mp.weixin.qq.com/s/0biX2p6EAQNLiSJoPIZgbw