3. 网络爬虫-GET请求示例

网络爬虫 fireling 5081℃ 0评论

GET请求一般用于我们向服务器查询的过程,比如说,百度搜索“宁哥的小站”,如图所示,浏览器的url会跳转成如图所示

1

 

在其中我们可以看到在”http://www.baidu.com/s?”之后出现一个长长的字符串,其中就包含我们要查询的关键词。那么,我们在编程过程中,如何配置这段字符串参数呢?

在Chrome浏览器中,我们可以看到,请求的数据包含在请求头的Query String Parameters中,其实我们可以将这些字段都写在程序中,也可以摘取其中必要的部分,而不是全部。

2

 

比较关键的是wd字段,这里我们只是把wd字段提取出来,写成词典,然后通过程序编码,配置成GET请求的url,再通过一般的程序抓取手段,可以得到我们查询的页面。程序如下:

3

 

转载请注明:宁哥的小站 » 3. 网络爬虫-GET请求示例

喜欢 (15)

您必须 登录 才能发表评论!