分类:网络爬虫

3. 网络爬虫-GET请求示例

3. 网络爬虫-GET请求示例
GET请求一般用于我们向服务器查询的过程,比如说,百度搜索“宁哥的小站”,如图所示,浏览器的url会跳转成如图所示   在其中我们可以看到在”http://www.baidu.com/s?”之后出现一个长长的字符串,其中就包含我们要查询的关键词...

fireling 4年前 (2015-01-27) 10103℃ 0评论 26喜欢

2. 网络爬虫-GET请求与POST请求

2. 网络爬虫-GET请求与POST请求
HTTP定义了与服务器交互的不同方法,最基本的方法有4种,分别是GET,POST,PUT,DELETE。URL全称是资源描述符,我们可以这样认为:一个URL地址,它用于描述一个网络上的资源,而HTTP中的GET,POST,PUT,DELETE就对应着对这个资源的查,改,增,删4个...

fireling 4年前 (2015-01-27) 9368℃ 0评论 46喜欢

1. 最基本的爬虫

1. 最基本的爬虫
网络爬虫是当前互联网比较流行的概念,特别是对于搜索引擎、数据处理等,都需要我们从网上去“取”一些符合要求的数据。总的来说,一般的爬虫分为两个功能模块,也就是取数据和存数据。 取数据是爬虫的关键,特别对于一些具有“防御性”的情况,比如说网站需要登陆的情况,需要挂代理访问的情况,需要...

fireling 4年前 (2015-01-23) 16517℃ 0评论 136喜欢