分分鐘扒一個(gè)網(wǎng)頁下來

怎樣扒網(wǎng)頁呢？其實(shí)就是根據(jù)URL來獲取它的網(wǎng)頁信息，雖然我們在瀏覽器中看到的是一幅幅優(yōu)美的畫面，但是其實(shí)是由瀏覽器解釋才呈現(xiàn)出來的，實(shí)質(zhì)它是一段 HTML 代碼，加 JS、CSS，如果把網(wǎng)頁比作一個(gè)人，那么 HTML 便是他的骨架，JS 便是他的肌肉，CSS 便是它的衣服。所以最重要的部分是存在于 HTML 中的，下面我們就寫個(gè)例子來扒一個(gè)網(wǎng)頁下來。

import urllib2  
response = urllib2.urlopen("http://www.baidu.com")
print response.read()

是的你沒看錯(cuò)，真正的程序就兩行，把它保存成 demo.py，進(jìn)入該文件的目錄，執(zhí)行如下命令查看運(yùn)行結(jié)果，感受一下。

python demo.py

http://wiki.jikexueyuan.com/project/python-crawler-guide/images/01.png" alt="" />

看，這個(gè)網(wǎng)頁的源碼已經(jīng)被我們扒下來了，是不是很酸爽？

分析扒網(wǎng)頁的方法

那么我們來分析這兩行代碼，第一行

response = urllib2.urlopen("http://www.baidu.com")  

首先我們調(diào)用的是 urllib2 庫里面的 urlopen 方法，傳入一個(gè) URL，這個(gè)網(wǎng)址是百度首頁，協(xié)議是 HTTP 協(xié)議，當(dāng)然你也可以把 HTTP 換做 FTP,FILE,HTTPS 等等，只是代表了一種訪問控制協(xié)議，urlopen 一般接受三個(gè)參數(shù)，它的參數(shù)如下：

urlopen(url, data, timeout)   

第一個(gè)參數(shù) url 即為 URL，第二個(gè)參數(shù) data 是訪問 URL 時(shí)要傳送的數(shù)據(jù)，第三個(gè) timeout是設(shè)置超時(shí)時(shí)間。

第二三個(gè)參數(shù)是可以不傳送的，data 默認(rèn)為空 None，timeout 默認(rèn)為 socket._GLOBAL_DEFAULT_TIMEOUT

第一個(gè)參數(shù) URL 是必須要傳送的，在這個(gè)例子里面我們傳送了百度的 URL，執(zhí)行 urlopen 方法之后，返回一個(gè) response 對象，返回信息便保存在這里面。

print response.read()  

response 對象有一個(gè) read 方法，可以返回獲取到的網(wǎng)頁內(nèi)容。

如果不加 read 直接打印會是什么？答案如下：

<addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>>  

直接打印出了該對象的描述，所以記得一定要加 read 方法，否則它不出來內(nèi)容可就不怪我咯！

構(gòu)造 Requset

其實(shí)上面的 urlopen 參數(shù)可以傳入一個(gè) request 請求,它其實(shí)就是一個(gè) Request 類的實(shí)例，構(gòu)造時(shí)需要傳入 Url,Data 等等的內(nèi)容。比如上面的兩行代碼，我們可以這么改寫

import urllib2
request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()  

運(yùn)行結(jié)果是完全一樣的，只不過中間多了一個(gè) request 對象，推薦大家這么寫，因?yàn)樵跇?gòu)建請求時(shí)還需要加入好多內(nèi)容，通過構(gòu)建一個(gè) request，服務(wù)器響應(yīng)請求得到應(yīng)答，這樣顯得邏輯上清晰明確。

POST 和 GET 數(shù)據(jù)傳送

上面的程序演示了最基本的網(wǎng)頁抓取，不過，現(xiàn)在大多數(shù)網(wǎng)站都是動態(tài)網(wǎng)頁，需要你動態(tài)地傳遞參數(shù)給它，它做出對應(yīng)的響應(yīng)。所以，在訪問時(shí)，我們需要傳遞數(shù)據(jù)給它。最常見的情況是什么？對了，就是登錄注冊的時(shí)候呀。

把數(shù)據(jù)用戶名和密碼傳送到一個(gè) URL，然后你得到服務(wù)器處理之后的響應(yīng)，這個(gè)該怎么辦？下面讓我來為小伙伴們揭曉吧！

數(shù)據(jù)傳送分為 POST 和 GET 兩種方式，兩種方式有什么區(qū)別呢？

最重要的區(qū)別是 GET 方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)，當(dāng)然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內(nèi)容。POST 則不會在網(wǎng)址上顯示所有的參數(shù)，不過如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。

POST 方式：

上面我們說了 data 參數(shù)是干嘛的？對了，它就是用在這里的，我們傳送的數(shù)據(jù)就是這個(gè)參數(shù)data，下面演示一下 POST 方式。

import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values) 
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()  

我們引入了 urllib 庫，現(xiàn)在我們模擬登陸 CSDN，當(dāng)然上述代碼可能登陸不進(jìn)去，因?yàn)檫€要做一些設(shè)置頭部 header 的工作，或者還有一些參數(shù)沒有設(shè)置全，還沒有提及到在此就不寫上去了，在此只是說明登錄的原理。我們需要定義一個(gè)字典，名字為 values，參數(shù)我設(shè)置了 username 和 password，下面利用 urllib 的 urlencode 方法將字典編碼，命名為 data，構(gòu)建 request 時(shí)傳入兩個(gè)參數(shù)，url 和 data，運(yùn)行程序，即可實(shí)現(xiàn)登陸，返回的便是登陸后呈現(xiàn)的頁面內(nèi)容。當(dāng)然你可以自己搭建一個(gè)服務(wù)器來測試一下。

注意上面字典的定義方式還有一種，下面的寫法是等價(jià)的

import urllib
import urllib2
values = {}
values['username'] = "1016903103@qq.com"
values['password'] = "XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()  

以上方法便實(shí)現(xiàn)了 POST 方式的傳送

GET 方式：

至于 GET 方式我們可以直接把參數(shù)寫到網(wǎng)址上面，直接構(gòu)建一個(gè)帶參數(shù)的 URL 出來即可。

import urllib
import urllib2
values = {}
values['username'] = "1016903103@qq.com"
values['password'] = "XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()  

你可以 print geturl，打印輸出一下 url，發(fā)現(xiàn)其實(shí)就是原來的 url 加？然后加編碼后的參數(shù)

http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX   

和我們平常 GET 訪問方式一模一樣，這樣就實(shí)現(xiàn)了數(shù)據(jù)的 GET 方式傳送。