import requestsimport refrom requests.exceptions import RequestExceptionfrom bs4 import BeautifulSoupimport csvimport timeheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}def get_one_page(url): try: response = requests.get(url,headers = headers) if response.status_code == 200: return response.text return None except RequestException: return Nonedef parse_one_page(content): try: soup = BeautifulSoup(content,'html.parser') items = soup.find('div',class_=re.compile('js-tips-list')) for div in items.find_all('div',class_=re.compile('ershoufang-list')): yield { 'Name':div.find('a',class_=re.compile('js-title')).text, 'Type': div.find('dd', class_=re.compile('size')).contents[1].text,#tag的 .contents 屬性可以將tag的子節(jié)點(diǎn)以列表的方式輸出 'Area':div.find('dd',class_=re.compile('size')).contents[5].text, 'Towards':div.find('dd',class_=re.compile('size')).contents[9].text, 'Floor':div.find('dd',class_=re.compile('size')).contents[13].text.replace('\n',''), 'Decorate':div.find('dd',class_=re.compile('size')).contents[17].text, 'Address':div.find('span',class_=re.compile('area')).text.strip().replace(' ','').replace('\n',''), 'TotalPrice':div.find('span',class_=re.compile('js-price')).text+div.find('span',class_=re.compile('yue')).text, 'Price':div.find('div',class_=re.compile('time')).text } #有一些二手房信息缺少部分信息，如：缺少裝修信息，或者缺少樓層信息，這時(shí)候需要加個(gè)判斷，不然爬取就會(huì)中斷。 if div['Name', 'Type', 'Area', 'Towards', 'Floor', 'Decorate', 'Address', 'TotalPrice', 'Price'] == None: return None except Exception: return Nonedef main(): for i in range(1,50): url = 'http://bj.ganji.com/fang5/o{}/'.format(i) content = get_one_page(url) print('第{}頁(yè)抓取完畢'.format(i)) for div in parse_one_page(content): print(div) with open('Data.csv', 'a', newline='') as f: # Data.csv 文件存儲(chǔ)的路徑,如果默認(rèn)路徑就直接寫(xiě)文件名即可。 fieldnames = ['Name', 'Type', 'Area', 'Towards', 'Floor', 'Decorate', 'Address', 'TotalPrice', 'Price'] writer = csv.DictWriter(f, fieldnames=fieldnames) writer.writeheader() for item in parse_one_page(content): writer.writerow(item) time.sleep(3)#設(shè)置爬取頻率，一開(kāi)始我就是爬取的太猛，導(dǎo)致網(wǎng)頁(yè)需要驗(yàn)證。if __name__=='__main__':

正則爬?。何已芯苛撕镁?，還是沒(méi)有解決。

這一過(guò)程中容易遇見(jiàn)的問(wèn)題有：

有一些房屋缺少部分信息，如缺少裝修信息，這個(gè)時(shí)候需要加一個(gè)判斷，如果不加判斷，爬取就會(huì)自動(dòng)終止(我在這里跌了很大的坑)。

Data.csv知識(shí)點(diǎn)存儲(chǔ)文件路徑默認(rèn)是工作目錄，關(guān)于Python中如何查看工作目錄：

import os #查看pyhton 的默認(rèn)工作目錄print(os.getcwd())#修改時(shí)工作目錄os.chdir('e:\\workpython')print(os.getcwd())#輸出工作目錄e:\workpython

爬蟲(chóng)打印的是字典形式，每個(gè)房屋信息都是一個(gè)字典，由于Python中excel相關(guān)庫(kù)是知識(shí)盲點(diǎn)，所以爬蟲(chóng)的時(shí)候?qū)⒆值溲h(huán)直接寫(xiě)入了CSV。

Pycharm中打印如下：

將字典循環(huán)直接寫(xiě)入CSV效果如下：

很多初學(xué)者對(duì)于Address不知如何處理，這里強(qiáng)調(diào)一下Beautiful Soup 中.contents的用法，親身體會(huì)，我在這里花了好多時(shí)間才找到答案。

R對(duì)爬取的二手房房?jī)r(jià)做一般線性回歸分析

下面我們用R對(duì)抓取的趕集網(wǎng)北京二手房數(shù)據(jù)做一些簡(jiǎn)單的分析。

數(shù)據(jù)的說(shuō)明

Name：主要是商家的醒目標(biāo)題，不具備分析參考意義Type：臥室數(shù)、客廳數(shù)、衛(wèi)生間數(shù)Area：面積(平方米)Towards：朝向Floor：樓層Decorate：裝修情況，如精裝修、簡(jiǎn)單裝修、毛坯房Address：二手房的地址TotalPrice：總價(jià)Price：均價(jià)(元/平方米)

數(shù)據(jù)清洗

data<-read.csv("E://Data For R/RData/data.csv")DATA<-data[,-c(1,7)]#將Name和Address兩列去掉DATA[sample(1:nrow(DATA),size=10),]

#在爬取的時(shí)候加入了判斷，所以不知道爬取的數(shù)據(jù)中是否存在缺失值，這里檢查一下colSums(is.na(DATA))

#這里將Type的臥室客廳和衛(wèi)生間分為三個(gè)不同的列##這里需要注意，有一些房屋沒(méi)有客廳如：1室1衛(wèi)這時(shí)候需要單獨(dú)處理，還有一些沒(méi)有廁所信息。library(tidyr)library(stringr)DATA=separate(data=DATA,col=Type,into = c("Bedrooms","Halls"),sep="室")DATA=separate(data=DATA,col=Halls,into = c("Halls","Toilet"),sep="廳")##將衛(wèi)生間后面的漢字去掉DATA$Toilet<-str_replace(DATA$Toilet,"衛(wèi)","")###如圖六，將Halls中帶有漢字去掉，因?yàn)橛幸恍┓课菪畔](méi)有客廳，如：1室1廳，在分成臥室和客廳時(shí)，會(huì)將衛(wèi)生間分到客廳一列。DATA$Halls<-str_replace(DATA$Halls,"衛(wèi)","")##取出沒(méi)有客廳信息的數(shù)據(jù)，這些數(shù)據(jù)被separate到Halls列newdata<-DATA[which(DATA$Toilet %in% NA),2]newdata##將沒(méi)有客廳的房屋信息Halls列填充為0DATA[which(DATA$Toilet %in% NA),2]<-0DATA[which(DATA$Toilet %in% NA),3]<-newdatacolSums(DATA=="") Bedrooms Halls Toilet Area Towards Floor Decorate 0 0 2 0 0 0 0 TotalPrice Price 0 0 ##發(fā)現(xiàn)有2個(gè)廁所沒(méi)有信息,將其填寫(xiě)為0。DATA$Toilet[DATA$Toilet == ""]<-0

##這里將Area后的㎡去掉DATA$Area<-str_replace(DATA$Area,"㎡","")##查看Towards的類型table(DATA$Towards)Towards 北向 東北向 東南向 東西向 東向 南北向 南向 西北向 51 25 23 50 65 32 1901 678 38 西南向 西向 28 26 ##將Floor信息帶括號(hào)的全部去除DATA$Floor<-str_replace(DATA$Floor,"[(].*[)]","")##正則表達(dá)式#查看Floor的類別信息 低層 地下 高層 共1層 共2層 共3層 共4層 共5層 中層 632 32 790 36 61 101 68 130 1016 #分別將TotalPrice和Price后面的萬(wàn)元、元/㎡去掉DATA$TotalPrice<-str_replace(DATA$TotalPrice,"萬(wàn)元","")DATA$Price<-str_replace(DATA$Price,"元/㎡","")head(DATA)

##將數(shù)據(jù)轉(zhuǎn)換格式DATA$Bedrooms<-as.factor(DATA$Bedrooms)DATA$Halls<-as.factor(DATA$Halls)DATA$Toilet<-as.factor(DATA$Toilet)DATA$Area<-as.numeric(DATA$Area)DATA$TotalPrice<-as.numeric(DATA$TotalPrice)DATA$Price<-as.numeric(DATA$Price)DATA$Towards<-as.factor(DATA$Towards)DATA$Decorate<-as.factor(DATA$Decorate)str(DATA)

以上數(shù)據(jù)清洗完畢。

描述性分析

這部分的

版權(quán)說(shuō)明： 本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！

標(biāo)簽：