美團(tuán)作為線上外賣行業(yè)和餐飲行業(yè)的頭部平臺(tái)，一直是美團(tuán)平臺(tái)上吃喝玩樂(lè)的標(biāo)桿榜單。當(dāng)消費(fèi)者想要在一個(gè)區(qū)域找到吃、喝、玩的時(shí)候，可能會(huì)第一眼就注意到某個(gè)區(qū)域的“奶茶人氣第一”或者“火鍋人氣第一”，相當(dāng)一部分消費(fèi)者會(huì)選擇榜單中的第一家商戶店鋪進(jìn)行消費(fèi)所以，從美團(tuán)商家的角度來(lái)看，如果想要更多的人氣曝光和消費(fèi)流量，不妨考慮一下如何上人氣榜？

 

很多公司會(huì)想搶美團(tuán)上所有的商業(yè)信息，美團(tuán)app對(duì)IP訪問(wèn)次數(shù)有限制，當(dāng)訪問(wèn)次數(shù)達(dá)到一定數(shù)量時(shí)，美團(tuán)會(huì)增加延遲，當(dāng)訪問(wèn)次數(shù)增加時(shí)，會(huì)有驗(yàn)證碼。因此，在爬行時(shí)，需要注意控制訪問(wèn)頻率，并在訪問(wèn)一定次數(shù)后使用ip代理軟件。

 

那么如何批量采集美團(tuán)全國(guó)商戶數(shù)據(jù)呢？

 

在抓取過(guò)程中，我們可以先抓取所有的城市數(shù)據(jù)。

 

當(dāng)查看頁(yè)面代碼時(shí)，發(fā)現(xiàn)它非常規(guī)則，因此可以很容易地對(duì)其進(jìn)行爬取：

 

獲取城市的數(shù)據(jù)并保存在txt文件中，然后我們需要先獲取分類信息：

 

獲得的數(shù)據(jù)將用于拼接成網(wǎng)址鏈接。由于美團(tuán)的部分業(yè)務(wù)數(shù)據(jù)加載了ajax，雖然有辦法處理，但是比較麻煩，所以我決定分類獲取區(qū)/縣和業(yè)務(wù)區(qū)，這樣就不需要處理ajax加載了。

 

然后把之前得到的類型拼接起來(lái)，這樣就可以在一個(gè)商圈里得到一個(gè)小類，范圍比較小，所以業(yè)務(wù)也不多。為了方便下次抓取數(shù)據(jù)，我會(huì)先保存業(yè)務(wù)的url，然后進(jìn)入各個(gè)業(yè)務(wù)獲取數(shù)據(jù)。

 

拿到所有商家的網(wǎng)址后，就是我們的最后一步了，但是需要注意的是，不同類型的數(shù)據(jù)頁(yè)面是不一樣的，比如酒店。

 

因此，對(duì)于不同的類型，需要編寫(xiě)不同的解析函數(shù)。最后，爬行的時(shí)候，不要追求速度。美團(tuán)很嚴(yán)格，最好多線程，幾秒鐘請(qǐng)求一次，然后，我們只能用高匿ip代理替代一個(gè)真實(shí)的用戶ip慢慢爬了。