發(fā)布者:大尋網(wǎng)絡(luò)|TIME : 2017-01-09
廈門網(wǎng)站建設(shè):即便很多站長知道了如何判斷百度蜘蛛,仍然會(huì)不斷地問“百度蜘蛛IP是多少”。我們理解站長的意思,是想將百度蜘蛛所在IP加入白名單,只準(zhǔn)白名單下IP對(duì)網(wǎng)站進(jìn)行抓取,避免被采集等行為。
但我們不建議站長這樣做。雖然百度蜘蛛的確有一個(gè)IP池,真實(shí)IP在這個(gè)IP池內(nèi)切換,但是我們無法保證這個(gè)IP池整體不會(huì)發(fā)生變化。所以,我們建議站長勤看日志,發(fā)現(xiàn)惡意蜘蛛后放入黑名單,以保證百度的正常抓取。
同時(shí),我們?cè)俅螐?qiáng)調(diào),通過IP來分辨百度蜘蛛的屬性是非常可笑的事情,所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來都不存在的。(廈門網(wǎng)站建設(shè)文章來自百度新聞)
聯(lián)系地址:廈門市軟件園二期望海路23號(hào)之二204|A3~A5
電話:0592-5786385
傳真:0592-5786385
QQ:413141903