問(wèn)題：為什么百度pc端的蜘蛛會(huì)抓取移動(dòng)端頁(yè)面？

回答：先看看百度搜索方面怎么說(shuō)

百度爬蟲(chóng)會(huì)盡可能使用移動(dòng)UA抓取移動(dòng)端頁(yè)面，但對(duì)于未知的URL，爬蟲(chóng)不能準(zhǔn)確預(yù)判它是pc端還是移動(dòng)端，所以可能使用pc UA爬蟲(chóng)抓取，只要能正常抓回頁(yè)面，就不會(huì)影響到網(wǎng)站的內(nèi)容收錄。

從百度方面的回答里面，我們可以得出幾個(gè)結(jié)論：

1、百度抓取pc端的蜘蛛和抓取移動(dòng)端的蜘蛛不同，但中間沒(méi)有嚴(yán)格的界線，在預(yù)判不準(zhǔn)確的情況下，這兩種蜘蛛可能會(huì)相互抓取。

2、只要頁(yè)面被抓，不管是pc端還是移動(dòng)端UA抓，都不影響到頁(yè)面收錄。

3、要注意下頁(yè)面URL的處理，方便百度搜索蜘蛛做出更加準(zhǔn)確的判斷，減少兩端蜘蛛交叉抓取。

通過(guò)百度方面的解釋，我們可以很清楚的看到，無(wú)論是百度pc端的蜘蛛抓移動(dòng)頁(yè)面，還是移動(dòng)端的蜘蛛抓pc頁(yè)面，其實(shí)影響都不大。想要減少它們之間的交叉抓取，我們能做的就是把URL處理得更加明顯，幫助蜘蛛來(lái)判斷。