服務(wù)熱線 400-660-5555 （轉(zhuǎn)1）
網(wǎng)站建設(shè)
服務(wù)熱線 400-660-5555 （轉(zhuǎn)1）
網(wǎng)站建設(shè)
一個(gè)新域名，花了幾天的時(shí)間創(chuàng)建了900多個(gè)二級(jí)域名，然后查看服務(wù)器日志，發(fā)現(xiàn)百度抓取規(guī)律，如下圖：
這些IP地址 全是百度的各路蜘蛛，可以到ip138去查，其中/ HTTP/
1.1 代表的是域名首頁的意思，意思就是不含后綴鏈接的意思，比如二級(jí)域名，域名，從日志看發(fā)現(xiàn)百度最先抓取首頁，然后再逐個(gè)的抓取其他二級(jí)域名，然后再列表頁，這也是為什么百度沒有開始收錄內(nèi)容頁原因，百度的原理先必須把網(wǎng)站的整體結(jié)構(gòu)給索引號(hào)，然后最后才抓取內(nèi)容頁， 200代表抓取成功，后面那串五位的數(shù)字是頁面大小的意思，單位為KB。
我們?cè)賮砜垂雀柚┲氲娜罩荆?/p>
看圖可以發(fā)現(xiàn)谷歌在短時(shí)間內(nèi)頻繁訪問sitemap，說明谷歌更注重站點(diǎn)地圖，也就是sitemap.xml文件，另外谷歌是在遵守robots.txt文件下看到鏈接就抓取，并且可以很快得到搜索，但是一定要先搞好網(wǎng)站結(jié)構(gòu)，哪些該抓取哪些不該抓取一定要在建立站之前就設(shè)置好，給谷歌蜘蛛好印象，否則你收錄很多都不會(huì)有搜索。
這是統(tǒng)計(jì)谷歌搜索引擎顯示被用戶搜索到本站的關(guān)鍵字，一個(gè)新站三四天時(shí)間就得到谷歌那么多的搜索，我想很多站長都不會(huì)有這樣的經(jīng)歷。
添加動(dòng)力小姐姐微信
電話咨詢
400-660-5555 （轉(zhuǎn)1）
