網站日志看蜘蛛對內容關系的分析要點

作者 Admin 瀏覽 發布時間 12/12/14

 我看了網站日志,里面有好多類似于 80 200 0 0 47185 286 109

請問這個是什么意思啊,是正確的抓取并返回嗎?請老師幫忙解讀下上面的意思
得對照著服務器記錄字段看才行,你聯系空間商問下,或者看日志開頭的#Fields
參考一下吧:
服務器端口為80
協議狀態為200(表示成功)
協議子狀態為0(表示成功)
Win32狀態為0(表示成功。有的是64,表示指定的網絡名不再可用。)
發送的字節大小為47185(蜘蛛抓取該頁面的大小為47185,單位為字節。)
 
而分析日志我們知道 網站的收錄與蜘蛛抓取非常相關 抓取量大說明網站頁面受到蜘蛛的喜歡 
 
所以:
1.抓取量與平均抓取量的提升與下降 可以看出網站的結構情況 蜘蛛總訪問量說明網站的規模
2.結合網站流量趨勢 蜘蛛爬取趨勢圖 大幅度減少流量是不正常的 而在不正常的情況下同時間段的蜘蛛爬行也會出現異常 如返回碼是否增加 服務器是否穩定等等。
3.平均停留時間說明蜘蛛爬行一個頁面花費,減少這個時間無疑對網站有重要意義
4.網頁加載速度的提升會減少蜘蛛平均停留時間 增加平均抓取量
5.唯一抓取量的數據,可以分析出網站是否讓蜘蛛不斷爬行無效頁面 是否浪費很多蜘蛛 從蜘蛛重復率也是同理 重復抓取并不能讓收錄量提升 而收錄量與網站整體權重與排名 和流量有很大關系
6.還有一點 搜索引擎在更新時,蜘蛛會出現異常,比如算法更新時,蜘蛛總訪問還是不斷增加的
7.蜘蛛抓取間隔時間,這個在日志中可以看到,會從間隔時間的變化分析出網站在服務器端的問題
 
 
 
鹽城市高朋網絡科技有限公司 公司地址:鹽城市亭湖區文港南路悅達新村7幢506室 聯系電話:0515-88333351
鹽城網絡公司 Copyright 2011-2012 www.oekzqo.live 版權所有 禁止轉載
鄂B2-20030044
云南快乐10分中奖明细