頻寬被搜尋引擎佔用？

這個月上班族投資理財網站的頻寬超過5G，導致3/25、3/26、3/27一些人無法連上網站，所以需要再升級我的虛擬主機服務，讓每月的頻寬上限增加到10G，我觀察自己的awstats其實被awstats紀錄到的頻寬流量應該祇有3G，其他2G都跑到哪裡去了，主機商的回覆應該是被搜尋引擎佔用，因為發生在月初的第一天，流量暴增到平常的4倍，但是這只有解釋了一天，但是其他日子awstats紀錄到的頻寬流量還是與cpanel的流量監控數字不合，awstats紀錄到的頻寬流量少很多。

決定來刪除一些搜尋引擎的流量，最主要的來訪者來源yahoo、google當然不動，之後的小搜尋引擎，決定在robots.txt中，宣告不歡迎其他搜尋引擎來使用我上班族投資理財網站的頻寬，看看下一個月會不會好點。如果都是有效的流量，我當然沒問題，很高興的去付錢，但是如果有不知名的搜尋引擎，耗掉我大量流量，又沒有帶來足夠的推薦點閱率，則和我設置網站的目標不合。