防堵網路洗流量機器人

造成官版流量統計很快樂的原因之一
就是網路洗流量機器人在搞鬼
我的精神是我寫網誌是給「人」看的
不在乎流量大小 (網誌裡沒放廣告，個人不喜歡)
但是看到每天會有機器人來晃一晃就不怎麼開心…

關閉讓搜尋引擎尋找是有比較不嚴重
但還是會有特定幾隻機器人天天來很煩
這時後可以從後台設訂一下防堵機器人的東西
至於該放哪些值的話每個人需求都不一樣
這個就要自己請教一下 google 了


Almighty Demiurge
有時候真的會有奇怪的網頁來源增加次數。

跪婦阿冠說故事
我也被機器人洗得很困擾...

Wayne Fu
+Almighty Demiurge 聯想到以前有網友表示，後台 --> 統計資料 --> 流量來源，有一些奇怪的來源網站，其實是要吸引我們的注意，騙我們去點連結...

跪婦阿冠說故事
+Wayne Fu 是啊！我被騙過幾次，但後來就不再點了，怕誤入病毒網站...

Almighty Demiurge
還好我都沒有點，都先用搜尋查一下那是什麼網址。  

Kevin Zhang
那個自訂的robot.txt內容可不可以透露一下？

Julius Zhan
http://gordon168.tw/?p=202

google 本身也有教學說明
https://support.google.com/webmasters/answer/156449?hl=zh-Hant

Kevin Zhang
+Julius Zhan 謝謝哦

Julius Zhan
繼續這個話題
Blogger 反向流量來源可以看出哪些是機器人造成的
比如說 www.google.com.tw/url? + 一大堆字串
這類型的來源十之八九就是機器人

擋掉的辦法在 robots.txt 加入兩行
# Paths (no clean URLs)
Disallow:/http://www.google.com.tw/url?

同理類推
然後是目前看來 Paths 的設定比 User-agent: 的設定重要
這樣的話 Paths 或許不會影響到 SEO？
這方面就需要對這方面程式語言有研究的同好去研究了

最後祝大家都能早點擺脫機器人亂洗版

Timshan Lin
http://www.google.com.tw/url? 的流量並非是機器人造成的，現在透過Google進來的流量都是這種形式。

Julius Zhan
後來發現 paths 不能這樣寫
而且有些機器人也可以辨認 robots.txt 檔繞過去
所以這個辦法也不是一定有用...
只能看 blogger 能不能改記錄流量的方式了

Timshan Lin
我看過幾個實例將網址寫入Javascript 只要有使用者點閱這些網站就會大量的讀取清單中的網址。所以Robots.txt對這種手法無效，因為這些都是來自使用者的流量，只是這些使用者不知道罷了。