防堵網路洗流量機器人

造成官版流量統計很快樂的原因之一
就是網路洗流量機器人在搞鬼
我的精神是我寫網誌是給「人」看的
不在乎流量大小 (網誌裡沒放廣告,個人不喜歡)
但是看到每天會有機器人來晃一晃就不怎麼開心…

關閉讓搜尋引擎尋找是有比較不嚴重
但還是會有特定幾隻機器人天天來很煩
這時後可以從後台設訂一下防堵機器人的東西
至於該放哪些值的話每個人需求都不一樣
這個就要自己請教一下 google 了


Almighty Demiurge
有時候真的會有奇怪的網頁來源增加次數。

跪婦阿冠說故事
我也被機器人洗得很困擾...

Wayne Fu
+Almighty Demiurge 聯想到以前有網友表示,後台 --> 統計資料 --> 流量來源,有一些奇怪的來源網站,其實是要吸引我們的注意,騙我們去點連結...

跪婦阿冠說故事
+Wayne Fu 是啊!我被騙過幾次,但後來就不再點了,怕誤入病毒網站...

Almighty Demiurge
還好我都沒有點,都先用搜尋查一下那是什麼網址。  

Kevin Zhang
那個自訂的robot.txt內容可不可以透露一下?

Julius Zhan
http://gordon168.tw/?p=202

google 本身也有教學說明
https://support.google.com/webmasters/answer/156449?hl=zh-Hant

Kevin Zhang
+Julius Zhan 謝謝哦

Julius Zhan
繼續這個話題
Blogger 反向流量來源可以看出哪些是機器人造成的
比如說 www.google.com.tw/url? + 一大堆字串
這類型的來源十之八九就是機器人

擋掉的辦法在 robots.txt 加入兩行
# Paths (no clean URLs)
Disallow:/http://www.google.com.tw/url?

同理類推
然後是目前看來 Paths 的設定比 User-agent: 的設定重要
這樣的話 Paths 或許不會影響到 SEO?
這方面就需要對這方面程式語言有研究的同好去研究了

最後祝大家都能早點擺脫機器人亂洗版

Timshan Lin
http://www.google.com.tw/url? 的流量並非是機器人造成的,現在透過Google進來的流量都是這種形式。

Julius Zhan
後來發現 paths 不能這樣寫
而且有些機器人也可以辨認 robots.txt 檔繞過去
所以這個辦法也不是一定有用...
只能看 blogger 能不能改記錄流量的方式了

Timshan Lin
我看過幾個實例將網址寫入Javascript 只要有使用者點閱這些網站就會大量的讀取清單中的網址。所以Robots.txt對這種手法無效,因為這些都是來自使用者的流量,只是這些使用者不知道罷了。

◎ 使用 Google 帳號者,勾選「通知我」可收到後續回覆的 mail!
◎ 沒使用 Google 帳號者,發言身份可選「名稱/網址」,來輸入暱稱
◎ 詢問 CSS 、非官方範本問題、或貴站為商業網站 ,請參考「本站諮詢頁面」→「1. 諮詢服務」
◎ 若留言要輸入語法,"<"、">"這兩個符號請用其他符號代替,否則語法會消失!
◎ 若發現留言不見了,通常是因為"複製貼上"的內容常被系統判定為垃圾留言,請不用擔心,我會定期將留言恢復。