網頁遭 robots.txt 封鎖

在google網站管理員的畫面
從Google索引狀態會發現有372個網頁遭 robots.txt 封鎖,
請問有辦法解決嗎?

1 則留言:

  1. Blogger 網站預設的 robots.txt 內容通常如以下:

    User-agent: *
    Disallow: /search
    Allow: /

    其中 "Disallow" 代表封鎖的意思,"/search" 代表搜尋頁面、標籤頁面等等網址,都會被封鎖。

    "搜尋頁面" 是比較不重要的內容,而 "標籤頁面" 的內容會跟文章頁面重複,因此將這些頁面封鎖,可以避免機器人爬取不必要的資訊,可以減少 google 索引的時間及工作量。

    所以原 PO 提問的狀況是正常的,可不必擔心,除非你曾手動更改了 robot.txt 的內容。

    回覆刪除

◎ 使用 Google 帳號者,勾選「通知我」可收到後續回覆的 mail!
◎ 沒使用 Google 帳號者,發言身份可選「名稱/網址」,來輸入暱稱
◎ 詢問 CSS 、非官方範本問題、或貴站為商業網站 ,請參考「本站諮詢頁面」→「1. 諮詢服務」
◎ 若留言要輸入語法,"<"、">"這兩個符號請用其他符號代替,否則語法會消失!
◎ 若發現留言不見了,通常是因為"複製貼上"的內容常被系統判定為垃圾留言,請不用擔心,我會定期將留言恢復。