網頁遭 robots.txt 封鎖

在google網站管理員的畫面
從Google索引狀態會發現有372個網頁遭 robots.txt 封鎖,
請問有辦法解決嗎?

11 則留言:

  1. Blogger 網站預設的 robots.txt 內容通常如以下:

    User-agent: *
    Disallow: /search
    Allow: /

    其中 "Disallow" 代表封鎖的意思,"/search" 代表搜尋頁面、標籤頁面等等網址,都會被封鎖。

    "搜尋頁面" 是比較不重要的內容,而 "標籤頁面" 的內容會跟文章頁面重複,因此將這些頁面封鎖,可以避免機器人爬取不必要的資訊,可以減少 google 索引的時間及工作量。

    所以原 PO 提問的狀況是正常的,可不必擔心,除非你曾手動更改了 robot.txt 的內容。

    回覆刪除
  2. 站長您好:

    日前收到 索引 來信(內容如下),看到這幾個字「索引涵蓋範圍問題可能會導致網站在Google 搜尋結果中的排名降低」,有點擔心。 但不知道 該怎麼解??

    煩請不吝指導

    感激不盡

    Jerry

    ────────────────────────────
    Google Search Console
    偵測到網站「https://u7804156.blogspot.com/」有新的索引涵蓋範圍問題

    https://u7804156.blogspot.com/ 擁有者您好:

    Search Console 在您的網站上找到1 個新的索引涵蓋範圍相關 問題, 這表示索引涵蓋範圍問題可能會導致網站在Google 搜尋結果中的排名降低。建議您詳查 這個問題,並儘快處理。

    發現新的問題:
    已建立索引,但遭到robots.txt 封鎖

    回覆刪除
    回覆
    1. 請見 https://www.wfublog.com/2018/04/blogger-google-console-index-coverage.html

      刪除
    2. 謝謝 站長 回應。站長,就是強!

      刪除
  3. 站長您好,我部落個有一篇文章在Google Search console中顯示網址不在Google服務中,要求建立索引後,測試報告裡面有提到遭到robots.txt封鎖,可以請問如何解決此問題嗎?謝謝!

    回覆刪除
    回覆
    1. 請看看 https://www.wfublog.com/2018/04/blogger-google-console-index-coverage.html 有沒有你要的答案

      刪除
  4. 謝謝站長,已爬過上文,我的 robot.txt為:
    User-agent: *
    Disallow: /search
    Allow:/
    Sitemap: https://farahontheroad.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
    Sitemap: https://farahontheroad.blogspot.com/sitemap.xml

    仍無法搜尋到該篇文章,不知道是哪裡出了問題,考慮用很笨的方式--把文章刪除再重發一次看能否改善?!

    回覆刪除
    回覆
    1. 搜尋不到文章可參考 https://www.wfublog.com/2016/01/google-search-result-faq.html

      刪除
  5. 站長您好,我的網站文章一直無法被索引,搜尋到您的文章,跟站長的不一樣,不知道是否是網站設定問題,我的 robot.txt為:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Sitemap: https://www.agentulife.com/sitemap_index.xml
    Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

    可以請問如何解決此問題嗎?謝謝!

    回覆刪除
    回覆
    1. 看來你的文章架在 WP,這裡是 Blogger 討論區,所以建議找 WP 討論區問喔

      刪除
    2. (走錯棚了)好的,謝謝站長

      刪除

◎ 使用 Google 帳號者,勾選「通知我」可收到後續回覆的 mail!
◎ 沒使用 Google 帳號者,發言身份可選「名稱/網址」,來輸入暱稱
◎ 詢問 CSS 、非官方範本問題、或貴站為商業網站 ,請參考「Blogger 免費諮詢 + 付費諮詢
◎ 若留言要輸入語法,"<"、">"這兩個符號請用其他符號代替,否則語法會消失!
◎ 若發現留言不見了,通常是因為"複製貼上"的內容常被系統判定為垃圾留言,請不用擔心,我會定期將留言恢復。