兩個Wordpress SEO問題都起因於robots.txt擋到googlebot爬文
Submitted URL not found (404) 找不到已提交的網址 (404)
某日我在檢查404頁面時,發現googlebot在爬我的草稿頁,索性在本站robots.txt寫上
Disallow: /?p=*
Submitted URL has crawl issue 已提交的網址發生檢索問題
然後我又看到googlebot在爬我的cache,想說那應該沒啥用,就一樣在robots.txt加上
Disallow: /wp-content/cache/
同樣的圖我就不放第二次了,總之…
解法
- 草稿文章頁面都加上<meta name=”robots” content=”noindex,nofollow,noarchive”/>。
- 將以上robots.txt內容都拿掉。
googlebot表示: