Google的XML Sitemap錯誤是什麼?
這個問題與Google如何處理和驗證XML網站地圖文件有關, http://www.erjiche.com 小兒推拿加盟, 特別是那些通過ping機制提交的檔。
http://www.erjiche.com 小兒推拿加盟,
網站地圖可以通過robots.txt檔中的條目直接提交到Google Search Console, 也可以通過將網站地圖URL發送到Google提供的特殊端點來“ping”它們。
對於GSC和robots.txt條目, 由於您已進入域的GSC或robots.txt檔, 這些顯然被認證為真正的, 但對於ping網址, Google似乎僅僅通過查看域中的功能變數名稱來決定它們是否值得信賴您發送的網址。
問題是, 如果此網址重定向到其他地方, 甚至是不同的網域, Google仍然會將其視為屬於該原始網址。
因此, 舉例來說, 我可能會提交apples.com/sitemap.xml的網站地圖網址, 但該網址可能會重定向到oranges.com/sitemap.xml, 但Google仍然會將該XML網站地圖關聯為屬於apples.com。
什麼是開放重定向?
許多網站屈服於一種稱為“開放重定向”的操作形式, 攻擊者可以欺騙網站將其重定向到他們選擇的位置。
一個例子可能是具有登錄機制的網站,
在我的研究中, 我發現在Facebook, LinkedIn, Tesco和其他一些網站(我已經報導了所有這些, 許多已經修復)的開放重定向。
為了說明它們的廣泛程度, Google的漏洞獎勵計畫明確排除了開放的重定向, 作為符合條件的獎勵(實際上Google已知有公開的重定向)。
這使得有機會通過合法網站上的開放重定向來ping網站地圖, 該網站將重定向到攻擊者網站上託管的XML文件。
例如, 通過在網址apples.com/logout.php?continue=http://evil.com/sitemap.xml中提交網站地圖, Google會將其視為apples.com的真實網站地圖, 但它實際上會在evil.com上託管。
此時, evil.com可以提交apples.com的網站地圖, 並通過在這些網站地圖中包含hreflang條目, 它可以利用apples.com的權益(PageRank)對搜索結果進行排名, 但它沒有合法的權利。
你是受害者, 現在是否超過?
自消息公開以來,
我當然可以理解為什麼。
嘗試理解為什麼其他網站對你的排名非常好, 或者為什麼你的網站突然在性能上出現低谷, 有時會讓人感到非常沮喪。
對這些邊緣案例進行解釋肯定是有吸引力的。
到目前為止, 我還沒有看到任何讓我相信這個bug在野外被利用的東西。
穀歌是一個複雜的野獸, 可能有各種解釋為什麼某些網站排名的方式, 但目前我仍然相信, 這個錯誤是其中之一。
如果您擔心這是您的受害者, 那麼它唯一留下的真正足跡就是您的伺服器日誌中的一條記錄,
這是你可以檢查的最好的東西。
在我的實驗中, 我經常重新檢查站點地圖, 但即使沒有重複, 我相信Google總是會通過開放式重定向進行訪問, 所以您應該在伺服器日誌中看到條目。
這會改變關於XML網站地圖的任何內容嗎?
是。 當hreflang條目將被使用時它會改變。
Google將不再關注“未驗證的網站地圖”中的hreflang條目, 我相信這意味著通過ping網址提交的條目。
那些在Google Search Console或robots.txt檔中提交的內容仍然可以像以往一樣運行, 並且ping這些網站地圖中的一個以提示從Google重新抓取也會按預期工作。
我預計這種變化會影響很少的網站, 但您應該意識到這一點。
結論
我的推薦:通過GSC介面提交網站地圖, 並將其包含在您的robots.txt中。
如果您是一個特別受到刮板攻擊的網站, 無論出於何種原因, 那麼您可能希望從robots.txt檔中排除網站地圖條目, 以便惡劣行為者無法找到它們並使用它們來加速其工作。