通過(guò)網(wǎng)站日志分析，會(huì)發(fā)現(xiàn)搜索引擎蜘蛛抓取了一些網(wǎng)站上不存在的文件后綴，如：.php、.asp、.aspx等。
搜外網(wǎng)站后臺(tái)日志分析結(jié)果如下圖：
搜外主站實(shí)際上不存在php后綴的URL地址。
可通過(guò)robots.txt文件禁止蜘蛛抓取不存在的后綴，減少出現(xiàn)404返回值。
在robots.txt文件填寫屏蔽規(guī)則如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一個(gè)*，后面一個(gè)$，代表后綴。
參考搜外的robots.txt文件寫法，點(diǎn)擊這里
擴(kuò)展閱讀：
本文由夫唯團(tuán)隊(duì)編輯，如發(fā)現(xiàn)錯(cuò)誤，歡迎通過(guò)客服微信反饋。
夫唯于2024年12月停止百度SEO研究和培訓(xùn)。道別信： 夫唯：再見(jiàn)了百度SEO！
2025年1月正式啟動(dòng)Google SEO培訓(xùn)課程，一千零一夜帶領(lǐng)大家一起出海。
感興趣的同學(xué)，請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。
微信掃碼添加客服人員
我們的目標(biāo)：讓大家獨(dú)立站出海不再“望洋興嘆”。
