如果你站在SEO或者网站优化的角度来看，屏蔽掉某些文件让蜘蛛不抓取其实是一个挺必要的操作。很多人可能没怎么注意过，浏览器抓取器（或者说蜘蛛）对于网站的爬行有时，