一个新的网站最好的优化方法就是不要去优化,所以,robots.txt是最好也是最直接的告诉搜索引擎你没有去优化他们,不过淘金岛还是慢慢来说一下什么是Robots.txt以及Robots.txt写法如何去写会更好,写好Robots.txt也有一定的因素能让你的目标关键词上升的。

什么是Robots.txt

其实,不管是电脑还是搜索引擎其实都是一样的,需要一个相互通讯的工具,而我们与搜索引擎通讯用的就是Robots.txt了,也就是说,我们可以通过Robots.txt告诉搜索引擎哪些网页你不要抓取,我们可以很轻易的避免一些重复性的网页,那么,什么是Robots.txt大家应该明白了吧,淘金岛也就不说太多废话啦。

Robots.txt写法

相信很多人都想知道这个Robots.txt写法到底是怎么写,如何才能写好Robots.txt这个问题就成为了大家的烦恼事了,别急,淘金岛并不是只在家上网赚钱,因为还懂SEO优化的,所以让淘金岛来告诉你这个Robots.txt应该怎么写吧。

首先,我们要明白的是,这个Robots.txt是放在网站的根目录上的,这一点大家是必须要明白的,然后我们还要明白的一点就是,根据不懂的网站程序,Robots.txt的写法都有一些不懂。下面说一些大概的写法吧。

User-agent: * //这个意思是说针对所有的搜索引擎

Disallow: /wp-admin //这个意思是说不允许抓取这个页面

从上面这两个代码我们可以明白,Robots.txt无非就是这一个针对其余不允许的东西罢了,如果你的网站是wordpress程序的话,那么可以看一下淘金岛的robots.txt写法。如下

https://www.newjianzhi.com/robots.txt

具体就不解释了,与此同时,大家也可以看看别人的网站的Robots.txt写法,取其精华嘛,这个大家都懂的。一个好的Robots.txt对于网站排名也是有作用的,还有就是建议新站都不要写吧,让搜索引擎自由的抓取页面,然后等网站收录不错之后再写上这个。