每当我们去测试一下New兼职网的抓取速度的时候我都觉得挺快的啊,然而有一天我让蜘蛛去抓取New兼职网的网站地图的时候,我发现竟然需要4秒左右的时候才行,思来想去也不明白为什么会这样,后来才想起自己的宽带竟然是1M的宽带,所以,一条线程只能吃这么多的宽带,那就没有办法了,本来打算升级下宽带的,但是想想应该有解决的办法。

花了一天时间来编写New兼职网.png

谷歌网站地图制作

想起以前有一款在wordpress上的网站地图挺厉害的,就去看看他的实现方法,他实现的方法非常的简单,那就是对网站地图进行索引,这样就导致网站的地图有很多,但是这样做的好处就是网站地图并不大,而且查询的速度也很快,于是我就打算自己写一个这样的网站地图来,刚开始是想要使用缓存的方式来进行读写操作的,但是发现这样是可以,但是有些麻烦,还要对网站上各种问题进行判断然后进行修正。于是我还是使用了最原始以及最简单的方式来进行写,那就是直接生成网站地图。

时间分布方式

现在总算是明白为什么人家要使用索引了,索引这种方式来进行编写网站地图真的是太棒了,主要的好处就是可以让网站地图的打开速度变的非常的快,一般来讲,New兼职网现在的平均更新数量是5篇的话,那么一个月也就150篇了。那么加起来估计也就50KB左右的文件吧,这样算的话,其实容量就并不大了,所以这样的抓取速度还是可以接收的。

虽然已经写完了,但是目前还没有用在New兼职网中,因为毕竟刚写完,还需要再测试一段时间看看有没有问题,没有问题再自己用上,然后找个时间还得把内链插件给写一下才行了。因为New兼职网的内链实在是太差了。