欢迎访问小程序员!

百度蜘蛛每天都来爬取网站,却只收录首页是怎么回事?

2015-05-07 37条评论 7530次浏览

昨夜,一位SEO友人问我一个这样的问题:百度蜘蛛每天都来爬取网站,却只收录首页,文章页及其他页面均未收录,问我是怎么回事?

其实这个问题非常普遍,可以从两个方面分析:

1. 网站内部优化是否完善;

2. 时间问题(文章够原创,站内优化够完善,迟早会收录)。

我们主要来谈谈第一个问题:网站内部优化。

其实SEO是什么?SEO不是单纯的迎合百度及其他搜索引擎,他是时刻随用户的体验度来考量网站是否合适。在当今的互联网大环境下,暂时还是随着大多数用户的习惯性体验来对你的网站进行抓取,拍照,索引。网站优化分为两部分:站内+站外。站内就是网站结构调整+页面HTML调整,站外就是外链建设+丰富的社交圈。

网站只收录首页,可以说这没什么,因为如果一个网站连首页都不能收录,那实在是太失败了。为什么没有抓取内页,自己也要好好想想原因。

比如:首页是否用了大量的FLASH、JS做脚本装饰,是否给搜索引擎留了通往内页的入口,我们知道,蜘蛛很不愿意看到Frame,不是它不喜欢,而且它看不懂,它能做的只是一条条的爬取,你首页有链接可供它点击,它才有可能进入到你的内页,一层层的广度爬行。如果你使用了大量的框架,脚本,完全将带动器封闭在你的框架里,那么蜘蛛无法进入,它只能一次次的在你的首页徘徊。

新站不建议使用这种网站结构,最好调整一下,首页尽量避免动态显示(不是指URL)。

再看下面:

已经做了H标签加粗,却没有设置内链,指向文章内页,要知道,蜘蛛是非常看中H标签的,它非常想要了解,你里面到底写的什么,但是它进不去,你只是在最后的“阅读全文”给它留了入口,它没那么大的耐心,对它而言,H标签才重要的多,所以要学会利用自己的平台资源,切勿浪费。

下面是我给你的建议:

将此页面作为博客首页,遵循蜘蛛的爬取习惯规则,可以这么说,这可以最大程度加深你的博客文章被抓取,但记得一些必要的内链要做好,平时要多看一些软文写作方面的教材,不要一味的贴近教材,在写之前,要思考一下,用户会不会搜索你写的文章标题,这篇文章写出来,对互联网的意义有多少,是不是用户所需求的,需求量大不大,这些都是长尾词要考虑的流量因素,还有,尽量图文并茂(包括发外链)。

再稍微规划一下,看下面这张图:

一看就明白,在此处调用一个留言板块,站点基本成型。

最后,来看一下robots文件:

robots里有些文件没有必要写上去。

两个重要的建议:

1. 在robots的最下面写上网站的地图地址,两个都要写。

参考样式:

Sitemap:  http://domain/sitemap.html

Sitemap:  http://domain/sitemap.xml

2. 新站,自己在发外链的事情,请带上自己网站的地图链接,不说原因,这很重要。

以上就是二毛自己对“百度蜘蛛每天都来爬取网站,却只收录首页是怎么回事?”的个人解读,希望大家从中能够学到对自己有用的一处或两处。

发表评论

登录,将以游客形式发表

网友最新评论(37)

  1. 1楼 110.80.118.*** [游客] 发表于 2016-09-03 21:58:09 回复此评论
    www.wanghongjie88.com
  2. 2楼 113.214.210.*** [游客] 发表于 2016-10-03 07:19:09 回复此评论
    m.xcpzs.com
  3. 3楼 113.214.210.*** [游客] 发表于 2016-10-03 07:19:27 回复此评论
    www.xcpzs.com
  4. 4楼 120.37.155.*** [游客] 发表于 2016-10-22 12:17:23 回复此评论
    www.bajiejiepai.com
  5. 5楼 14.127.248.*** [游客] 发表于 2016-10-24 18:02:26 回复此评论
    www.tanbao918.com 我这个就是只收录首页 产品页一个都不收录,不知道啊怎么会回事!
  6. 6楼 10.125.148.2, 119.233.254.*** [游客] 发表于 2016-11-02 14:35:33 回复此评论
    shuajitt.com 我的也是这样,希望百度能尽快收录内链了。。。。
  7. 7楼 42.224.141.*** [游客] 发表于 2016-11-07 14:16:16 回复此评论
    我的网站就是www.lxtcygw.com 林校同窗易购网,大神帮忙看看
  8. 8楼 123.232.201.*** [游客] 发表于 2016-12-13 09:34:07 回复此评论
    www.tuoba1230.com
  9. 9楼 220.179.183.*** [游客] 发表于 2016-12-16 12:51:55 回复此评论
    www.zhaoyunwang.cn
  10. 10楼 223.86.188.*** [游客] 发表于 2016-12-25 00:09:47 回复此评论
    www.tengxiao.wang
  11. 11楼 114.254.121.*** [游客] 发表于 2017-01-16 12:01:54 回复此评论
    www.tanyilunyao.com
  12. 12楼 124.89.37.*** [游客] 发表于 2017-01-22 19:38:37 回复此评论
    chuyuw.com
  13. 13楼 124.89.37.*** [游客] 发表于 2017-01-22 19:39:07 回复此评论
    chunyugu.com
  14. 14楼 124.89.37.*** [游客] 发表于 2017-01-22 19:39:27 回复此评论
    money66.net
  15. 15楼 113.13.115.*** [游客] 发表于 2017-02-03 00:11:25 回复此评论
    我的站收录不错 www.97sehu.com
  16. 16楼 112.10.137.*** [游客] 发表于 2017-02-07 10:46:19 回复此评论
    soonfan.net收录还可以
  17. 17楼 117.12.248.*** [游客] 发表于 2017-02-17 22:36:52 回复此评论
    www.shucainet.com 利农蔬菜网 也非常期待,做蔬菜行业领先者
  18. 18楼 113.142.226.*** [游客] 发表于 2017-02-18 23:02:40 回复此评论
    也是这样做了很多努力www.uzaoshi.com
  19. 19楼 183.157.69.63, 101.226.125.*** [游客] 发表于 2017-02-19 12:26:02 回复此评论
    引用来自“113.142.226.158”的评论
    也是这样做了很多努力www.uzaoshi.com
    www.5so.vc只收录几条新闻,其他不收录,奇怪啊
  20. 20楼 112.17.246.*** [游客] 发表于 2017-03-06 13:37:10 回复此评论
    www.kimitv.cn 我的也是啊
  21. 21楼 101.86.11.122, 180.153.81.*** [游客] 发表于 2017-03-15 14:17:22 回复此评论
    m.520edu.com 网站也是这样
  22. 22楼 103.228.209.*** [游客] 发表于 2017-03-19 01:10:06 回复此评论
    500.as/bbs
  23. 23楼 115.172.169.*** [游客] 发表于 2017-04-03 13:21:17 回复此评论
    www.xmjiagu.com
  24. 24楼 113.7.127.*** [游客] 发表于 2017-04-04 15:30:22 回复此评论
    www.xn--15tu50e.com
  25. 25楼 14.130.45.*** [游客] 发表于 2017-04-14 08:13:09 回复此评论
    www.wgc51.com
  26. 26楼 123.12.148.50, 123.151.138.*** [游客] 发表于 2017-04-25 17:05:25 回复此评论
    www.tejiagw.com
  27. 27楼 175.188.157.*** [游客] 发表于 2017-05-05 08:08:37 回复此评论
    www.eizo.vip
  28. 28楼 175.188.157.*** [游客] 发表于 2017-05-05 08:09:00 回复此评论
    引用来自“175.188.157.4”的评论
    www.eizo.vip
    www.eizo.vip
  29. 29楼 175.188.157.*** [游客] 发表于 2017-05-05 08:09:16 回复此评论
    引用来自“175.188.157.4”的评论
    www.eizo.vip
    引用来自“175.188.157.***”的评论
    www.eizo.vip
    www.eizo.vip
  30. 30楼 123.232.191.*** [游客] 发表于 2017-05-07 15:27:24 回复此评论
    慢慢来看我的 山东翎翔新材料有限公司 www.tgblingxiang.com 德州华翔新材料科技有限公司 www.tgbhuaxiang.com
  31. 31楼 223.74.13.*** [游客] 发表于 2017-05-09 21:25:14 回复此评论
    引用来自“123.232.191.80”的评论
    慢慢来看我的 山东翎翔新材料有限公司 www.tgblingxiang.com 德州华翔新材料科技有限公司 www.tgbhuaxiang.com
    www.22qiqi.com
  32. 32楼 182.88.119.*** [游客] 发表于 2017-05-11 22:38:53 回复此评论
    www.mhlook.com
  33. 33楼 125.86.88.*** [游客] 发表于 2017-06-29 09:17:04 回复此评论
    www.xgicp.com
  34. 34楼 124.117.179.*** [游客] 发表于 2017-07-02 23:24:17 回复此评论
    新疆认证网www.xjrenzheng.com
  35. 35楼 175.42.90.*** [游客] 发表于 2017-09-16 04:41:27 回复此评论
    document_srl=
  36. 36楼 175.42.90.*** [游客] 发表于 2017-09-20 22:38:57 回复此评论
    I precisely desired to say thanks once more. I'm not certain the things I would have achieved in the absence of these thoughts contributed by you concerning this area of interest. It previously was an absolute fearsome situation in my view, however , being able to see your specialised form you resolved it forced me to cry for gladness. I am just happier for this guidance and hope that you find out what an amazing job you're getting into training some other people using your blog. Most likely you haven't encountered all of us.
  37. 37楼 175.42.90.*** [游客] 发表于 2017-09-23 05:44:29 回复此评论
    index.php?site=