我的网站(管挺举我的网站)
来源:峰值财经 发布时间:2023-06-07 浏览量:次
周末搞了一个自己的网站,主要放一些自己平时的技术文章,还有生活感悟。但是写了几篇文章之后,发现百度搜索并搜不到自己文章的内容。
直接用我文章的标题搜都搜不到,就很奇怪,而且我的域名也是比较好的.cn域名,仅次于.com,网站也是https协议的。
有没有被爬过
网站搜不到,第一反应就是想是不是百度的爬虫没有爬过我的网站。那么该怎么验证这个假设呢?
一般搭建的网站服务器上都是有log文件的。我先去看下我的网站的日志文件有没有记录爬虫。
因为我这边使用的nginx搭建的服务器,我就先去看看nginx的配置文件,看看日志在哪里。
我的日志在access_log /var/log/nginx/access.log main; 这个目录下。
cat /var/log/nginx/access.log | grep baiduspider
搜索baiduspider这个关键词,这个是百度爬虫的关键词,发现找不到。也就是我的网站没有被爬过。
如何才能让爬
注册百度站长平台。
在这个平台上面注册自己的网站。进行验证。
验证成功之后,会提示你主动向百度搜索推送资源,这样缩短爬虫发现网页链接的时间。
然后进到这个网站提交网址。
提交成功之后返回这个消息。
然后我们就等着爬虫主动来爬我们的网站了。
在这个后台就能爬到爬虫的数据了。
接下来就是耐心等待爬虫爬数据了。