中国专业家居装修装饰时尚门户网站
首页 >> 汽车行情

我的网站(管挺举我的网站)

来源:峰值财经 发布时间:2023-06-07 浏览量:

周末搞了一个自己的网站,主要放一些自己平时的技术文章,还有生活感悟。但是写了几篇文章之后,发现百度搜索并搜不到自己文章的内容。

直接用我文章的标题搜都搜不到,就很奇怪,而且我的域名也是比较好的.cn域名,仅次于.com,网站也是https协议的。

有没有被爬过

网站搜不到,第一反应就是想是不是百度的爬虫没有爬过我的网站。那么该怎么验证这个假设呢?

一般搭建的网站服务器上都是有log文件的。我先去看下我的网站的日志文件有没有记录爬虫。

因为我这边使用的nginx搭建的服务器,我就先去看看nginx的配置文件,看看日志在哪里。

我的日志在access_log /var/log/nginx/access.log main; 这个目录下。

cat /var/log/nginx/access.log | grep baiduspider

搜索baiduspider这个关键词,这个是百度爬虫的关键词,发现找不到。也就是我的网站没有被爬过。

如何才能让爬

注册百度站长平台。

如何看自己网站有没有被爬虫爬过

在这个平台上面注册自己的网站。进行验证。

如何看自己网站有没有被爬虫爬过

验证成功之后,会提示你主动向百度搜索推送资源,这样缩短爬虫发现网页链接的时间。

如何看自己网站有没有被爬虫爬过

然后进到这个网站提交网址。

提交成功之后返回这个消息。

如何看自己网站有没有被爬虫爬过

然后我们就等着爬虫主动来爬我们的网站了。

在这个后台就能爬到爬虫的数据了。

如何看自己网站有没有被爬虫爬过

接下来就是耐心等待爬虫爬数据了。

友情链接