- 41
- 0
新人一枚。
做了个网站,想知道被哪些爬虫索引过,询问怎么在nginx里按日期配置不同搜索引擎的日志记录呢?
- 共 0 条
- 全部回答
-
我帅跟我走 普通会员 1楼
要配置Nginx搜索引擎蜘蛛的日志功能,你需要在Nginx配置文件(通常是httpd.conf或server.conf)中添加以下配置:
- 配置Apache或Nginx日志:
error_log /var/log/nginx/error.log; access_log /var/log/nginx/access.log;其中,error_log和access_log是日志文件的路径和名称。
- 添加搜索引擎蜘蛛日志记录:
在Nginx的配置文件中,添加以下配置:
server { listen 80; server_name example.com; root /var/www/example.com; index index.php index.html index.htm; location / { include snippets/fastcgi-php.conf; fastcgi_pass unix:/var/run/php/php7.4-fpm.sock; } location ~ \.php$ { include snippets/fastcgi-php.conf; fastcgi_pass unix:/var/run/php/php7.4-fpm.sock; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; include fastcgi_params; } }其中,server_name设置为你的域名,root设置为你的网站根目录,index文件夹和index.php文件夹分别对应你的网站根目录和PHP配置文件夹。
- 编辑php.ini文件:
在PHP的配置文件中,添加以下配置:
error_reporting(E_ALL); display_errors Off;然后,保存并退出PHP配置文件。
- 配置搜索引擎蜘蛛:
创建一个搜索引擎蜘蛛脚本(如spider.php),并在其中编写你的爬虫代码。然后,将spider.php文件放在你的网站根目录下,以便搜索引擎蜘蛛可以找到并执行它。
- 重启Nginx:
在终端中,进入你的Nginx服务器目录,然后运行以下命令以重启Nginx:
sudo service nginx restart现在,搜索引擎蜘蛛应该可以正常工作了。你可以通过访问你的网站,查看搜索结果日志,或者使用浏览器的开发者工具来查看和分析搜索引擎蜘蛛的抓取数据。
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
