皇家让梦起飞jie 发布于 2017-05-10 07:20

在项目上线后,往往需要监控一些日志,但是日志分散在各个服务器的不同角落,查看时需要找到某应用在那台服务器上,然后翻apache或nginx配置找日志路径,耗时耗力很麻烦。
所以想将这些日志收集到一个地方,做一套web界面的日志查看工具
需要的日志主要有

  • apache日志
  • apache虚拟主机access,error日志
  • nginx日志
  • nginx虚拟主机access,error日志
  • php错误日志
  • mysql日志
  • php应用日志(如yii的/runtime/application.log)

基本实现实时查看即可(一分钟内延迟)
看了下Scribe和Flume,似乎太过重量级,
我的想法是做个简单的文本变化检测,将新增内容发送到统一redis队列,后端脚本处理入库。
不知道大家是如何解决这个问题的?探讨下吧!

4 个回答
  • 你的这个需求直接使用elasticsearch、logstash和kibana结合即可,部署配置都比较简单,实时性较高,又不用开发代码~

    2017-05-10 10:47 回答
  • ELK全部搞定 妥妥的 https://www.elastic.co/

    2017-05-11 04:59 回答
  • 说一个常用方案:很多公司都是专门布了脚本,定时去抓,抓完了索引存到数据平台,数据平台提供查询,接口确实是略重。

    2017-05-10 16:19 回答
  • 来点前沿科技——systemd 的 journald~不用检测文本变化,它本身就是类似数据库那种二进制存储,直接用它给的 API 读取就可以了。当然目前 journald 不支持搜索,只能根据一些域来取数据,不过满足你的需求够了。

    当然我猜测你们服务器上目前是不会用 systemd 的。journald 大概也不能不依赖 systemd 自己跑……

    2017-05-11 01:26 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
活跃用户
  • 1
    问道摩托
  • 2
    袁广龙976丶
  • 3
    逍遥子
  • 4
    亮仔
  • 5
    芙蓉花
  • 6
    作小die_syj
  • 7
    mobiledu2502875483
  • 8
    王丽珠景平怡伦_621
  • 9
    adfa3sd5f6a
  • 10
    欣欣大妮
PHP1.CN | 中国最专业的PHP中文社区 | PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | PHP问答
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved PHP1.CN 第一PHP社区 版权所有