如何在生产环境优雅的 debug？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2136 days ago, the information mentioned may be changed or developed.

我们日常生产环境反馈有问题的做法一般都是直接在线上 debug，比如直接在线上修改代码打日志等。。因为我们使用的是 PHP，其优点在这里就可以凸显出，那就是可以随时修改代码随时看效果，所以我们都是在线上改代码打日志。。。但我觉得这样子不是正常的做法。。

不知道有没有什么样的系统性方案。。来应对这么些问题：

该问题只在生产环境中出现，若要复现只能在线上做调试，因此本地或测试环境无法复现和排查。
当我们应用从单机部署变成了集群部署，在线上修改代码就不止修改一份代码了。
我们无法有充分的预见性在代码中各个点埋好日志记录，因此只有等问题出现了，然后再去加日志埋点？
即使我们做足了日志收集，但日常 90%的时间以上都是没有问题的，日志照样输出并采集，积累的大量日志太占磁盘了，而出问题时，我们仅仅需要那一小部分的日志信息。

所以不知道大家都是怎么做的？难道是应用中日志埋点做满，但平常不输出和采集，只有出问题时，通过修改日志采集配置再进行日志采集？比较困惑

日志

代码

修改

线上

29 replies • 2020-06-23 17:59:14 +08:00

superrichman

Jun 22, 2020 via iPhone

生产环境 debug ？居然没有被运维打死？

evill

Jun 22, 2020

日志级别 + 日志调用链路 + requestID

yukinomiu

Jun 22, 2020

生成环境 debug 这个需求本身已经不优雅了.

Vegetable

Jun 22, 2020

只在生产环境出现的问题真的有这么多吗？标准操作就是日志拉满，非生产环境复现问题。

日志是定时切分压缩或清理的，叫 rotation，应用层系统层都可以实现，占不了多少地方。你分布式之后会涉及到日志收集。
你欠缺可能是一个 stage 环境

xhcnb

Jun 22, 2020

哈哈, 没有经历过生活的毒打

lff0305

Jun 22, 2020

把 PROD 的 request 镜像到你的调试机上
需要 IT 配合

vitoliu

Jun 22, 2020

核心功能打好 request 和 response，公司如果有流量回放的中间件可以用上，如果没有可以用 arthas 或者去哪儿的 bistoury

lower

Jun 22, 2020

果然 PHP 才是世界上最好的编程语言

asanelder

Jun 22, 2020

俺说下自己的看法

1. 首先这个问题只能在生产环境复现，那么，这种问题就应该是一种少有的情况（如果你的项目大部分问题都是在生产环境复现，你应该考虑是不是项目本身出什么问题了）。既然是一种少有的情况，就特殊对待即可，而看样子，楼主想使用一种通用的方案，俺觉得企图使用通用优雅的方案来解决少有的情况是不合适的。

2. 即然楼主可以在生产环境复现，那么将服务部署到一台生产环境的机器，让它不对接上流的流量，然后楼主不是能复现么，直接在这台机器上复现，debug 即可。

3. 当然，在生产环境 debug 时，要留意这个过程中产生的数据，是不是进入了生产环境。避免数据污染。

4. 最后说一句，以上仅仅是下下策，只有在其它环境实在搞不定的情况下，才使用，使用的时候要万分小心，考虑周到（主要是数据污染问题）！！！

opengps

Jun 22, 2020

业务规模小的时候都是生产直接调试，我就不像那些大公司的大佬们那样打击楼主了

我从零到一，从一到百万负载，确实是意识到了这个过程的重要性，小公司刚起步就那么规范的话，估计活不过几年，所以在线 debug 几乎属于必然，但是我建议楼主千万注意备份，我也经历过数据库误操作丢失一个备注列的情况，以至于客服部门不敢再使用我提供的备注列寸信息了