林嘉琦，当当网架构部工作，负责APM调用链、作业云等，shardingsphere、skywalking开源贡献者。

林嘉琦：我之前一直在亚信工作，长期从事电信行业业务系统的集成工作，积累了较丰富的3A数据业务系统研发实施经验。长期的码农工作让我对技术产生了浓厚的兴趣，也希望自己在技术领域能够不断探索进步。一个偶然的机会，我有幸加入了当当的架构部，负责参与了如作业云、限流、APM等云平台、中间件开发。此外，也对一些如Sharding-Sphere、SkyWalking这样的优秀开源项目做了代码贡献。这使我能够从技术架构的角度去审视电商业务系统的演进变化，并让自己的技术视野得到全面拓宽。

至于负责APM的工作也是跟当当的业务发展息息相关。当当的业务系统在微服务化后出现了一些新问题，如性能问题定位困难、业务各团队间性能数据不一致等。尤其是某年大促时出现了事故，更促进了APM在当当的推广使用，于是我主动承担了这项有新挑战的工作。

林嘉琦：APM英文为Application Performance Monitor或Application Performance Management，译文为应用性能监控或应用性能管理系统，通俗称调用链追踪系统。APM调用链专注于应用系统的性能和可用性的监控与分析，它能够监控企业关键应用性能、快速定位应用系统性能故障、优化系统性能。大家知道，现在的应用系统正在变得越来越复杂，并向分布式化、微服务化、云化不断演进。就拿当当这样的大型电商来讲，整体系统链路至少有成百上千个服务，没有人能够把所有服务的细节情况说清楚。而且每一次用户的访问请求会形成一个包含多服务节点的完整请求链路，但当这个链路出现性能问题时，排查定位会变得非常困难，每个服务的业务团队拿来的性能数据并不一致，导致性能问题无法定位。这时就需要有一个全局性的链路追踪系统，能够在各个服务间将性能瓶颈追踪到。

要实现这样一个APM系统有很大的技术挑战难度。首先是链路的复杂度，大家知道在一个典型的互联网应用里，一次用户访问行为会从用户终端发出，经过基站并通过运营商网络的传输，再通过DNS解析，最终访问到应用服务。要追踪这样的端到端的链路性能瓶颈，需要在每一个可能瓶颈的链路点都加上监控，这样的实现成本无疑是十分高昂的。其次是功能的完整度，要实现一个完整APM系统，要做好五个层次的实现，分别是终端用户体验、应用架构映射、应用事务的分析、深度应用诊断和数据分析。最后是性能的损耗度，对于应用有侵入性的APM，一定要考虑侵入对应用所带来的性能影响，尤其是APM的采样率控制，要在数据采集量与性能损耗间做一个平衡。这些技术点都是具有很大的挑战难度。

林嘉琦：APM本身叫应用性能监控系统，也称调用链追踪系统。顾名思义，它能够追踪到每个访问微服务的请求，并能够将每个请求经过的所有微服务串联成一个完整链路，清晰直观的将链路展现出来，再通过汇总分析，就能够定位到系统链路中的瓶颈了。

拿当当网之前使用过的商业版APM来说，它为每个服务装上特定语言的探针，用户的访问行为就会被该服务追踪下来，追踪的内容叫做Segment片段。而且，一次用户访问行为很可能会经过多个服务，这样多个Segment片段会串联成一个完整的Trace调用链，通过采样率控制Trace的数量并将它们保存下来。在每一个Segment片段里，包含了该Segment片段的事务编号和它所访问的每一个Span方法信息，如方法名称、类型、起止时间、服务地址、结果状态码、日志信息等等。将所有Trace的内容进行汇总和分析，最终会模拟重现每次用户的访问行为的链路，在链路图上可以直观的看到每个服务的耗时与状态码，以及服务的整体错误率和慢调用率的统计。通过以上这些功能、数据就能够帮助我们最终定位系统链路的性能瓶颈。

林嘉琦：起初我对APM并不了解，于是根据公司具体需求调研了业界很多款知名产品。SkyWalking这款开源产品的作者吴晟、彭勇升老师曾经是我的同事。后来还有幸请到吴晟老师到公司做过一次APM的深度交流。这使我深受启发。通过对几款产品的调研和对比测试，也鉴于对现有系统做最小变更的原则下，SkyWalking在产品易用性、功能多样性、多语言探针难易度等方面有较好的优势。同时需要指出的是，选择SkyWalking也是因为它的社区生态和发展潜力，也算是对国内优秀开源产品的一种支持吧。

林嘉琦：当当每年最大的促销当属书香节和双11了，在大促前压测是常规操作，尤其是当综合压测时，APM的作用就会更明显。通常在每次大促压测前，我们会选择SkyWalking的一个最新稳定版进行升级部署，搭建好生产环境和测试环境，并调通自研的PHP探针，再协调各个业务团队接入PHP和Java探针，解决接入过程中的所有问题，至此APM的接入工作才算完成。

在每次大促压测时，我们会密切监控SkyWalking服务以及接入探针的业务系统的可用性与稳定性，必要时要做一些紧急处理。在每次大促压测后，我们还要及时整理压测报告，分析系统链路的瓶颈问题。至于在压测过程中遇到的坑就很多了，比如系统采样率设置问题、接入探针后发生Full GC问题、探针不支持部分组件问题等等。总之，坑是一定会有的，不要侥幸，认真踩坑，方为正路。

林嘉琦：这有些过奖了，我确实参与了开源Sharding-Sphere、SkyWalking的代码贡献，Elastic job也在维护中。参与这些开源项目离不开优秀的开源前辈引路，尤其是架构部前总监张亮老师。我切身感受到他对开源的极致追求与超凡境界，以及他对开源圈的技术影响力，确实是深受触动且受益良多。像Sharding-Sphere、Elastic job这样的优秀开源项目，也都是张亮老师在架构部时主导负责的，在开源圈有很广泛的知名度与使用度。此外参与SkyWalking的贡献，也要感谢吴晟老师、彭勇升老师的支持，可以说当当既是SkyWalking的使用者与受益者，也是贡献者与回馈者。坦率讲，对于开源我还是个学生，能够参与到这些优秀的开源产品，认识到优秀的开源人，已使我受益良多，促使我不断提升自己。

林嘉琦：正因为每个人的发展都是独特的、个性化的，这个世界才会变得丰富多彩，谈规划也只能算个人观点，很可能会一叶障目，对大家来讲也仅供参考而已。在我看来，目前技术正在向云计算化、物联网化、人工智能化变革，这也正是目前行业发展的一个大趋势，每一种技术都可以成为你潜心研究的方向。此外在开源界，国内优秀的开源产品越来越多，这也代表了对国内技术的认可，这也可以成为你发展的方向。

而我，可能想去传道解惑当老师。对于教师和医生职业，我有特殊的认同感，一个是人类灵魂的工程师，一个是拯救生命的白衣天使。考虑到实际情况，我去当老师可行性更大一些。通过自己的知识积累和经历经验去影响别人，如果能给别人开一扇窗，我会觉得人生更有价值和意义。

林嘉琦：很荣幸我提交的案例能够入选TOP100全球软件案例研究峰会。通过主办方征集当年度优秀的企业案例，并经由行业资深技术专家组成的出品人团队筛选，最终甄选出最具分享价值的100个代表性案例。我相信这些案例一定颇具启迪性和价值。他山之石，可以攻玉，期望能够与大家交流共享，共同学习业内的优秀实践成果，才会不虚此行。也祝愿TOP100能够再接再厉，为我们提供更有价值的案例分享！