开发运维开发一路走来的收获与感悟

Copyright 2013 NetEase 开发-运维-开发，一路走来的收获与感悟杭研后台何登成 Copyright 2013 NetEase 自我简介n何登成n研究生期间：5年数据库研发；nB2B期间：2年DBA，数据库运维；n网易期间：重转研发；n一定的研发和运维经验； Copyright 2013 NetEase Outlinen从开发到运维，我所学到的知识；n从运维回到开发，我的思维转变； Copyright 2013 NetEase 从开发到运维，我所学到的n 对系统线上运行状况了如指掌n 线上操作无小事n 遵守流程n 风险意识，一切操作均可能失败n 注意日常操作的整理与收集n 老大是用来背黑锅的n 与产品相关的所有人员打好关系n 如非必要，不要在节假日前做上线操作n 运维要懂得说不n 尽可能准备应急预案n 注重总结：你会在同一个水沟前跌倒两次吗？ n 及时反馈、指导开发 Copyright 2013 NetEase I：对系统线上运行状况了如指掌n运维第一步l 在做运维前，必须对线上的系统运行情况了如指掌；l 系统部署架构；l 系统服务的产品；l 系统运行现状；l 系统的监控与报警；l .n画外音l 你敢娶(嫁)一个你不了解的女人(男人)吗？ Copyright 2013 NetEase II：线上操作无小事n运维必须要牢记的原则l 任何一个你认为微不足道的操作，都可能导致系统出现问题；l 举例说明：触发系统Bug；耗尽资源 .n我的经验l 1个月：无线上登录权限；l 3个月：可登录线上，只有只读权限；(同样可能触发风险：做一个全表Select，耗尽I/O资源，替换热点内存.)l 开始：老大操作我学习；后来：我操作老大监督； Copyright 2013 NetEase III、遵守流程n所有的线上操作，必须要有成熟的流程；n所有的线上操作，必须按照流程进行；n流程是前辈踩了无数坑之后，总结下来的。除非你想重新踩这些坑，否则一切按照流程来做；l 如果对流程好奇，可以请教制定者，这么做的原因是什么？不这么做有什么风险？ Copyright 2013 NetEase IV、风险意识，一切操作均可能失败n运维人员，必须有强烈的风险意识。如何带着风险意识做事？l 所有线上变更，必须先整理命令与脚本；l 所有的脚本，必须经过线下测试，验证通过；l 所有的操作，必须考虑失败后回滚情况，准备回滚脚本；n我的经验l 所有上线操作，提前一天准备好脚本，测试通过；准备好回滚脚本，测试通过；线上操作，基本不敲新的命令； Copyright 2013 NetEase V、注意日常操作的整理与收集n好记性不如烂笔头，放之四海而皆准的道理；l 提高工作效率；l 降低记错而导致误操作的可能性；l . .n我的经验l 做DBA期间，我整理了近120+条，1000+行的常用 Oracle命令，基本上能够处理大部分操作； Copyright 2013 NetEase VI、老大是用来背黑锅的n 嘿嘿！是不是觉得这一条很不可思议！l 潜台词：老大不让我背黑锅就不错了 l 但是：你必须牢记这句话！n 怎么做才能让老大来背黑锅？l 你碰到一个问题，流程上没说怎么做，你也拿捏不准怎么做。此时该怎么办？l 别犹豫，第一时间告知老大，让老大来拿主意；l 老大做决策，你来做实施。做对了，老大的功劳，应该的；做错了，老大的决策出错，老大都不知道怎么做，你更不了解了 黑锅已给老 大背上 Copyright 2013 NetEase VII、与产品相关的所有人员打好关系n做事，说到底还是做人！n你能相信，几波完全不相识的人，能合作把一个产品/项目做好，运维好吗？l产品新功能上线，该通知谁？l平时有了疑问，该咨询谁？l线上出了问题，该联系谁？l. . Copyright 2013 NetEase VIII、如非必要，不要在节假日前做上线操作n这应该算是运维领域一个共识，并且也经过多次的应验；l 节假日前做操作，导致问题的可能性更大；l 节假日前不做操作，线上都有可能抽风；n为什么会这样？l 节假日前，心已经飞走了.l 节假日前做上线操作，节假日出了问题，找谁来处理？ l 节假日本身的访问模式、压力，与平时有较大差异； Copyright 2013 NetEase IX、运维要懂得说不n作为一个运维，有线上的操作权限，有时是相当吃香的！这时，要经得住诱惑，要懂得说不！n你有可能收到哪些请求？l Hi，哥们！帮我线上导些数据？帮我把线上的配置修改下？帮我做一些数据订正？帮我悄悄的上线一个功能？.l 对于这些请求，最好的做法是：拿流程做挡箭牌，懂得对哥们说不！ Copyright 2013 NetEase X：尽可能准备应急预案n 系统出问题了，你老大，老大的老大，甚至是大BOSS都被惊动了，正虎视眈眈的站在你的背后，指手画脚的要你在5分钟内把问题给解决掉！此时的你：l 背脊发凉！l 脑袋发昏！l 两手发抖！l 别说定位/解决问题，正常思考的能力都丢失了.n 该怎么办？l 如果针对此问题，你刚好有一个应急预案，不慌不忙的拿出来，三 下五除二，立马解决；你还愁着不升官发财吗？到时别忘了请我吃顿饭！ Copyright 2013 NetEase XI：注重总结：你会在同一个水沟前跌倒两次吗？n第一次跌进一个水沟l 可谓不知；n第二次跌进同一水沟l 所谓不智；n第一次犯的错，只要遵守了流程，谓“不知者不罪”；但，同样的错误，接二连三的犯，你就要问问自己，是不是自身存在问题了！ Copyright 2013 NetEase XII、及时反馈、指导开发n上线运维/日常运维/例行巡检 过程中，所有的不爽之处，别客气，提出来，向开发反馈！l首先，这是开发应该做的职责；l其次，开发其实也正愁着没事可干呢！ Copyright 2013 NetEase 从开发到运维，我所学到的n 对系统线上运行状况了如指掌n 线上操作无小事n 遵守流程n 风险意识，一切操作均可能失败n 注意日常操作的整理与收集n 老大是用来背黑锅的n 与产品相关的所有人员打好关系n 如非必要，不要在节假日前做上线操作n 运维要懂得说不n 尽可能准备应急预案n 注重总结：你会在同一个水沟前跌倒两次吗？ n 及时反馈、指导开发 Copyright 2013 NetEase 从运维回到开发，我的思维转变n 活着，好好活着n 木桶效应n 出门找别人之前，把钥匙留下n 没有秘密可言：有问题直接告诉我，别让我猜n 完美是很难的，懂得取舍n 你这么牛逼，你同事知道吗？n 机器能自动搞定的，为什么要人来做？n 专业人做专业事：你为什么帮运维做决策？n 它山之石，可以攻玉n 那么重视线上环境，为何却对测试环境弃之如履？ Copyright 2013 NetEase I、活着，好好活着n 考察一个系统，说到底就是考察系统的可用性！n 活着l 设计/研发系统，针对各种异常情况，针对各种未考虑周全的地方，要做到充分的容错；l 碰到异常，可以报警，可以监控，但是不能简单的就把系统宕掉：线上慎用assert断言！n 好好活着l 不仅要活着，还要好好活着，不能赖活着； l 压力激增，连接暴涨，系统能不能处理各种突发情况？保证系统的平稳运行？限流，控流，监控，报警. . Copyright 2013 NetEase II、木桶效应n系统能够提供的性能指标，是他能支持的最高性能？是他的平均性能？l 都不是！系统的最低性能，才是系统真正的性能指标；n系统运行过程中，足够稳定吗？是否存在大幅波动？大幅波动的原因是什么？l 定位到这些问题，并予以消除； Copyright 2013 NetEase III、出门找别人前，把钥匙留下n 大家应该都遇到过这种情况：l 门锁着，家人带着钥匙出去了，说是很快回来，谁知一等就是一下午n 对于系统实现，意味着什么？l 有没有持有资源去做I/O？l 有没有持有资源，去掉用外部接口？l . .l 你不能假设外部的操作一定很快完成，你不能出门前，把钥匙也带走了； l 或者，外部调用使用超时机制，保证调用的最长时间，如果你长时间不回来，别怪我把门给撬了啊； Copyright 2013 NetEase IV、没有秘密可言n 小两口热恋中l 你猜我为什么不开心？l 你猜我想吃什么？l . .l 你抓狂不？n 系统上线之后，就是运维人员的女朋友，遇到问题如果也要靠猜，运维人员抓狂不？l 你的系统，要暴露出足够的信息，方便运维人员在运维过程中，碰到问题能较快定位到原因所在； Copyright 2013 NetEase V、完美是很难的，懂得取舍n开发人员的性格中，有追求完美的因子。但是：l 完美是很难的，要懂得取舍，有舍才有得；n哪些情况下，需要考虑取舍？l 这样实现简单，方便后期维护，但不是最优的；就这么做。l 这样做容错处理，简直太恶心了；系统必须容错。l 系统中打了好多采样点，影响了系统性能；方便后期运维；l . . Copyright 2013 NetEase VI、你这么牛逼，你同事知道吗？n除非系统是你一个人做的，除非系统开发出来后，后续不需要进行改进与升级。否则：l 必须考虑整个团队的技术水平；l 这么写代码，同事看的懂吗？能进行审核吗？l 当前的代码，后续维护/接手的难度大吗？l 非特殊需求与场景下，代码以简洁易懂为标准，杜绝奇淫巧计； Copyright 2013 NetEase VII、机器能自动搞定的，为什么要人来做？n运维，追求的是运维自动化；开发，更应该将大部分操作，都自动化起来l系统的单元测试，每天还需要手动来运行吗？l复杂点的测试系统，还需要手动一步步搭建吗？l性能分析采集到的数据，还需要一行行去分析吗？(何不画个图呢？)l. . Copyright 2013 NetEase VIII、专业人做专业事：你为什么帮运维做决策？n 术业有专攻，开发与运维都有自己擅长的领域。开发做好自己份内之事，其余的交由运维搞定。n 哪些是开发不擅长，而运维擅长的？l 系统运行需要多少内存？l 系统需要消耗多少IOPS？l 系统加锁/回调超时应该设置为多少？l . .l 所有这些，因产品而异，既然在开发过程中无法确认，何不暴露出来， 由运维人员来进行配置？ Copyright 2013 NetEase IX、它山之石，可以攻玉n 你是否听过这句话：l 当你觉得自己的想法很创新时，十有八九是知识面太窄n 我做运维时，管理的是世界上最好的数据库系统Oracle；我重新做研发后，做的是基于MySQL的存储引擎，从Oracle中借鉴良多；n 不要蒙头做自己的系统，有时多抬抬头，看看外面的世界，别人的做法，能给你很大的启发； l 性能优化Brendan Gregg；并发编程Jeff Preshing；. . Copyright 2013 NetEase X：那么重视线上环境，为何却对测试环境弃之如履？n线上环境l 追求3个9，4个9的可用性；n测试环境l 配置差；可用性几乎没有；n二者这么鲜明的对比，是应该的吗？l 重视测试，才能够保证系统上线的稳定性；l 重视测试环境，才能够保障测试的有效性； Copyright 2013 NetEase 从运维回到开发，我的思维转变n 活着，好好活着n 木桶效应n 出门找别人之前，把钥匙留下n 没有秘密可言n 完美是很难的，懂得取舍n 你这么牛逼，你同事知道吗？n 机器能自动搞定的，为什么要人来做？n 专业人做专业事：你为什么帮运维做决策？n 它山之石，可以攻玉n 那么重视线上环境，为何却对测试环境弃之如履？ Copyright 2013 NetEase Question？ Copyright 2013 NetEase