网页打不开？网络延迟？凶手竟是它---“光模块“

目录

1 实际场景

2 故障分析

3 问题解决

1 实际场景

  周一早晨我带着疲惫困乏的身躯去上班，刚把设备都开启后，一位年轻的办公人员正巧就碰见我，便满是疑惑的询问我：“XX小帅，我的监控视屏的那个软件打不开了，监控查看不了了，麻烦帮我看看喃。”我一看还没到上班时间，正好抓紧给她解决好。去到她的工位上，我首先就去查看了网络的连接正常，晃了一眼连接正常，并且网页都可以打开的，索性就直接去打开那个视屏监控的软件，等了好几分钟，一直都是显示正在登录中，有几次偶然的显示登录成功了，但是依旧没有画面显示出来。接着这个问题还没有处理完成，那边有人反映一楼都登不上XX系统了。毛病一下子出现这么多，着实有些令人头大。。。

2 故障分析

  首先是他们无法访问监控系统的问题，这个我去访问监控系统的那个网页也是出现一直转一直转的情况，然后去采用接连不断的ping XXX（那个网址），出现的time out 丢包的情况，丢包率达到了30%左右还是比较严重的。

  我第一个想到是不是这个需要重新登录一下密码；然后第二个想到了搭载该网页的系统（服务器）是不是崩了，第三个想到了网络是不是存在环路或者其他网络问题。带着这三个疑问，我先回到了我的工位上，去登录视屏监控系统，立马就进去了，那么看了这个监控系统没有问题。紧接着我使用管理员账号去将她的密码重置了，在我的电脑上登录也是一下就登录进去了，但是一到她的电脑上就始终卡在那里进不去，也不是密码验证过期的缘故，那么我能想到的就是网络上的问题。此时，这个问题先暂时搁置了一会儿。

  我赶过去看他们一楼窗口办公的人员为啥会进不去那个系统喃，过去就发现是一个大麻烦出现了，不单单是一台电脑访问不了，而是整个一楼片区都访问不了那个网页系统，这里首先就去ping那个系统地址，始终是time out（后来才得知这是这个系统设计的时候就禁用了ICMP功能），但是其他楼层都是可以进入这个系统的额，说明这个系统的服务器是没有问题的 ，这是的我已经知道一楼的网绝对是有问题的，先向上级反映，也与同事们简述了一下大致的情况，让我们更加高效解决问题。

  这边同事也在家中远程连接，来处理问题，我们首先怀疑是不是出现了环路问题，经过层层的排查发现一楼的确存在两个环路问题在一楼的接入交换机上面，我们关掉这两个环回口之后，依旧没有解决问题。我也带上电脑和console线去一楼机房排查问题，有了上一次遇到环路问题的经验之后，首先我会去观察交换机的指示灯的闪烁情况，一楼接入的几个交换机都是比较正常的状态，倒是观察到了一楼监控那边的指示灯有些问题，不过这个交换机和那边内网的交换机有没有交集，这里纯粹是自己的判断错误 ，然后去查看了一下交换机的性能状态，CPU、内存那些都是正常状态，最后看了一下Mac地址表有没有重复的出现Mac地址漂移的情况，也是没有出现Mac地址漂移的情况。由于工作人员那边也没有反映说有其他网页 访问不了或者电脑卡顿的情况，就暂时将环路这个问题搁置一下 。

  紧接着我们都在怀疑一楼汇聚下来到一楼的接入交换机出现了故障所在，一楼这边也是有好几台接入交换机，但是窗口工作人员那边主要由N1、N2、N3（别名）来提供网络连通性，我们也主要关注这三台交换机，发现一个问题，通过ICMP进行测试，到达其网关均会出现出现丢包的情况，但是有差不多35%的丢包率。这个时候就已经将问题的矛头指向了汇聚层了，【我们当时是有严重的怀疑过是光模块的问题】，由于当时的光模块没有匹配的模块就没有轻易的更换，而是在汇聚上做了更换光口的操作。我们使用他们的主机进行测试，丢包率只有25%了，所以此时问题有所减缓 ，就让我们的关注点一直锁定在汇聚层的问题。

  最后实在是在汇聚层没有找到问题所在，就将目光锁定在核心交换机上，但是我们机房核心还是比较强大的，几乎没有什么问题，当时就没有怀疑到其身上，但由于最近高温 ，并且空调的温度也不是很稳定 ，就只好从核心交换机去寻找问题。第一步就是将核心连接汇聚的那个光口进行更换了。换完之后我们立马进行测试，0%的丢包率，并且到那些系统服务器都是十分的正常的，此时内心紧绷着的心切换为了惊喜的状态。BUT好景不长，刚过没一分钟，我去测试他们监控系统，依旧是打不开，还是会丢包，只是丢包率只有8%，现在就直接将故障锁定在汇聚到达核心的光模块上，（之间有考虑过核心连接到汇聚的光模块，但是对立面没有考虑过）。但是比较尴尬的是我们正好缺少该型号的光模块，只好只有备件到了再更换。

3 问题解决

  第二天上班，我们向其工作人员解释后，并且找到型号相同的光模块，等中午休息之际更换光模块。果然不出所料，我们更换掉光模块之后，他们的办公系统以及监控系统也就恢复如初啦！真相只有一个：“光模块”。所以我们寻找网络故障所在的时候要灵活多变，不单单要根据交换机的配置问题，也要检查设备硬件设施的问题，总之出现问题，解决问题，积累更多经验。

  不断思考！不断成长！持续输入！持续输出！