携程经历惊魂12小时:忽视安全防控或是祸根

08.06.2015  17:40
查看最新行情

两年间运维人员几无增长 屡次被曝有安全漏洞却忽略

■IT时报记者 章蔚玮

5月28日11:09分到晚上23:29分,携程经历了“惊魂十二小时”,官网和App大面积瘫痪。对于宕机的理由,携程最终给出的答案是,员工误操作。

这是个很难让人接受的理由。在宕机的12个小时里,“黑客攻击”“离职员工报复”等等各种传言甚嚣尘上,相比而言,“员工误操作”似乎太过平淡,少了几分惊险和刺激。《IT时报》记者经过多方调查发现,“员工误操作”极有可能是真实的理由,多年来,携程的安全防控体系在安全圈内一直备受质疑,高速发展的携程在遭遇此次危机后,必须要补上安全这一课了。

祸起内部

确实是误操作,不过影响了几乎所有业务线的正常运行。”一位来自携程研发部门的开发人员告诉《IT时报》记者,宕机当日,大批员工都加入了抢修工作中。多位携程内部员工对此说法也基本一致,否认了此前传言的“黑客攻击说”,安全界人士也表示赞同,“即便是攻击,也是来自内部的攻击,外部的黑客无法做到如此精准。

根据携程声明,携程后台是一个由SOA(面向服务)架构组成的庞大服务器集群,看似简单的一个页面背后由上千个应用子系统以及上千个Web Service组成,而每个应用子系统和每个Web Service之间都存在着相互调用的依赖关系。发生事件后,携程的技术人员除了需要恢复生产服务器上的执行代码以外,还要恢复并确保每个应用子系统以及每个Web Service的功能正常,同时确保应用子系统与Web Service间的调用关系得以正常执行。因此才花费了十二个小时。

谁执行了误操作?

有业内人士分析,这次误操作应该是携程生产服务器上面一个asp文件被运维人员误删除了,“从技术层面上看,这是一个十分低级的错误,哪怕是一个新手,都不应该犯这样的错误。

携程内部缺乏必要的权限设置受到质疑。“从破坏范围如此之广的结果看,应该是运维人员进行了高级别权限的操作。”在一家互联网公司中,运维的安全防控具有其特殊性,一条代码写完即生成,很难即刻修补,因此,制度上的限制十分重要。上述人士分析,对于一些危险操作,应当设置为只有超级管理员才可以拥有权限,从而规避普通运维人员在进行一般更新维护时误操作,“这应该是基本的规则,但关键在于企业是否对此有足够重视,并设置相关环节。

公告中,携程并未披露该员工的具体信息。

运维:被忽视的安全环节

对这次大规模瘫痪,我也觉得不可思议,几乎不可能的事,再不严谨的公司都不会。”从携程研发团队离职的李翔(化名)对前东家发生如此大规模的安全事件表示非常意外,在他印象中,携程的整体运作还算严谨,但作为一家发展迅速的企业,携程的部分制度很难跟上节奏,“人为因素参杂太多。

2012年开始,携程的技术团队面临巨大转型,携程技术副总裁叶亚明到来,对携程网启动大规模技术改造。2013年年底,携程技术团队达到 1500 人,其中40%左右为近年加入的新鲜血液。

然而,技术支持似乎始终落后于业务发展需求,上述携程研发人员告诉《IT时报》记者,随着携程业务的不断扩张,IT条线的复杂程度远远超出想象,“之前,团队招募不少BAT的产品经理,几个月下来,都没完全搞懂携程的业务。”为了满足技术的不断升级,人员的急速扩张是携程近两年不断持续的运动,“两年前,我所在的团队是200人,现在至少扩张到1000人。

与快速发展的研发团队扩张相比,运维团队的人数却没有明显增加,在整个技术团队中所占比重依然最低,“整个大运维支撑团队算上服务器设备、网络设备、操作系统监控、 数据管理,、资源资产管理、信息安全管理等等部门在内,人数也在100-200人之间。”这个数字与两年前基本持平。

运维不需要很多人,似乎是很多IT公司的普遍认知,叶亚明也曾表示,“决定一个新项目是否上马的核心在于投入产出比,放弃高投入低产出的项目,把更多精力花在低投入高产出上。”但一位互联网公司的运维人士坦言,运维工作覆盖面和工作量都很大,个人很容易力不从心。

曾多次被曝有安全问题

这并不是携程第一次出现安全问题。

2014年3月,携程被爆支付系统存有漏洞, 支付过程中的调试信息可被任意黑客读取,而且由于携程违反了银联规定,记录了用户信用卡的CVV号码,黑客很有可能利用这些信息直接盗取用户账户。让安全界多位人士更为意外的是,在被破解并流传的大量用户信用卡数据中,竟然出现了不该“明文”显示的敏感信息。MediaV CTO、原Google技术总监胡宁对此分析,传输过程为明文,长时间打开调试功能,导致系统日志中亦为明文,又未及时清理,所存储的服务器还有安全漏洞。一步错,步步错。

就在半个月前,知名白帽子平台乌云还曾出现过一个关于携程的漏洞警示:“携程旅游网服务器配置不当可直接导致官方邮件劫持”,但当时漏洞状态显示为:“漏洞已经通知厂商,但是厂商忽略漏洞。

IT与知识产权律师赵占领认为,如果本次事故确系内部人员所为,说明携程网没有尽到安全管理责任,应承担相应的民事责任,赔偿用户损失。