淘宝Java中间件之路

淘宝Java中间件之路 it168

参加IT168架构师大会总结

  9月9号和10号在北京参加了IT168主办的架构师大会，也很荣幸做了淘宝Java中间件之路的分享，分享的PPT已经在大会的官网放出了。这次两天的会议，跟新老朋友有了不少线下的交流和沟通，感觉不错。也听了好几个Session，有些没有听的，也是当时跟几个朋友在场外交流所致。
      下面总结一下自己听的几个Session
 
      余沛-自动化运维关系管理
           这里面提到了几个阶段，跟陈硕的blog里面讲的不同阶段的运维策略，理念上比较的类似。
           第一个阶段 几台---几十台  手工并且是模块儿的视角。也就是看到的只是单个的部署的产品等
           第二个阶段 几百台--几千台 这个阶段叫做纵向自动化，用机器的粒度看运维，不过运维还是后置服务，有一些脚本、工具等，不过可能比较多的还是在做安装、维护、救火等工作
           第三个阶段 几千台--上万台 运维和开发平行，看问题是按照服务的粒度，运维变成前置服务
           接着又着重介绍依赖管理的部分。包括了任务对任务的依赖，任务时间上的依赖，以及数据型的依赖等。
           应该说，总体来说比较系统的讲述了运维成长的过程。我们自己的机器数也不少了，运维方面的平台、工具还不是那么的完善，希望能够在明年年中之前，能够有比较大的改观。
 
       李瀚-百度贴吧的技术介绍
            这里面记录了一些关键点
            百度贴吧有上百亿的帖子，热门的帖子有上千万的回复，高峰是每秒的PV超过10万。那么在存储方面，做了不少事情。同时，对于快速开发、可用性、安全方面考虑的也很多。

            在WebSever上，用了异步和集群技术，静态文件的获取，可以跑满网卡，大于单机支撑5k-1w的qps，这个取决于单个文件的大小。

            采用Php开发框架，统一开发模式，在性能方面也做了优化。内部实行组件式开发，有公共库以及一些通用组件。

            在存储方面，分为了两块儿，一块儿是轻量级的存储，主要采用的是Mysql以及使用了cache技术。数据量小于1T，支撑几百qps-几k qps，加入cache解决浏览的性能问题。
            引入了分区，使用MQ来进行处理
          
            另外，使用KV存储视频文件，大概在P的量级。

            这个session，主要了解学习了baidu贴吧的一些相关技术架构，也了解了一下数据。

        洪涛-虎扑网的架构升级之路
            这哥们儿看上去非常爷们儿，讲话也比较逗。谈到了虎扑网从成立到现在的发展之路，这个是可以给到一些中小网站一些参考。在这个过程中，用到了一些开源软件，包括但不限于memcached、TT、Redis、RabbitMQ等。后面也会自建机房。这里面，他提到会用硬件负载均衡代替LVS，这个地方我不是很明白，当时也没有能抓住洪涛问下，后面有机会再请教下。

        陈炜-无状态运维管理
              这个家伙跟我住一个屋的，他要讲的东东在讲之前我就看了一下，应该说，他们真的构建了一个相对完善的监管控的系统，也许没有哪个部分的技术本身特别高深，但是能够运用技术，真正把那么多的机器和应用管理起来，能最终落地，我觉得还是非常不容易的。不过这厮还欠我一个东西没给我，明天上班找他要。

        段炼-Defeat Plubic DNS
              这里面首先讲到了使用Google DNS以及OpenDNS的问题，然后提到了如何去解决这些个问题。其中对于如何知道用户所在ISP以及使用的Local DNS，采用了不同的方式来处理。也提到了通过跳转、修改返回的HTML等方式来解决跨运营商访问的问题。在这个方面，自己之前确实没有太多经验，也没有考虑很多。不过说到底，这都是被天朝特色的ISP给搞的。sigh。

        白金-从流量统计、识别出发，看网络出口带宽优化
              这个演讲嘉宾的名字挺酷，他讲的东西很全面，也提到一些探测网络流量等信息的工具，不过这个部分，跟我现在关注的点不太贴合，就当扩充知识面了。

        陈尔冬-新浪的私有云平台
              这哥们儿真的很帅，讲的也很好，新浪的SAE和内部的私有云还是不错的，10月份他们会来杭州参加QConHangzhou，到时候再好好聊聊。
              我记录了一些数据
              私有云有4000+机器

                       每日100亿动态请求

                       每日200亿的数据库请求

                       总共运行了500个项目 

        马如悦-Hadoop@Baidu 

              一个非常实在憨厚的哥们儿，我也是记录了一些数据     
             目前Hadoop集群有1.5w node， 年底大概3-4w台， 明年会到达10w台

             整个集群input data/per day >10PB  google  1,20万机器，30PB

             Hadoop一共分了10个clusters

             最大的cluster 3000 nodes

             1.5亿文件+1.5亿块+2000个节点：重启花费40分钟

             baidu-hdfs2-arch 把namespace跟文件管理分开，上面的相当于 一个规则服务器

             针对不同的需求分来处理，比如throughtput 、realtime 等；追求不同，侧重点就要不同

        总体来说，IT168架构师大会，和QConBeijing以及将要举办的QConHangzhou还有Velocity China相比，我感觉整体质量稍微弱些。当然，这仅仅是从我个人的角度来说，从内心来说，希望IT168架构师大会越办越好，提供一个好的平台给技术人员交流、提高。