banner

他将Yahoo!Hadoop从20个节点扩展为42000个节点

作者: 大数据观察来源: 大数据观察时间:2017-05-17 15:58:470

Eric Baldeschwieler,今年47岁,有很深的计算机技术背景。在卡内基梅隆大学(Carnegie Mellon University)获得应用数学(计算机科学)学士学位后,Eric又在加州大学伯克利分校获得计算机科学硕士学位。作为Inktomi公司Web服务引擎的技术领导者(Inktomi是第二个比较早出现的搜索引擎,Amazon.com,eBay,HotBot,MSN,Overture,WalMart.com,LookSmart,Excite,HotBot都是他的客户,而通过这些顶级的门户网站和目标站点,Inktomi向全世界半数以上的互联网用户提供最新、最相关的搜索结果),由于Inktomi在2003年被雅虎收购,Eric也随之转战雅虎,并最终通过2年的努力,于2005年成为雅虎的Web搜索总设计师。更富传奇的是,Eric在2006年毅然投入雅虎Apache Hadoop项目的怀抱,将其从20个节点的原型系统发展为42000个节点的服务。而后,当雅虎决定全力支持Apache Hadoop项目,并于2011年7月成立新公司Hortonworks时,Eric当之无愧地成为首任CTO。作为资深技术人士,但当CTO的Eric感觉自己面临了诸多挑战。但他对Hadoop的前景非常乐观,“大家多贡献一点,Hadoop将会创造奇迹。”Eric将来到HBTC 2012,并发表关于Hadoop技术经验分享的主题演讲。

从玩游戏到做Hadoop

               Eric Baldeschwieler骑着“大象”意味深长

问:你从什么时候开始对技术感兴趣?又是怎走上Hadoop之路的?

Eric Baldeschwieler:时间总是有着自己的轨迹。对我而言,后期的工作经历都是对初中学习的补充。那时,在学校中,我们都会通过早期的微型计算机来打游戏。而后,在我父亲的加州理工学院实验室,我学会了一些自动化实验。这很非常有趣,也促成了我离开学校后对第一份工作的选择。那是,我曾经在父亲的一个合作伙伴(关于博士后项目)Steve Crane的手下工作。他是Cubico的联合创始人,后期加入了Digital F/X的企业。从他身上,我学会了电子艺术。我们一起在加州理工实验室的实验室系统中做三维渲染,并通过三维图形处理来实现后期数字视频制作。

所以,在大学中玩游戏,暑期在父亲的实验室工作的历程使我在大学选择专业的时候很自然地就填写了计算机。幸运的是,在研究生院,我有机会与Eric Brewer(Inktomi联合创始人)一起工作。加入Inktomi是我做的非常关键的一个决定。在那里,我得到了来自硅谷的那么多令人兴奋的资源。直到2003年Inktomi被雅虎收购。我转战雅虎,慢慢坐到了Web搜索总设计师的职位(2005年)。而从那时起,我就已经开始关注大数据问题,并在2006年正式参与了Apache Hadoop项目组。

我一直想要做的事情,就是在大数据领域如何理解计算机工作的原理。比如80年代,在PC并不快的时候,你需要透彻了解其原理才能更好地播放视频和做游戏。在搜索领域也是如此,要回答尽可能多的问题,使用尽可能多的数据,实现尽可能高的速度, 了解IT系统的体系架构和运行是必须的。

问:你最敬佩的领导是谁?

Eric Baldeschwieler:我有幸与诸多伟大的技术人物共事。Steve Crane是我的第一个老板,也是很好的朋友和导师,我们一起做了很多事情,从他那里,我学到非常重要的一课,那就是无论做什么,如在不同工作中切换,都需要有不同技术的积累。而在Inktomi另外一个创始人Paul Gauthier的身上,我学到了实用主义。作为一个博学的人,真正的技术顶级专家,他告诉我:计算机越来越强大,最好的解决方案往往是最简单和最直接的一个。有时你可以带上一个“锤子”来解决你的问题(不用害怕用最简单的方案来解决它)。

还有一个是雅虎CTO Raymie Stata,从他那里,我学到的是一种精神——乐观。这很重要,这也是Hortonworks的价值所在。我们对于Hortonworks的前景已经“无以伦比”的乐观了,在他那里,我们还获得了很多的支持和信任。此外,我还最欣赏他的这种想法:开源不是零和游戏,只要你积极参与社区作出贡献就能有很大的回报。这其中,有太多的竞争与合作,你需要寻找到合作伙伴(即使他的目标只是在某些方面与你一致),但你们之间的合作将创造出很多价值。

开源社区的伙伴都是务实而富有激情的,我很幸运地拥有一群志同道合的,面对艰难问题却能发明有趣的解决方案的朋友们。

问:作为CTO,面临的最大挑战是什么?

Eric Baldeschwieler:我想,最大的挑战是如何在短期和长期目标之间实现务实的平衡。短期是寻找客户,创造收入,有生意机会,长期是在此之外的目标,比如研发更好的方案,获得更多技术提升,使企业活的更加长久等。Hortonworks有大量技术项目,但是面临的挑战还很多。而在参与Hadoop之前,我在Inktomi和雅虎的工作中,更多是试图寻找如何通过构建基础社区来抓取页面并建立搜索项目,不过也存在这样的问题,就是如同通过管理一个庞大的队伍和项目,平衡短期目标与长期规划之间的关系。

另一方面,对我个人而言,在技术以外,还有一个很有趣的挑战就是如何做生意。特别是在技术已经可以引发商业变革的如今,现在技术变化更快,企业预算更加有限,所有公司都在寻找新的机会,这给技术尤其是开源市场带来了更多的刺激性的机会,但也有不确定性,比如金融。

所以,你可以有雄心,但必须务实。

问:HBTC 2012哪些最吸引您?

Eric Baldeschwieler:作为Hortonworks的CTO,我的工作不是线性的。大部分时间是在线管理技术团队,和聪明的同事们一起设计下一代技术框架。哈哈,在我看来,作为CTO,如果没有直接领导的团队,那么可能你一点私人空间都没有了。另外,我很喜欢参加国外技术研讨会,比如近期我将参加在中国北京举行的HBTC 2012,在这样的技术会议上,不仅可以分享很多技术观点,还可以学到更多。想想看,当不同国家的技术人员都在纠结一样的问题时,我们的探讨可能会产生真正的聪明的答案,这多令人激动啊。

(责任编辑:蒙遗善)

banner
看过还想看
可能还想看
热点推荐

永洪科技
致力于打造全球领先的数据技术厂商

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.2
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限