财新传媒 财新传媒

阅读:0
听报道

[what if]第63期:打孔卡上的谷歌

本文作者:一起剥坚果

 

提问:

如果谷歌的所有数据都用打孔卡储存,那么需要多大的数据仓库才能容纳得下?

—— James Zetlen

wpid-google_punchcard-2013-10-22-17-53.png

回答:

谷歌几乎肯定比地球上任何其他组织拥有更大的数据存储能力。

谷歌对其运行细节缄口不谈,所以一些东西没法求证。而全世界也只有为数不多的一些组织能拥有更大的存储能力或更多的服务器基础设施。以下是我认为的谷歌存储能力最有力的竞争者:

下面这些也是大名鼎鼎:

亚马逊(它确实很大,但应该没有谷歌那么大。)

Facebook(大小在相同数量及上并且增长迅速,但离谷歌大哥还有距离)

微软(他们有一百万台服务器[1],但没人确切知道要这么多干嘛。)

让我们来详细看看谷歌的计算平台。

跟着钱走

我们先从谷歌的财务情况入手。谷歌的总资本投入——花在造东西上的那些[2]——加起来差不多有超过1200亿美元。[3]他们最大的数据中心造价在5亿到10亿美元之间,所以谷歌不可能有超过20个这样的数据中心。

谷歌公司在官网上[4]表示在以下这些位置也有他们的数据中心:

1、南卡罗来纳伯克利县
2、爱荷华州康瑟尔布拉夫斯市
3、乔治亚州亚特兰大市
4、俄克拉荷马州梅斯县
5、北卡罗来纳州县勒努瓦
6、俄勒冈州达尔斯市
7、香港
8、新加坡
9、台湾
10、芬兰哈米纳港
11、比利时圣吉斯兰
12、爱尔兰都柏林
13、智利基利库拉

除此之外,谷歌似乎在以下这些地方也有一些大型数据中心(通过子公司运营),其中包括:

1、荷兰埃姆斯哈文
2、荷兰格罗宁根
3、匈牙利布达佩斯
4、波兰弗罗茨瓦夫
5、弗吉尼亚雷斯顿
6、乔治亚州亚特兰大周边还有一些

谷歌还在世界各地数百个小一点的地方运营着一些设施。

跟着电跑

为了搞清谷歌运行着多少台服务器,我们可以从他的电力消耗入手。但不幸的是,我们没法偷偷溜进一个数据中心去看他的电表。[5]因而我们需要做一点数据挖掘的工作。

谷歌公司披露称2010年平均用了约258兆瓦的电能。[6]那这些电能供多少台电脑运作呢?

我们知道谷歌的数据中心还挺节能,只有10%到20%的电力用在冷却和其他间接费用上。[7]为了能让你直观地了解每台服务器的能源消耗,我们不妨看看2005年谷歌提出的“集装箱数据中心”的设想。我们不知道这一设想是否真的投入使用——也有可能曾经试验过,现在又放弃了——但这至少能让我们了解谷歌(曾经)所认为的合理的能源消耗水平:每台服务器215瓦。

基于这个数字,我们可以推算出2010年谷歌运营着约100万台服务器。

在那之后谷歌也在不断成长,到2013年末,谷歌投在数据中心电费上的钱相比2010年将会翻两到三番。他们仅仅在三个地方[8]就签约购买了超过300兆瓦的电力,这可比他们整个2010年消耗的还要多。

根据数据中心的电力的使用以及电力消耗,我才谷歌现在运行着——或即将运行着——180到240万台服务器。

但这些服务器到底意味着什么?谷歌可能会以各种各样奇怪的方式进行尝试,比如一块板子上有100个核心,或者连着100块硬盘。如果我们假设每台服务器连着2到5块[9]2TB硬盘,那么谷歌将会有近10EB[10]的活动存储。

10EB

商业硬盘行业每年都要运送总容量约相当于8EB的大量硬盘。[11]这些数字里并不不含像谷歌这样的巨无霸公司的使用量,但不管怎么说,看上去谷歌确实是全球硬盘市场的一大消耗者。

而且更糟的是,由于谷歌拥有的硬盘数量太多庞大,每几分钟就会有一块硬盘挂掉。[12]虽然相比起总数量来说更换这些硬盘花不了多少钱——谷歌换起硬盘来应该是轻车熟路——但你想一下:当一个谷歌员工运行一段代码时,他知道当运行结束时运行代码的这些机器的硬盘很有可能会挂掉一块时,这种感觉不是很奇怪么?

谷歌的磁带存储

当然了,之前说的都只包括那些活动服务器上的存储量,那么那些被雪藏的数据呢?又有谁知道谷歌或其他公司在地下室里存了多少数据?

在2011年电话参访SMB Tech公司的Paul Mah中,腾堡数据公司(Tandberg Data)的Simon Anderson一不小心说漏了嘴[13],他说谷歌是世界上最大的盒式磁带的单一消费者,每年要买20万个。如果算上谷歌近几年成长带来的更多购买量,也许他的盒式存储容量又要加上几EB。

放到一块儿

我们不妨假设谷歌有15EB的存储量,那可是1.5*10^19比特。

一张打孔卡可以包含约80个字母的信息,一盒打孔卡有2000张:

wpid-17215532_32213-2013-10-22-17-53.gif

15EB的打孔卡足以把我的家乡新英格兰埋在4.5千米厚的卡片底下。那可比最近一次冰川时期覆盖在这片土地上的冰川要厚上3倍。

wpid-17215747_68209-2013-10-22-17-53.gif

看起来很多哈!

但等等,这和某些报道中声称的美国国安局(NSA)在犹他州的变态数据中心比起来算不上什么。

NSA的数据中心

NSA正在犹他州打造一个数据中心。一些媒体报道称这个数据可以储存高达1YB的数据[14],这不明显是扯淡么。

后续的报道似乎也意识到这个问题了,于是改口说只能储存3到12EB的数据。[15]我们知道NSA的电力消耗约为65兆瓦,[16]和谷歌的一个大型数据中心的耗电差不多。

一些报纸头条不再纠结到底有多大的容量,而是说NSA的存储能力在“1EB到1YB”之间[17]……我就呵呵了,这跟说“目击一条长度在1毫米到1千米之间的蛇”有什么区别?

继续挖掘谷歌的秘密

要想挖掘出谷歌的运营信息有许多方法。讽刺的是,其中很多办法要用到谷歌自家的搜索功能——从搜索一下谷歌在各个奇怪的城市的招聘广告到搜索泄露出来的数据中心参观的照片。

不过,前谷歌员工talentlessclown在reddit上给出了一个要想定位谷歌设施的最巧妙的方法之一:[18]

找到有人值守的谷歌数据中心的最简单的方法就是去问出租车司机或者送比萨的小哥。

这真是让我欣慰。谷歌创造出了也许是世界上最为复杂的信息收集系统……但了解谷歌本身信息的人居然是送比萨的司机。

谁来看守看守者?

wpid-google_watchers-2013-10-22-17-53.png

显然是达美乐比萨啦~

注1:鲍尔默说的。
注2:谷歌在纽约买的那栋极为昂贵的房子的花费没算进去。
注5:找个人去试试哈哈
注6:谷歌2010年一共消耗了2,259,998MWh的电能。(不知道258MW的平均消耗是怎么算出来的……)
注10:1EB=100000TB

[what if]第63期:打孔卡上的谷歌 - 科学松鼠会 - 科学松鼠会
 
 
 
 
话题:



0

推荐

科学松鼠会

科学松鼠会

4011篇文章 5年前更新

什么是科学松鼠会? 我们认为,对于部分人来说,科学就像一枚枚难以开启的坚果,虽味美却不易入口。 我们希望自己能够像松鼠一样,打开科学的坚硬外壳,将有营养的果仁剥出来,让人们能够领略到科学的美妙。 我们试图让科学传播并且流行起来。 这里是科学松鼠会的网站的一个镜像,大家的留言我们可能没办法一一回复,如果您有什么问题,欢迎到科学松鼠会的主站提问:http://songshuhui.net/

文章