如何利用Amazon S3服务将文件备份到国外


如果担心自己网站/Blog内容遇到不可抗力的用户可以考虑一下利用s3的服务将文件远程备份到国外。去年AMazon推出了一系列基于Web的服务,其中S3(Simple Storage Service)网络服务的存储和带宽传输,发布时的价格为:

# $0.15 per GB-Month of storage used.
# $0.20 per GB of data transferred.
具体成本可以参考一下Jeremy的在家备份和使用S3的比较,算算电费和灾难恢复等可靠性指标还是用s3比较便宜,其实我自己目前也在用DreamHost的空间做远程定期同步备份。

注释:带宽费用国内大约1¥可以买2-4G,国外的带宽还是比较贵的。

由于是公开的web服务: 现在的可用工具也很多了。从面向个人用户的客户端程序(Java的客户端JetS3T和不免费的JungleDisk),到面向自动备份的脚本,也有用于应用开发的各种语言样例; 从国内访问,速度是无法保证的,因此远程安全备份和用于自己在不同机器上共享文件就是主要的目的了,自动备份文件有文章推荐了s3curl,我下载用了一下,需要用到的就是以下几个命令: s3curl就是在curl命令外面包了一个选项的perl脚本,登录Amazon的s3服务,先从Your Web Service Account菜单进入到AWS Access Identifiers,获得你的Your Access Key ID Your Secret Access Key 。

列表:

./s3curl.pl --id YourAccessKeyID --key YourSecretAccessKey -- http://s3.amazonaws.com

创建目录[Bucket]:Bucket就是文件夹,但是不能在文件夹下再创建文件夹。

./s3curl.pl --id YourAccessKeyID --key YourSecretAccessKey --createBucket -- http://s3.amazonaws.com/chedong

上传文件[Object]:

./s3curl.pl --id YourAccessKeyID --key YourSecretAccessKey --put mysql.4.gz -- http://s3.amazonaws.com/chedong/mysql.backup.gz

列出一个目录[Bucket]下所有文件[Object]:
./s3curl.pl --id YourAccessKeyID --key YourSecretAccessKey -- http://s3.amazonaws.com/chedong

注意:
请预先确认已经安装 perl -MCPAN -e 'install "Digest::HMAC_SHA1"'

从7月1日开始的新价格:

Current bandwidth price (through May 31, 2007)
$0.20 / GB - uploaded
$0.20 / GB - downloaded

New bandwidth price (effective June 1, 2007)
$0.10 per GB - all data uploaded

$0.18 per GB - first 10 TB / month data downloaded
$0.16 per GB - next 40 TB / month data downloaded
$0.13 per GB - data downloaded / month over 50 TB
Data transferred between Amazon S3 and Amazon EC2 will remain free of charge

New request-based price (effective June 1, 2007)
$0.01 per 1,000 PUT or LIST requests
$0.01 per 10,000 GET and all other requests*
* No charge for delete requests

Storage will continue to be charged at $0.15 / GB-month used.

后记: 上传速度大约是每天1G左右 所以 在国内用其作大文件应用的开发是不切实际的。

作者:车东 发表于:2007-09-17 17:09 最后更新于:2007-10-23 17:10
版权声明:可以转载,转载时请务必以超链接形式标明文章 的原始出处和作者信息及本版权声明

Comments

在国内有类似的服务吗?

车老大,问一个与文章不相关的不太专业的问题。关于站点地图,google sitemap只是针对于google爬虫有效吗?百度有没有类似的站点工具吗?自己如何做一个让所以搜索爬虫都能识别的站点地图。。。

我看了一下S3的文档,似乎是非通用分布式文件系统那种的,类似于hadoop、fastDFS之类。这样的东西其实并不适合备份。备份的话,还是找个Unix机器,用rsync比较快

DragonDisk is an easy-to-use S3 client for Windows and Linux with an interface similar to the Windows Explorer's. ( http://www.dragondisk.com )

Tony

发表一个评论

(如果你此前从未在此 Blog 上发表过评论,则你的评论必须在 Blog 主人验证后才能显示,请你耐心等候。)

相关文章

关于

此页面包含了发表于2007年09月17日 下午05时46分的 Blog 上的单篇日记。

此 Blog 的前一篇日记是 O'Reilly《精通正则表达式》第三版(中文) [书评]

此 Blog 的后一篇日记是 [AD] 此地、钱多、站少、速来的来历

更多信息可在 主索引 页和 归档 页看到。

Creative Commons License
此 Blog 中的日记遵循以下授权 Creative Commons(创作共用)授权.
Powered by
Movable Type 3.36