Archive | aws RSS for this section

AWS updates 2011-07

上天是公平的, 每個人每天只有24小時. 所以如果你不是萬中選一的練武奇才, 那就要比別人多花點時間了. 請容我先用最近的AWS新聞來更新一下blog. 好啦, 因為確實不是新聞了, 所以標題改叫updates… AWS Import/Export for EBS 這個Import/Export的功能可能在北美洲比較有用, 因為是寄硬碟去給Amazon, 讓Amazon依你的指示把資料從S3寫到硬碟或是相反方向. 如果要輸入/輸出大量資料, 例如幾TB, 絕對是用這個方法比較快. 現在EBS也支援AWS Import/Export了, 可以直接作成EBS snapshots, 這樣要複製多份EBS volumes就非常簡單了. AWS再降價 是的, AWS又降價了. 這次是很重要的網路傳輸費, 從2011-07-01開始生效. 而且Amazon很康慨的把傳入AWS的費用全免了, 這樣計算網路傳輸費用也很簡單了. 很明顯, Amazon就是希望你把資料全部放到他家裡去. 這個用意再明顯也不過了, 資料一進去, 要出來就難了, 因為最難搬動的就是資料啊. 好了, 傳入全免費了, 那傳出的費用也降了. 以最貴的Tokyo地區來算, 每個月前10TB是每GB $0.201美金. 所以如果你的網站每個月輸出100GB, 那就是$20.1美金. 超大量的流量(每個月524TB以上)還可以和Amazon商量, 拿特別的折扣. 另一個和網路傳輸費最相關的服務, 就是CloudFront, 也一起降價了. 同樣以最貴的日本地區來看, 每個月前10TB的傳出費用也是降到每GB $0.201美金. 而且流量越大, 每GB的花費比AWS其它服務的網路傳輸費還便宜. [...]

Continue Reading

Survive AWS Judgment Day

SkyNet 前幾天還看到很多朋友提醒, 2011-04-21就是SkyNet開始發動攻擊的日子了. 這當然是搞笑, 但是沒想到, 真的把AWS打掛了! (沒錯, AWS掛掉的時間是美國2011-04-21) 這次的災情相當慘重, 可以說是一片混亂, 哀鴻遍野. 一直到現在截稿為止, 在美東地區還有一些EBS, EC2, RDS無法連線. 很多新興網站都掛了, 所以將來AWS應該要更小心, 因為除了自己掛掉, 自己也成為更明顯的目標. 我的news feed上有一大堆AWS的訊息, 可見AWS真是有夠多人在用的. 美國鄉民也發揮了許多創意, 搞笑諷刺都很成功. 有人趕快大讚自己有過人的先見之明, 能全身而退. 有人全力嘲諷, 也有人是不滿AWS掛掉, 但是明白自己的責任也不小. 挖苦大軍 AWS Downtime counter 提醒你目前AWS的Downtime, 目前還在不斷的流逝中… AWS Downtime 好啦, awsdowntime.com被註冊了, 就改註冊 .me了! 已經掛很久啦, AWS! EC2 disabled 上面列了被AWS影響到的網站, 真的有夠多的, 你也可以回報掛掉的網站. 不知道回報不是AWS架的網站會怎麼樣? SkyNet does not responsible for AWS [...]

Continue Reading

AWS goes down, web sites go down, too

最近AWS有一些服務都有中斷的情況, 造成很多網站沒有辦法正常工作. 像是許多新興的網站: foursquare, quroa, reddit都無法連線, 想當然很多酸言酸語又出來了, 有的是笑說AWS怎麼會失效, 不是說設計成不會失效嗎? 有的說雲端運算果然還是沒有自有機房來的穩. 看到這些評論我也有些話想說. AWS從來沒說它never fail AWS有SLA的服務, 都有說明它的availability, 可以作為參考. 如果這個服務低於SLA說明的availability, 就會退一個比例的費用, 說明得很清楚. 風險在於, 你沒辦法控制AWS什麼時候失效. 自有機房或是傳統的租用主機就沒有這個風險了嗎? 如果你可以控制機器什麼時候失效, 那就不是風險了. 如果你有看AWS的health dashboard, 就可以看到us-east地區的EC2以及其它一些服務有問題, 如果你使用這些地區的AWS服務, 就可能會被影響到. 但是如果你看一下其它地區, 如Asia或Europe, 就可以看到所有服務都正常. (和我猜想的一樣) AWS提供多地區的服務, 就是能夠讓你快速的把系統由不同地區的機房來服務. 我知道這個很難作到, 主因是放置資料通常還是只能在一處, 但是cloud computing讓這個作法成為可能. How much do you want to pay “雲端運算果然還是沒有自有機房來的穩”, 這句話我同意, 但是我要問一句, 那你準備花多少錢? 除了機器硬體, 水電頻寬房租, 管理員薪水, 所有capacity都要以系統的最大使用量來計算. 如果要異地備援, [...]

Continue Reading

Spot EC2 Cluster Instances

想要偷懶一下都不行, AWS新功能更新的很快, 其實我已經漏了一段時間的AWS新功能沒更新(很明顯, 大概就是之前4個月左右的新功能). 現在要來補完啦! EC2 Cluster Instances can be spot instances EC2提供的HPC, 如Cluster Compute 及Cluster GPU現在可以用Spot Instances計費了! 這真的很讚啊, Spot Instances一般比On-Demand便宜50%到60%, 所以想使用Cluster Compute及Cluster GPU, 又被高價嚇到的話, 可以試著結合Spot Instances來省錢! 我之前分享的“Multi-Region Uploading”, 裡面的”Async. Worker”就非常適合使用Spot Instances計費啊! 完全不用怕被EC2關掉導致工作資料流失. 用這個來處理轉檔, 尤其是像CPU intensive的影片檔處理, 用Cluster Compute的instances是最適合的. 可以用很便宜的錢快速的轉好檔案, 是不是有點讓人心動了呢? 讓我也想寫個應用啊… S3 Encryption Client 資料機密性, 是把資料放在服務提供者那邊最大的考量. 最簡單的作法是, 先把資料加密, 再傳到儲存服務上. 要讀取的時候, 下載好再解密, 很麻煩但是安全多了. 現在AWS SDK for [...]

Continue Reading

Amazon新功能: Cloud Drive

好康又來了 很久沒有寫Amazon的新功能了,趕快來趕上進度一下,這個Cloud Drive又是個好康的東西。所有Amazon使用者都有5GB的免費容量! 可以把在Amazon買的音樂直接放在這裡,然後用Cloud Player播放,還有Android、Mac等播放器,不過這個播放功能目前只有美國才能用。所以在台灣的我們,可以把Cloud Drive當成另一個免費的5GB網路空間啦! Cloud Drive後面當然也是使用Amazon自家的S3,不過Cloud Drive有專門作一個Web UI,比較簡單好用。Cloud Drive也可以昇級,有許多付費等級,20GB一年20美金,而且沒有網路傳輸費,比S3還便宜! AWS新的使用者,S3每個月前5GB是免費的,但剩下的15GB算起來是一年25.2美金(以最便宜的美東地區來計算)。但是S3是無限容量的啦,而且S3可以選「地區」(region),每個物件又可以獨立用API操作,所以彈性還是比較大啦。不過當然還是希望AWS能再降價,過去降好幾次了,應該會再發生! 我一直想著拿著一台iphone或android走在路上搖頭晃腦聽音樂,如果用這個Cloud Drive就很方便啦,不用同步來同步去的。(可惜本人還是使用只能打電話的手機,哈哈!) 看了Amazon,我不禁想到一句:這叫其它廠商怎麼混啊!

Continue Reading

學習S3 API

很久以前看過一篇文章:Why Amazon Compatible API is not a Good Idea ,主要內容是說如果你要做一個網路儲存服務,你不應該”S3 API-Compatible”。作者的建議是使用OpenStack 的API,也就是試著和OpenStack Object Storage的API compatible。 我個人是沒有細看OpenStack的Object Storage API,所以不會比較兩者的高下。我認為S3(或整個AWS服務)的最大優勢,就是它是從真正的使用需求發展出來的(也就是Amazon網站的需求),和從頭開始設計有很大的不同。也就是說如果你相信Amazon是很大的網站,也run的很成功,你就很大程度可以信任AWS。以我看S3的經驗也是這樣覺得,S3的API使用起來很簡單,可是功能又很強,要快,要scalable,要HA,這是很不容易作到的。也許你確實不應該宣告你的系統是S3 API-Compatible的,因為你無法完全實作出S3的所有功能,(實際上是真的很難,S3的功能真的很多,更新又快)。但是我還是認為S3 API是一個很好的學習對象,直接把你覺得好的拿來用就對了。 以實際的工作來考量,完全複製S3 API也是一個不錯的作法,(當然只複製我們要實作的功能)。因為S3已經有非常多的工具可以使用了,大概連測試腳本都可以找得到。我的考量是應該不要花太多功夫在設計API上,因為S3已經是一套很棒的API了。軟體開發的真理就是: 變是久遠的不變,所以真的要改變的時候,再來變吧。我的經驗也是這樣,常常設想了很多式樣,但是需求一改,還是得從底層砍掉重練。 好啦,以上還是沒什麼內容,只是試著把一些想法提出來,讓我的blog更新快一些。以下就是廣告內容啦,要轉台的可以轉啦! AWS的新書名稱: “AWS雲端企業實戰聖經:Amazon Web Services改造企業IT體質”,ISBN: 9789861992792 。書名很狂妄啊! 希望不要被一堆有”雲端”這個字眼的書給淹沒了,我這本書是真的雲端運算嘿。出版日期好像是2011年3月25日,要買的時候要認明,黃底、大大的AWS黑字就對啦。

Continue Reading