Irvineでダウンロードが早すぎてNGとなる

Irvineで複数ファイルをダウンロードしていると、ダウンロードが早すぎてその後のダウンロードを拒否されるケースがある。
普通だとダウンロードの間隔を指定したいところだが、Irvineにはその機能がない。
(1)ひとつにはshで、

wget –wait=4 xxxURL/photo/3/251533/251533-25843-8-75614.jpg; sleep 10;

のようなshellを書いてダウンロードさせるのがひとつ。でもこれで拒否されることもある。
(2)実はダミーで dummy1M.jpg
のようなファイルを作り、交代でダウンロードさせる。これは %home/dummy/300k/[001-999].jpgのようなファイル群を作るとよいと思う。全部シンボリックリンク貼っておけば、分量も問題ないだろう。1k, 100k, 300k, 500k, 1M, 10M ぐらいをサンプルで作った。
(3)結局無難なのは、ダウンロード速度を制限することだろう。default100kとなっていたが、これを10kにするとゆっくりではあるが着実にダウンロードしていってくれる


Amazon EC2を使う

同じくAmazon EC2を使ってみることにする。この目的としては、もし短期間にアクセスが集中するようなコンテンツを提示せねばならないようなときの準備をしておくためである。それから、たとえば週末のみにオープンさせるようなテンポラリなサーバがあってもよいだろう、との考え方による。

基本はAmazonのサイトの記述による。
0.まずアカウントやKey Pairを用意しておく。
1.Amazon EC2 コンソールダッシュボードの Launch Instanceでインスタンスを起動させる(これまで0であることを確認する)。
2.Create a New Instance ページがでるので、オプションを選ぶ。ここではClassic wizardを選んだ。
3.使用したいOSを選ぶ。
4.Security Groupを選んで、セキュリティオプションを選ぶ。quicklaunch-xは以前quickstartを選んだ時のテンプレート、defaultはデフォルトのようだ。セキュリティとは、外部からどのポート・プロトコルを許すかのセットを選択する。デフォルトは22のSSHのみだが、80のHTTPも入れてWebサーバになるようにする。(ひょっとしてこれはLauch後に設定したかもしれない)
5.設定確認後 LAUNCHする
6.Navigation ペインの Instances をクリックすると、稼働中のインスタンスが表示される。緑色のマークになっていたら、稼働中。
+ここでSecurity Groupを選んでHTTP 80ポートを追加
7.このインスタンスを右クリックしてConnectを選ぶと、組み込まれたJavaのコンソールが開く
8.ログインネームに注意!Amazon Linuxだとec2-user.Ubuntuだとubuntu. 他のAMIの例だとrootのケースがあるらしい。パスワードは公開鍵で自分のPCに書き込まれたファイルを指定する。
 (自分の場合はC:\AWS\ec2service と極力簡単にした)
9.これでLAUNCH SSH CLIENTを押すと、仮想サーバの画面が出てくる。

以下もしもapacheを立ち上げる際の手続き
10. sudo yum -y install httpd
11. /etc/rc.d/init.d/httpd start
12. ブラウザでapacheのデフォルト画面がでているかチェックする(これはうまく行かなかった)。
13. コンテンツは/var/www/html/ 配下に入るので、ここにindex.htmlを入れる 
sudo でviが必要かもしれない
  
    
    
     Hello world!
    
    
    

Hello World!!

    
    
  ぐらいで十分
14. 再度ブラウザでチェック。
15. ftpでコンテンツが入れられるようにする。

終わる際には、
16. コンソール動作中のインスタンスのStateを右クリックして、Instance LifecycleをTerminateにする。
17. 確認が来るのでYesを選択する。State がShutting downを経てterminateとなる。
18. EC2 Dashboardを確認し、自分のグループでRunnning Instancesが0であることを確認して終了する。


Amazon S3を使い始めた

クラウドをもっと暮らしに利用しよう、という言葉を標榜したくなり、手始めにまずAmazon S3の利用から始めようと思った。もちろんStorageはDropboxやMicrosoft SkyDriveがあって使いやすく人気もあるわけだが、もう少し素なサービスで自分が管理するようなサービスをやってみたいと思い、S3をそのまま利用してみることにした。

management consoleにSign inして、そこからS3のメニューを選ぶ。まずBucketをCREATEする。それからCREATE Folderで、Bucket配下にフォルダを作成する。
このとき、どこのエリアに作成するか聞いてくるので選ぶ。注:小文字しか許されないようだ。
これからアップロードを開始する。単一ファイルなら簡単だが、フォルダ全部を入れる場合には、βで、Enable Enhanced Uploader (BETA)があるのでそれを選ぶ。JAVAがインストールされるのが条件。+ダウンロードに2分ほどかかるようだ(失敗することもあった)。

これでuploadを選び、開始させると転送が開始される。何かクラウドだととても早く転送されるイメージがあるが、そんなわけではない。TCPのウィンドウのせいか、転送速度はどんどんと変化する。光アクセスでもせいぜい数百kbyte/sec – 数十kbyte/secの転送速度だ。N-americaとTokyoを比べてみたが、心なしかTokyoの方が早いような印象があった。


Thunderbirdのインデックスを削除

先の方法でもいまいち高速化できなかったので、この際、インデックスを削除してみた。Thunderbirdを停止してから
Windows 7で
%home\Appdata\Roaming\Thunderbird\Profiles\xxx.default\
フォルダの中の
global-messages-db.sqlite
を削除してみる。ファイルサイズが大きいと動作が遅くなるらしい。自分の場合、130Mほどあった。消去しても再構成されるのだが、
自分の場合、56M程度に収まっている。