ラベル SimpleDB の投稿を表示しています。 すべての投稿を表示
ラベル SimpleDB の投稿を表示しています。 すべての投稿を表示

2014-01-21

AWS:SimpleDBのクエリーで order by する際の注意事項

ちょっとしたメモ書き。SimpleDBのクエリーでは、RDBのSQLと同様にorder byを利用したソーティングができます。
  • 降順: order by XXXX desc 
  • 昇順: order by XXXX asc 
となります(XXXXはソートするAttribute名)。ただしソート対がnullを含んではいけないというのがあり、これはクエリーで明示的に書いておく必要があります。具体的には、以下のようにwhere句でnullがないように明示しておく必要があります。
where XXXX is not null order by XXXX desc
ご注意を。

2013-10-07

AWS ExploreでSimpleDBを操作する

おちラボではSimpleDBをラボの研究用データベースの1つとして利用していますが、SimpleDBはAWS Management Consoleで操作ができないなど、後発のDynamoDBよりも冷遇されている感じで、管理がやりにくい雰囲気があります。しかし、SDKに付随しているAWS Exploreを利用するといろいろできます(Eclipse、Visual Studio等)。下記は、Eclipseの例です。

ドメインの作成、削除
AWS Exploerを開くとドメインの一覧が出てきます。ここで右クリックすれば、ドメインの作成・削除ができます。



アイテムの操作
ドメインをクリックするとドメインの中身が見れます。クエリーを入力することで検索することもできます。Excelみたいに直接値を修正することもできます。



2013-09-20

OSimpleMapperCS リリースしました

AWSが提供するデータベースの1つであるSimpleDBのO/Rマッパーもどきのライブラリ(C#版)として
をGitHubにリリースしました。おちラボでは、Javaアプリケーション開発においてSimpleDBの利用を進めていましたが、本ライブラリを利用することでC#アプリケーションからのSimpleDB利用が容易になるかと思います。


2012-10-12

SimpleDBのJava用マッパークラスを公開しました

Amazonの提供するクラウドデータベースの1つSimpleDBのラッパーライブラリを開発しています。SimpleDBには意外にも用意されていないという現実。研究室では以前からHibernateやObjectifyのようなO/Rマッパーライブラリを積極的に利用していましたから、当然同じことをしたくなるわけです。それじゃあ自作しようかということで、院生のタクボ君にいろいろ頑張って調べていろいろコードを書いてもらいました。

で、とりあえずCRUDの基本的なことはだいたいできたので、とりあえず公開です。

2012-06-28

GAE/JからSimpleDBを利用する方法

GAEはDatastoreの有料化に伴いとても使いにくくなりました。かといって、他のクラウドサービスはJavaを動かすだけでちょっとお高く、、、という感じで、帯に短しタスキに長しという感じで、個人的にはGAEのプラットフォームはとても好きだけど使えない。。。と悶々としておりました。
 一方、データベースについてはDynamoDBとかSimpleDBなどAWSが魅力的なサービスを提供してますので、GAEとAWSをうまく組み合わせることができたら最高じゃないか?っていうのは誰もが気づくことです。しかし、GAEの制約により、AWSのSDKは使えないということになっています。困ったもんです。。。
ですが、SimpleDBやDynamoDBなどのサービスはRESTインタフェースを持っているわけで、SDKなんか使わなくても単純なRESTアクセスをすれば、GAEからアクセス可能なはずです。だれかそういうことをやっている猛者はいないのかといろいろ探していたのですが、ようやくいいソリューションを発見しました。

Alanwilliamson's Library
RESTを利用してSimpleDBにアクセスする試みってのは探せばあるもんでして、
に、そのライブラリがありました。これを使います。マニュアル等はありませんが、これをつかうことでAWSのSDKなしで純粋なHTTPクラスのみでアクセスできます。ただし、これのみではGAEでは使えません。試したらみたらわかりますが、FileOutputStreamなどを使っているのでこれらがGAEで使えないというエラーが出ます。困りましたね。

Koherent-App-Engine-Library-for-Java
探せばあるもんで、
このライブラリは、
FileOutputStream、FileInputStreamをDatastoreOutputStream、DatastoreInputStreamに置き換える
ということができます。上記のAlanのコードを書き換えましょう。

Content-typeを修正する
上記2つを組み合わせることで、無事動く、、、と言いたいのですが、putAttributeを実行するとなぜか認証エラーがでます。DomainListsの入手では問題ないのに。。。。これは、SimpleDBのRESTの仕様のバグか何か?で
//urlc.setRequestProperty("Content-type", "application/x-www-form-urlencoded" );
urlc.setRequestProperty("Content-type", "application/x-www-form-urlencoded; charset=utf-8" );
のようにヘッダの記述部分を書き換えることで解決します。

おそらく、AWS+GAEの組み合わせを希望しつつ、断念していた人も多いのではないかと思います。しかし、この方法なら大丈夫なはずです。細かいコマンドの動作はまだ試してませんが、後日、ノウハウをまとめたいと思います。


2012-06-14

AWS:RDSではなくSimple DBを選んだ理由

先日の記事のように、おちラボでは、
  • DynamoDB
  • SimpleDB
の2つをラボのクラウドデータベースの柱として活用することにしたわけですが、今回、RDSではなくSimple DBを選んだその理由についてちょっと書いてみます。

ネットワークセキュリティ
一番の理由はこれですね。ファイヤーウォールの関係で、RDSのように従来のRDBシステムをバックにしたシステムにアクセスするポートは塞がっています。よって、ラボ内からRDSにアクセスできない。。。この問題は、SQL Azureを利用するときにもぶちあたっていて、RDSも同様のシステムなんだから無理なわけで、、、もちろん、申請すればポートなどは開けてもらえますが、この手のクラウドのサービスでは、EndpointのIPも変わるような気がして(未確認)、とにかくセキュリティポリシー上無理だということに。一方、SimpleDBはDynamoDBと同様にRESTインタフェースをベースにしてますから、ふつうにアクセスできます。

シンプルにDBを扱いたい
教育的な視点を考えると、RDBのような一般的なDBを扱わせたいと思う反面、すばやくシステムを作ることを考えると、SimpleDBのような単機能のほうが良いかなと判断しました。

値段的に安い
私の勘違いでなければ
  • RDS ・・・ DBのインスタンス生存時間
  • SimpleDB  ・・・ 実際のCPU処理時間
で、つまり、RDSは使ってなくてもインスタンスが動いていれば課金。SimpleDBは実際のリクエスト処理時間に応じて課金。ということ。ラボの利用みたいに、少人数でアクセス時間も限られている場合であれば、SimpleDBは格安ですむと思われます。

クラウドデータベース選定の一助になれば幸いです。


AWS:SimpleDBをセットアップする

AWSのSimpleDBを使ってみようかと思って、いきなりセットアップでハマったので、、、

SimpleDBってAWSの中では結構ウリのサービスでありながら、AWS Management Consoleにその名がないなどいまいちスタンスがよくわからないサービスです。そして、DynamoDBの登場によりなおさらその存在が微妙になりつつある感じがしますが、おそらくDynamoと並行して残っていくサービスだと思います(根拠なし)。

おちラボではとりあえず、DynamoDBとSimpleDBを併用して運用しようかと考えており、ではさっそくセットアップして使ってみようと思ったものの情報があまりない?。ネットでググッてみてもSDKのなかのコマンドラインツールを使って、、、というのもめんどくさいこと書いてるし、、、と試行錯誤してシンプルなセットアップを見つけましたので、以下に手順を書いていきます。

1.SimpleDBを有効にする
公式サイトにアクセスして、まずは有効にしましょう。

2.IAMでSimpleDBを使えるようにする
ここが一番ハマりました。User PolisiesでSimpleDBを使えるようにPolicyを追加しようとしましたが、Policy TempleteにSimpleDBの項目がない!?でもここで諦めてはいけません。Policy generatorではちゃんとSimple DBはリストにありますので。ここで SimpleDBを使えるようにしましょう。なお、Resouseのところは
arn:aws:sdb:us-east-1:XXXXXXXXX:domain/*
と書けばいいと思いますが、XXXXXXXのところは適切な値にしてください。

3.Eclipse Pluginからアクセスする
ここもポイントです。コマンドラインツールなんか使わなくても、Eclipseの AWS PluginにありAWS xploreを利用すればGUIで操作できます。Domainの作成はボタンクリックでできます。


というわけで、これからSimpleDBも利用していこうと思ってます。ノウハウが見つかればまた書いていきますね。