銀の弾丸

プログラミングに関して、いろいろ書き残していければと思っております。

DynamoDBをSQLで操作するNodeモジュール

Amazon DynamoDBSQL的な記述言語(SQL-ish)で操作できるNodeモジュールのご紹介。

f:id:takamints:20180206230625p:plain

目次

www.npmjs.com



概要

このモジュールからはDynamoDBのテーブルをSQL的な文(SQL-ish)で操作できるステートメントを提供しています。

ステートメントを生成する関数は以下の4つ:

それぞれ、引数にSQL(によく似た)文を与えてステートメントを生成します。 各ステートメントは後からパラメータを与えて実行可能(※ただしDeleteItemStatementは現在パラメタライズが出来ません)。

このほか、ScanとQueryの結果の中の Itemsを(DynamoDBのマップ型の配列から)普通のオブジェクトの配列に変換する DynamoDbResultSet クラスgetItemsメソッドが使えます。

また、v0.9.6では、 PutItemStatement が返す DynamoDBPutItemStatementクラスsetValuesメソッドで、新たなVALUESを設定してステートメントを実行できます。

以下にScanとQueryの簡単なサンプルコードを掲載してます。 他のステートメントのサンプルやAPIの詳細はAPIリファレンスを参照してくださいね。

SQL-ish Statement クラスの使用例

実際に動作させるには、DynamoDBにstarsというテーブルがあり、HASHキーがString型のmainStar、RANGEキーがNumber型のorbitOrderとなっている必要があります。

"use strict";
const awsNodeUtil = require("aws-node-util");
const ScanStatement = awsNodeUtil.dynamodb.ScanStatement;
const QueryStatement = awsNodeUtil.dynamodb.QueryStatement;
const ResultSet = awsNodeUtil.dynamodb.ResultSet;

// Connect (change each value for your account)
awsNodeUtil.dynamodb.connect(
//    { accessKeyId: 'AKID', secretAccessKey: 'SECRET', region: 'us-west-2' }
);

// Prepare 'Scan' statement
var scanStatement = ScanStatement(
        "FROM stars WHERE name=:name");

// Prepare 'Query' statement
var queryStatement = QueryStatement(
        "SELECT mainStar, orbitOrder, name " +
        "FROM stars " +
        "WHERE mainStar=:mainStar");

// Run the statements
ScanStatement("FROM stars").run({}, (err, resp) => {
    console.log("-----------------------");
    console.log("SCAN all items of stars");
    console.log("-----------------------");
    printResult(err, resp);
    scanStatement.run({ ":name": "EARTH" }, (err, resp) => {
        console.log("--------------");
        console.log("SCAN the EARTH");
        console.log("--------------");
        printResult(err, resp);

        queryStatement.run({ ":mainStar": "EARTH" }, (err, resp) => {
            console.log("------------------------------");
            console.log("QUERY child stars of the EARTH");
            console.log("------------------------------");
            printResult(err, resp);
        });
    });
});

// Handler to print result of scan / query
function printResult(err, result) {
    if(err) {
        console.error("Error:", err.stack);
    } else {
        ResultSet.printScanResult(result);
    }
}

実行時の出力例:

$ node sample/sqlish-sample.js
-----------------------
SCAN all items of stars
-----------------------
Count: 10
ROWNUM diameter rotation role      mass      gravity density escapeVelocity name    orbitOrder mainStar
     1     3475    655.7 satellite    0.0073     1.6    3340            2.4 MOON             1 EARTH
     2     4879   1407.6 planet       0.33       3.7    5427            4.3 MERCURY          1 SUN
     3    12104  -5832.0 planet       4.87       8.9    5243           10.4 VENUS            2 SUN
     4    12756     23.9 planet       5.97       9.8    5514           11.2 EARTH            3 SUN
     5     6792     24.6 planet       0.642      3.7    3933            5.0 MARS             4 SUN
     6   142984      9.9 planet    1898.0       23.1    1326           59.5 JUPITER          5 SUN
     7   120536     10.7 planet     568.0        9.0     687           35.5 SATURN           6 SUN
     8    51118    -17.2 planet      86.8        8.7    1271           21.3 URANUS           7 SUN
     9    49528     16.1 planet     102.0       11.0    1638           23.5 NEPTUNE          8 SUN
    10     2370   -153.3 planet       0.0146     0.7    2095            1.3 PLUTO            9 SUN
ScannedCount: 10
--------------
SCAN the EARTH
--------------
Count: 10
ROWNUM diameter rotation role   mass gravity density escapeVelocity name  orbitOrder mainStar
     1    12756     23.9 planet 5.97     9.8    5514           11.2 EARTH          3 SUN
ScannedCount: 10
------------------------------
QUERY child stars of the EARTH
------------------------------
Count: 1
ROWNUM name orbitOrder mainStar
     1 MOON          1 EARTH
ScannedCount: 1

SQL-ishの構文

各Statementの構文を以下にざっくり説明します。 []は省略可能を意味します。<> は後述します。

/* Scan */
[SELECT <projection-expression>]
FROM <table-name>
[WHERE <filter-expression>]
[LIMIT <limit>]

/*Query*/
[SELECT <projection-expression>]
FROM <table-name>
WHERE <key-condition-expression>
[FILTER <filter-expression>]
[LIMIT <limit>]

/*PutItem*/
INSERT INTO <table-name> ( <attribute-list> )
VALUES ( <value-list> )
[WHERE <key-condition-expression>]

/*DeleteItem*/
DELETE FROM <table-name>
[WHERE <key-condition-expression>]

SELECT句

SELECT句には<projection-expression>にカンマ区切りで選択する属性名を指定します。 通常のSQLと違ってSELECT句は省略可能です。省略時は全属性が選択されます。 (「属性」は一般的なDBでは列、またはカラムに相当します)

FROM句

FROM句は必須です。 <table-name>に検索を行うテーブル名を指定します。JOINなどは出来ません。

WHERE句

WHERE句はScanとその他のステートメントでは意味が違います。

ScanStatementでは、フィルター条件式(<filter-expression>)を指定します。これは省略可能です。省略すると全件取得。 フィルタ条件式にはキー属性を記述できません。これが必要な場合はQueryを使用します。

他のステートメントではキーの条件式(<key-condition-expression>)を指定します。 QueryStatementでは必ず記述しなければなりません。 キーの条件式には、キー以外の属性を記述できません。 QueryStatementでキー以外の属性で絞り込みたい時はFILTER句を使用します。

その他、キーの条件式には、以下のような制限もあります。これらは全てDynamoDBのKeyConditionExpressionの制限です。

  • パーティションキーの条件は必須で、 = で一致させなくてはなりません。
  • ソートキーの条件をANDで追加できます。この条件式で使用できる比較演算子=, <, <=, >, >=, BETWEEN ~ ANDだけです。INは使用できません。関数はbegins_withだけ使用できます。
  • 詳細はQuery - Amazon DynamoDB(英文)に書いてあります。

FILTER句

FILTER句は、QueryStatementにフィルタを設定するために記述します。 省略可能。省略時はフィルタはかかりません。

ScanStatementにFILTER句は指定できません(WHERE句に指定)。

LIMIT句

LIMIT句は<limit>にScanする件数(数値)を指定します。

省略可能ですが注意が必要。

LIMIT句を省略するとScanStatementではWHERE句(フィルタ)の指定に関わらず、全件をスキャンすることになります。 QueryStatementでは必ずパーティションキーの条件が入っていますのである程度件数は絞られます。 いずれにせよ項目数の多いテーブルでLIMIT句を省略すると処理速度や料金に影響しますので注意して下さい。 これはDynamoDBの仕様です。

VALUES句

PutItemStatementのVALUES句は、( <attribute-list> ) VALUES ( <attribute-list> )という形式で、 追加・上書きする項目の属性(RDBでのカラム名に相当)と値をそれぞれカンマ区切りで並べたものです。 属性と値の数は一致しなければなりません。 各値の型は表記から自動的に判断されます。

プレースホルダーについて

DynamoDBを使う上でちょっと邪魔くさい「名前のプレースホルダー」、「値のプレースホルダー」について気にする必要はありません。 本モジュール内で構文解析時に自動的に識別して変換します。

ステートメントのパラメタライズ

上の例に示しているように、パラメータ化する箇所には半角コロン:で始まる識別子を直接記述しておけば、実行時にパラメータを与えて処理できるようになります。

DynamoDBについての基本事項

DynamoDBはNoSQL

DynamoDBはAWSAmazon Web Service ― のNoSQL型データベース。 リレーショナルではありませんので複数テーブルの突き合わせ(JOIN)とかは出来ません。

DynamoDBのScanとQueryの違いについて

ScanもQueryもDynamoDBのテーブルから項目を読み込む機能ですが、読み込み方に違いがあります。

Scanはキーによる絞り込みが出来なくて、項目の並び順に順次読み込み(=スキャン)する感じ。 Queryはスキャンの前にキーの条件で絞り込めます。

どちらもスキャンしたあとに「フィルター」をかけられ、スキャンする項目数を指定できます。 また、続きから読むという操作も可能です。

あとがき

DQLというPython製ですが似たコンセプトのモジュールがあるらしいですね。 使ったことがないのでよくわからないですが、シェルから実行できる対話式のクライアントという感じでしょうか。

当npmをリリースした後「似たようなのって既にあるんじゃないの?」って検索して知ったのでワタシは無罪。 しかし、こちらが後発なのは明らかなので今後構文的にDQLに寄せていくのもありかなと思っています。BNFもドキュメントで規定されているし。

package-lock.jsonの潜在的セキュリティ脆弱性を解消しました

f:id:takamints:20180112204146p:plain
photo credit: wuestenigel blue padlock via photopin (license)

昨年12月末、GitHubに置いてる自作npmリポジトリに「潜在的なセキュリティの脆弱性がありますよ」ってメッセージが表示されるようになって、 「公開しているnpmのリポジトリに、こんなの表示されたらかなわんなあ」と思いながらも、 なんか怖いし対処法も分からんし、2週間ぐらいは見て見ぬふりしていましたが、この度正しく対処してメデタク解消致しました。

結果的には大したことはしていませんが記録として書いておきます。

潜在的セキュリティ脆弱性があるらしい

何やら怪しげなメッセージは、コチラ(↓)です。

f:id:takamints:20180110111240p:plain

”potential security vulnerabilities”が「潜在的セキュリティ脆弱性」。

文章部分を、ちゃんと翻訳すると以下のようになりますね。

We found potential security vulnerabilities in your dependencies. Some of the dependencies defined in your package-lock.json have known security vulnerabilities and should be updated. Only the owner of this repository can see this message.


「わたしたちは、あなたの依存パッケージに潜在的なセキュリティ脆弱性の可能性を見つけました。 あなたの package-lock.json 内の依存パッケージのいくつかは、既知のセキュリティ脆弱性があり、これらは更新されるべきです。 リポジトリのオーナーだけがこのメッセージを見ることができます。

最後の一文でホッとしましたが、どうすりゃいいかはわからない。 とりあえず「Review Vulnerable dependencies」ボタンを押せば、以下(↓)の詳細が表示されます。

f:id:takamints:20180110113541p:plain

このページ、昨年末にGitHubに追加された機能ですね。「早速動いているんだな」と当たり前のことに感心しました。

それはさておき、どうやら marked0.3.6脆弱性があるようです。 そして、小さなドロップダウンを開くと、修正された 0.3.9 以降に更新すればいいよと言ってるようだ。

ただし自作パッケージではmarkedを使用していません。依存パッケージのどれかが依存しているのでしょう。

package-lock.jsonを編集するのはよろしくないかも

最初は単純に package-lock.json に記述されてる marked のバージョンを 0.3.9に書き換えればよいと思いましたが、そうでもなさそう。 セマンティックバージョニングを厳格に適用するなら、以下の理由によって正しく動作する保証がありません。

  • marked に依存しているパッケージは marked@0.3.9 で動かされた実績がありません(パッチレベルのバージョンアップですので実際には動くかもしれませんが、それでも確証はありません)。
  • markedのメジャーバージョンは0(=正式リリースされていない状態)なので互換性が保証されない可能性があります。
  • package-lock.json は古いバージョンに固定したい(勝手に新しいバージョンが使われないようにする)時に使うものだと思ってます(あってますかね?)ので、新しいバージョンに固定するのは気持ち悪い。

ということから、直接 marked に依存しているパッケージを更新し、marked@0.3.9 以上に依存するのが安全ぽいという結論に。

どいつが依存しているんだ?

しかし、package-lock.json を開いても、どのパッケージがmarkedに依存しているかという情報はないのですね。

npmの依存関係は npm ls で全部表示できるのですが、恥ずかしながらこの時スッカリ忘れていまして、findとgrepで node_modules以下にインストールされた全パッケージのpackage.jsonからmarkedをゴリゴリ検索しちゃいました。これ結構時間がかかりますので良い子は真似しない。npm ls はnode_module以下を見ずに依存ツリーを表示してくれるのでこちらが標準。

$ find . -name 'package.json' -exec egrep -H '^\s*"marked"' {} \;
./express/package.json:    "marked": "0.3.6",
./jsdoc/package.json:    "marked": "~0.3.6",
./marked/package.json:    "marked": "./bin/marked"

はい出ました。expressjsdocでした(最後の行はmarked自身)。

あとは更新してプッシュ

どちらも、npmで確認すると新バージョンが出ておりまして、それぞれ修正済みのmarkedへ依存していました。 そこで、この2つのパッケージを最新版に更新し、package-lock.json も更新し、 GitHub へアップすれば一件落着。

Push後すぐにはメッセージは消えませんでしたが、少なくとも1時間後には消えていました。

github.com

まとめ

  • ちょっと邪魔くさかったけど、定期的に npm-check-updates してればこういう目に合わなくてよいのかも知れないなと。
  • npm 5で追加されたpackage-lock.jsonについて、きちんと理解する必要があると痛感しました。

www.npmjs.com

WindowsでSwift使う(iPhone開発とは言ってない)

f:id:takamints:20171227204509p:plain

詳解 Swift 第4版
詳解 Swift 第4版
posted with amazlet at 17.12.27
SBクリエイティブ (2017-12-26)
売り上げランキング: 2,188

Swift For Windowsをインストールすればヨシ。

デフォルトで C:\Swift にインストールされる。

GUIから使うにはこのままで良いのだけれど、できればCLIから使いたい。

コマンドプロンプトPowerShellから使うには以下の4つにPATHを通す。

C:\Swift\mingw64\bin;
C:\Swift\wxWidgets-3.0.3\lib\gcc510TDM_x64_dll;
C:\Swift\usr\lib\swift\mingw;
C:\Swift\usr\bin;

これで難なくコンパイルできるし実行モジュールもダブルクリックで実行可能。GitBashからもOKですね。

しかしESP-IDF用にインストールしたMSYS2からは使えなかった(なんでか知らん)。 そこで、上記とほぼおなじことだけど、同MSYS2の .bash_profile に以下の4行を追加する。

PATH="${PATH}:/c/Swift/mingw64/bin"
PATH="${PATH}:/c/Swift/wxWidgets-3.0.3/lib/gcc510TDM_x64_dll"
PATH="${PATH}:/c/Swift/usr/lib/swift/mingw"
PATH="${PATH}:/c/Swift/usr/

これでめでたくいたるところでSwiftをコンパイルできて実行可能。おめでたい。

まあ、iPhoneアプリは開発できないけど、言語は習得できますね。

参考リンク: