Dintro - D-コマンド紹介

他のフォーマットとの変換

表示/印刷

検索

ファイル演算

リピーティングフィールド操作

単純統計

Dファイルエディタ

データモデル

Dファイルのデータモデルは以下のように極めて単純である。

Dファイル規約

DファイルはDファイル規約に従うテキストファイルである。 Dファイル規約を次に示す：

1.

テキストファイルの空行でない1行を1<field>とする。

2.

1つの<field>中で<field name>と<value>とはCOLON (:)で区切る。

3.

空行（複数行可）は<record>の終わりとする。

4.

テキストファイルの終わりを<file>の終わりとする。

以上の規約によれば<value> には改行文字（NL）をのぞくどんな文字も含むことができる。 しかし，実装の便のため次の規約を付け加える。

5.

1行中にNULL文字（NUL）および次に小さい機能制御文字（SOH） を含んではならない。

この規則により <value> には， nl， nul および soh を含むことができず， また， <field name> には，上記の各文字に加えCOLON を含んではならないことになる。 これらの文字をのぞけばオペレーティングシステムの カレントなロケールでサポートされる限りのすべての文字が <field name>および<value> で使用可能である。

なお，上記規約の4.により，1ファイル中最後のDレコードは空行 をともなっていなくても良いことになる。 また，規約3.によりヌルレコード（fieldの数が0のレコード）は存在し得ない。 空行が連続した場合1つのレコード区切りとなるためである。

<field name> や <value> の長さには制限がない。 また， <record> 中の <field> の数にも制限がない。 ただし，システム上の限界は存在する。

Dファイル規約には， メールヘッダ（RFC # 822）で使われているような スペース文字を特別扱いする規則はない。 フィールド名区切りであるCOLONの後に空白があれば それも値のうちである。 また，1 <field> を複数行にわけて表現する手段もない。

空値

<value> も <field name> も，空文字列（長さ0の文字列） であってよい。 しかしながら，空フィールド名（field nameが空文字列）を使用することは 推奨できない。いくつかのDコマンドは空フィールド名をフィールドスキップ のような特殊な機能のために使用している。

これに対し，空文字列を <value> に使用することは，何の問題もない。 ただし，空値（その <field name> を持った <field>が存在しない） と，フィールドが存在してその値が空文字列であることとは 厳密に区別する必要がある。 次の例で最初のレコードは，フィールド"b"が空値であるが， 2番目のレコードは，フィールド"b"が空文字列である。

例:

a:1

a:2
b:

ミッシングバリュー（欠値）を表すのにどちらの方法を使うかは 使用者の自由であるが， Dファイルとしてはこれらの値は異なるものとして扱われるので， 区別については意識しておく必要がある。

エラー

COLONを含まない行はエラーフィールドとなる。 エラーフィールドをどのように扱うかは， 各コマンドの実装にまかされる。 現在の実装では，一般に， エラーフィールドは出力レコードにもそのまま残される， という方針である。 ただし，フィールド名による選択をおこなう場合， エラーフィールドが選択されることはない。

カレントロケールでのエンコーディングに従わない バイト列は，エラーデータである。 Dコマンドはエンコーディングエラーに関して 警告メッセージを出力する。

NULL文字もエラーデータである。 現在の実装では，NULL文字は入力から無視され， 出力レコードには現れない。 メッセージも出力されない。

数値

Dファイル中で数値は文字列として表される。 Dコマンドが数値のフィールドを作成する場合， 数値はprintf(3)の %d（整数）または%g（実数） で変換される。 Dコマンドが文字列を数値として評価する場合， その形式は， strtod(3)の受け付ける10進数表現または strtol(3)の受け付ける0xではじまる16進数表現 でなければならない。 (printf，strtod，strtol はC標準関数)。 これらの形式にあわない文字列は，0として評価される。 たとえば，

a:1/2
b:123c
c:1 2 3

はすべて，上記の形式にあわないため0として評価される。 Dコマンドは，これらの形式外ゼロ評価についてメッセージは出力しない。 また，小数点はロケール依存であり，常にFULL STOP (.)文字とは 限らないことにも注意せよ。

リピーティングフィールド

Dレコードには同じフィールド名のフィールドが2つ以上存在しうる。 たとえば：

a:1
b:2
a:3
b:4

Dコマンドは，原則としてこれらリピーティングフィールドを 1次元動的配列として取り扱う。 すなわち，perlでの配列のように， 0個以上の単純値を一つの名の下に取り扱うことになる。 上記例では，フィールド"a"は値{ 1 3 }，フィールド"b"は値{ 2 4 }， そしてフィールド"c"は存在しないが，もしその名前で評価すれば 空値，すなわち値{ }をもつと見なす。

配列の要素は，単純値でなければならない。 したがって，2次元配列や行列はDコマンドで直接取り扱うことはできない。 また，リピーティングフィールドを数値として評価すると， すべての要素は数値として評価される。 Dの配列は，数値と文字列を混在させることはできない。

Dコマンドの引数では，フィールド名に添え字を指定することはない。 もし，同一フィールド名の値を相対的位置によって異なる取り扱いをする のであれば，最初から異なるフィールド名を与えておくべきである。 ただし，D言語Dlでは， 添え字演算をサポートしている。

フィールド順

異なるフィールド名のフィールド順は問わない。 この原則の下に，次の2レコードは同値である。

a:1
b:2
a:3
b:4

a:1
a:3
b:2
b:4

しかし，同じフィールド名のフィールド順は有意である。 次のレコードは，上記各レコードとと異なる。 フィールド"a"の値が{ 3 1 }であり，上記レコードの{ 1 3 } とは異なっているためである。

a:3
b:2
a:1
b:4

リピーティンググループを扱うコマンド （Dunbundle や Dtie） は，フィールド順をリーフの検出に使用する。 この場合に限り，異なるフィールド名のフィールド順も 意味を持つ。 （詳細はマニュアル D_lsaを見よ）。

明示しない限り，Dコマンドは入力ファイルのフィールド順を保持する。 たとえば，フィールド順を変更する Dorder コマンドでも，フィールドリストに指定されていない フィールドのフィールド順は保持する。

値の比較

値は，文字列または数値のいずれかとして比較される。 省略時では文字列比較となる。 キーフラグ（キーフィールドリスト参照） で数値を指定しない限り，文字列比較となる。 （ただし，D言語ではこの他にも数値比較となる場合がある）。

文字列の大小比較は，各文字の内部処理コードの順にしたがう。 Windowsの場合，内部処理コードはUNICODE（ISO 10646 UCS2）となる。 Gnu/Linuxでは，内部コードはUNICODE (ISO 10646 UCS4）である。 その他のUNIXの場合，内部処理コードはロケールによっても異なることがある。 各オペレーティングシステムのマニュアルを参照すること。

数値比較をする場合，文字列は数値に変換された後変換される。 数値として正しくない形式の文字列は，0に変換されるので注意すること。 （数値参照）。

リピーティングフィールドの場合，最初の要素同士を比較し， それが等しい場合，次に2番目の要素同士を比較する というように等しくない要素が現れるまで， あるいは片方の要素がなくなるまで続く。 片方の要素が尽きだ場合，つきた側が小さいと定義する。 言葉を換えれば，存在しないフィールドは最小の 値（空文字列より小，マイナス無限より小）を持つと考えることにあたる。

2つ以上のフィールドを組み合わせて比較する場合も同様である。 フィールド"a,b"を比較する場合，まずフィールド"a"同士を比較し， それらが等しいときフィールド"b"同士を比較する。 フィールド"a"とフィールド"b"のレコード内でのフィールド順は 比較に影響しない。

リピーティンググループ

リピ－ティンググループは，レコードの中で 繰り返す組になったフィールド群である。 例えば，次のDレコード

continent:Asia
code:CN
name:China
code:JP
name:Japan
code:KR name:Korea (the Republic of)

で，フィールドcodeとフィールドname は、対になって3回繰り返している。 Dファイル規約には，入れ子になったフィールドのような構造を明示的に示す方法 はない。 ただし，ある種のDコマンドでは， リーフセパレーションアルゴリズムを使って， この種の構造を扱うことができる。

一般的には，Dunbundle によって，構造をフラット化する， あるいは，Dtieによって リピーティンググループをリピーティングフィールドに変換するなどの方法をとる。 いくつかの使用例が D_tutorialにある。

共通コマンドオプション

次のオプションは多くのDコマンドにおいて同じ意味で使用される。

正規表現

いくつかのDコマンドでは引数で正規表現を使用する。 正規表現はUNIXのegrep仕様にしたがう。

[ ]の中で"\"はエスケープとして働かないことに注意すること。 また[ ]の中で"]"，"^"または"-"を 使用するには，それらの文字を意味のないところに配置する。 は先頭（"["の直後または，"[^"の直後）におけばよい。 "^"は先頭以外の場所におけば普通の文字として扱われる。 "-"は先頭または最後におけば普通の文字扱いとなる。 なお，"-"の使用にあたっては内部コード についての知識が必要とされるので注意すること。

現在の実装における正規表現処理ルーチンは Henry SpencerのV8 regular expressionにもとづき 国際化に関する変更をおこなったものである。 この正規表現でのマッチは，常に「文字」にもとづき 「バイト」は扱わない。

フィールドリスト

多くのDコマンドにおいて フィールドリスト がオペランドやオプションの引数に使われる。 フィールドリストはCOMMAで区切られた フィールド名のならびである。

D-2.6より前のバージョンでは，空白もフィールド名の区切りであった。 このためにフィールドリスト中で空白を使用することが面倒であり， とくにフィールドフォーマットリスト中で問題が多かった。 このためD-2.6以降では，フィールド名の区切りは　COMMAのみとする。

フィールドリストの文法をやや形式的に書くと次のようになる。

COMMAの後ろにSPACEがあると，次のフィールド名の一部となるので注意。

"a, b"

上例で，最初のフィールド名は1文字の"a"であるが，次のフィールド名は， "b"でなく2文字の" b"となる。

フィールドリスト中でCOMMA(,)またはREVERSE SOLIDUS (\) を用いるには，REVERSE SOLIDUSを前につける。 先頭にCIRCUMFLEX ACCENT(^)を持つフィールド名を フィールドリストの先頭で指定するときもREVERSE SOLIDUS をその前につける。

"\^ab\,cd,\\ef"
"\ef,^ab\,cd"

最初の行は，"^ab,cd"というフィールドおよび "\ef"というフィールドになる。 フィールドリスト中のREVERSE SOLIDUSは， COMMAまたはREVERSE SOLIDUSの前にあるとき， （あるいは，フィールドリストの先頭にあって次の文字がCIRCUMFLEX ACCENTのとき） のみ取り除かれる。そのほかのREVERSE SOLIDUSは，そのまま残る。 したがって，2行目のリストは1行目と同じ"\ef"および "^ab,cd"というフィールドとなる。

フィールドリストには，各フィールド名ごとに付加情報をつけることができる。 付加情報は，フィールド名の後ろにCOLONで区切ってつなげる。 この付加情報の中でもREVERSE SOLIDUSエスケープは有効となる。 付加情報はキーフラグ，入出力フォーマット，新フィールド名などを指定する ために使われる。 この付加情報の種類によってフィールドリストは キーフィールドリスト， フィールドフォーマットリスト， リーフフィールドリスト， または フィールドリネームリスト となる。 これらの特定フィールドリストについては以下の節を参照のこと。

フィールドフォーマットリスト

フィールドフォーマットリストの一般形は

field-name[:format]

というエントリのリストである。 フィールドフォーマットリストは， 文字列をDフィールドに，または Dフィールドから文字列に変換するための 方法を指定する。 フィールドフォーマットリストには 2つのオプション -t と -z によって省略時オプションが指定できる。

フォーマットの詳細についてはマニュアル D_fmt を参照。

キーフィールドリスト

キーフィールドリストの一般形は

field-name[:key-flags]

というエントリの並びである。 キーフィールドリストはキー値として使うフィールドを その属性（例えば文字列か数値かなど）とともに指定する。 キーフィールドリストについては -k オプションによって省略時キーフラグを与えることができる。

キーフラグは次の文字からなる文字列である。 （これらのフラグの意味はUNIXのsortと同じでそのサブセットになっている）。 これらによってフィールドのキー属性を指定する。

n

値は数値に変換される

r

逆順（下降順）

f

大文字化; 小文字を大文字に変換する

d

辞書順; 英数字空白文字以外は消去

i

非印字文字は消去

-k オプションのフラグはキーフラグリストのうち キーフラグをともなっていないフィールドに有効である。 したがって，次の各例は同じ意味になる。

"a,b:nr"
-k nr "a: b"
-k n "a: b:nr"

しかし，次の例は上記例とは異なる。

-k n "a: b:r"

フィールド"b"はこの場合数値フィールドとはならない。

キーフラグ"f"と"d"はロケールのライブラリが サポートしていればASCII以外の文字についても有効である。

キーフラグリスト中に同一フィールド名が重複していても かまわない。ただし，その場合の解釈は各コマンドによって 決められる。 多くの場合，最初のものだけが有効となる。

リーフフィールドリスト

リーフフィールドリストの一般形は

fieldname[:*]

というエントリの並びである。 リーフフィールドリストは， Dunbundle および Dtie で，リーフとして扱われるフィールド群を その繰り返し可能性とともに指定する。 Dtie の場合，リーフフィールドリストは 同時にフィールドフォーマットリストも兼ねる。 実際リーフフィールドリストはフィールドフォーマットリストの サブセットであり，そのうちのフィールド名と"*" とだけが使用される。

詳細は，マニュアル D_lsa を参照。

フィールドリネームリスト

フィールドリネームリストの一般形は

old-field-name:new-field-name

というエントリの並びである。 フィールドリネームリストは Drename で，フィールド名の変更を指定するのに使用される。 "\"によるエスケープはnew-field-name中にも適用される。 たとえば，フィールド名"a-b"を"a b"に変更するには 次のフィールドリネームリストを用いる。

"a-b:a\ b"

COLONがnew-field-nameに入っているかどうかのチェックは行わないので

"a:b:c"

というフィールドリネームリストを書くことはできるが， 結果は値の先頭に"c:"という文字列のついたフィールド"b" を作るだけである。 将来のバージョンではこのチェックを行う可能性もあり， このような使用法は推奨できない。

排他フィールドリスト

CIRCUMFLEX ACCENT(^)ではじまるフィールドリストは 排他を意味する。（この記法は正規表現の[^..]から来ている。） 排他フィールドリストはフィールドリストを使用できるところでは コマンドでの意味に矛盾のない限り使用できる。 一方の極端で，"^"は「すべてのフィールド」を意味するものとして 使用できる。

ただし，排他フィールドリストでは付加情報は意味を持たず， 書いても無視される。 しかし，排他フィールドリストを field-format-listや key-field-list に用いることに問題はない。 これらの特定フィールドリストに排他フィールドリストを用いた場合， 省略時のフォーマットやキーフラグが用いられる。

排他フィールドリストのDコマンド中の処理では 内部的に作業用フィールドリストが作られる。 このフィールドリストはプログラムの開始時点では 空になっている。処理を始めると排他フィールドリストに ないフィールド名を見つけるごとに，そのフィールド名を 作業用フィールドリストに登録する。 この作業用フィールドリストが処理用に使用されるため 実際のフィールドリストの順は入力ファイルに依存して決まる。

このことは Dorder や key-field-list のようにフィールド順に意味のある場合重要となる。 たとえば，次の用に指定した場合，

Dsort ^a file1 > tmp1
Dsort ^a file2 > tmp2
Djoin ^a tmp1 tmp2

3番目のDjoin コマンドでエラーとなることがある。 なぜなら，最初のDsortdでできる作業用フィールドリスト と次のDsortdでできる作業用フィールドリスト とが同じとは限らないためである。

Dコマンド内部変数

Dコマンドの内部変数のあるものはユーザ指定可能で，コマンドの働きを制御できる。 コマンド引数-Dは，内部変数に値を与える。 その形式は次の通りである。

-D 変数名=値[,.. ]

変数名と指定できる値は各コマンドによって決められている。 各コマンドのマニュアルページ参照。 ただし， UTF入出力機能 用のDコマンド内部変数は共通である。 たとえば，

-D datautf=8

は，ほとんどのコマンドでUTF-8コードでの入出力を可能とする。

既定フィールド名

Dコマンドのいくつかは，出力中に決まったフィールド名の フィールドを使用する。 たとえば， Dcat および他のいくつかのDコマンドは"filename"フィールドを出力する。

これら既定フィールド名は，たとえ入力ファイル中に同名のフィールドが あったとしても変更はされない。 この場合，"filename"フィールドがリピーティングフィールドとして出力中に 現れることになる。 Dコマンドの付加するフィールドが，既存のフィールドより前に来るか 後にくるかは，各Dコマンドの仕様により定まる。 Dcat の場合，"filename"フィールドは常にレコードの先頭のフィールドとして 付加される。

リピーティングフィールドになるのが都合悪い場合， Drename によってあらかじめ既存のフィールド名を変更しておくこと。 既定フィールド名を変更する手段は他にはない。

UTF入出力機能

Dコマンドは，ロケールの文字コードにかかわらずUTF-8/16/32コードのデータ入出力が可能である。 UTF入出力機能は，環境変数によって，またはコマンド引数から Dコマンド内部変数を 与えることによって指示される。 UTF入出力機能は，入出力データのみに適用され，コマンド引数およびメッセージは つねにロケールの文字コードとなる。 UTF入出力機能を指示する変数は，次の表に示す3種類ある。

環境変数とDコマンド内部変数の双方が与えられた場合， Dコマンド内部変数が優先する。 datautf と i/odatautf の双方が指定された場合， i/odatautf の値が使用される。

これらの変数の値は次の表に示す意味を持つ。

たとえば，

Ded -D datautf=8 -f program.dl input.d

は， 入力ファイルinput.dと Dlプログラム入力ファイルprogram.dl とがUTF-8コードであることを指示する。

UTF入出力機能は，システムの内部コードがISO 10646 UCSの 場合に有効である。 したがって，Windowsおよび 最近の linux のディストリビューションでは使用可能であるが， SolarisでEUCコードのロケールを用いている場合には使用できない。 （UTF-8コードのロケールの場合，UTF入出力機能を使用できるが， この場合，環境変数やDコマンド内部変数を用いずともUTF-8は使用できる。）。

UTF入出力機能のねらいは，ひとつにはロケールとしてUTF-8をサポートしていない WIndows 上でUTF-8を処理することにあり， もうひとつは，UTF-16/32の内部コードを直接入出力することにより， コマンド間入出力のオーバーヘッドをへらすことにある。