NTFS圧縮はいいよ

日本全国の陰影段彩データを生成。1次メッシュで163ファイル、全部で15Gになった。ちと解像度高すぎた。

生成の遅さにイライラする。途中からNTFSの圧縮機能を使い、ディレクトリごと圧縮。すると3倍の速度に。遅さの原因はディスクアクセス、CPUはあまり使っていなかった。
圧縮によって、ディスクアクセスをCPUに肩代わりしてもらったことになる。陰影段彩は冗長な場合が多く、圧縮率が高い。今回は約75%もの圧縮率だ。一般に地理情報データはディスクを喰う。しかし同時に冗長なことも多い。地理情報標準のXMLもそうだが、ラスタデータは特にそう*1。

NTFS圧縮はNT4の頃からよく使っている。圧縮アルゴリズムが暗号機能と同じなので、万一の場合、復元の可能性がほぼ無い。未だに嫌がる人はいるけど、不具合は一度もないな、10年以上使っているけど*2。

ディスクに余裕があっても、NTFS圧縮は有効だという話でした。

あと投影変換か。こいつはCPU使いまくり、ホントに時間がかかる。擬似アフィンでやっちゃうかな。

*1:航空写真は別ですね

*2:こんな事もあったのか。いま知った。