プログラマのための文字コード技術入門 改訂新版 の商品レビュー

矢野啓介(著者)

2022/10/05

図書館で借りた。
プログラマであれば、文字コードに関わったことはあるはず。その文字コードについてひたすら書かれたのがこの本。非常に洗練されており、深いなぁと思わされる。

個人的には仕事で関わったので、サロゲートペアなど勉強になった。

2022/06/17

文字コードやエンコーディングに悩まされたことのないソフトウェアエンジニアはいないと思う。本書は文字コード関連のトラブルを一度でも経験したのなら読んでほしい一冊。
私も10年前に読んでいればよかったと思った。基礎的ではあるがはっきりと整理できていない人は多いのではないか。

2022/05/28

仕事でUTF-8について調べる必要があり、16進数表記のバイト列とにらめっこする時間を過ごした。やってる最中は苦痛だったが、終わると逆に興味が湧いてきて本書を手に取る。何と深淵な文字コードの世界。自分が悪戦苦闘していたUnicodeとUTF-8など氷山の一角でしかなかったｗ一度読んだ程度で理解できる代物ではないな。文字化けとかで悩まされたくはないけどRFC的な知識とかはそこまで…というエンジニアも第1・6・8章など実務的な内容を切り出した章立てにしてあるので読みやすいと思う。

2020/11/03

普段何気なく使っているShift_JISだとかUTF-8とかの文字コード。そろそろその中身について調べてみようかと思って読んでみたら、想像以上に複雑だった。
所詮、自分は文字コードについてはASCIIコードを知ってるぐらいの知識しかない自分には難しかった。
文字コードについて様々な視点から書かれてあって、よくこれだけまとめれたものだと思った。GLとかGRとか初めて聞く用語があちこちででてきたけど、文字コードを語る上では知らないといけない知識なのだろうなと思った。制御文字について、CL領域はともかく、CR領域というのがよく分からなかった。CR領域って必要なのか？　CLだけじゃダメな理由がよく分からなかった(実際、Shift_JISについてはCR領域についても図形文字領域として利用しているらしい)
半角の円記号(￥)とバックスラッシュ（＼)の問題については、文字コードの問題における一番の問題だと思う。この本を読んでみても、この問題についてはもうどうしようもなさそう(全角で「＼n」とするという思考実験について書かれてあったけど、現実的ではないと書かれてあった)。
SHIFT_JISの半角カタカナについて、見た目上の制約はないので、フォントが全角カタカナのように表示してしまっても特に問題ないらしい。
ちょっと面白かったのが、幽霊漢字という文字について。JIS基本漢字に定められている典拠不明の文字だそうなのだけど、制定が1978年って、作った人が亡くなって分からなくなったとかなのだろうか。
アイヌ語というのは全然知らんかったので、いろいろ知ることが多かった。セ゜(セ゚)とか小文字のク(ㇰ)なんて文字があるらしい。どういうふうに読むのだろう。
後、文字コードというのは、順番に文字に番号をあてはめてるだけだと思ってたし、大きくは間違ってないと思うけど、文字コードの計算の話がでてきて驚いた。UTF-8では符号位置がどのようなバイト位置になるかを計算で求めるらしい。本当、思ったより複雑だ。
プログラミングの内部処理についてもJavaとRubyについて解説してあり、内部でいろいろ複雑なことをしてるのかということが分かった。確かに、2バイト以上の文字を一文字と分かるし、そりゃそうか。
海外(主に東アジア)で使われる文字コードについても書かれてあって、面白かったのが北朝鮮のKPS9566について。なんと、歴代指導者の名前(金日成、金正日)がその順番通りに句点位置が割り当てられているらしい(なので、番号が重複している)。このこだわりは面白い。
後、右から左に書く制御文字(RLO)を使って、実際はexeファイルなのに、表示されるファイル名は「foo_exe.txt」とまるでテキストファイルのような見た目にできるという方法を知って驚いた(実際やってみたらできた)。それより、ファイル名にUNICODE制御文字を挿入できるということを初めて知った(右クリックでできた)。他にどんなことができるのかまた調べてみたいと思う。

2020/10/30

文字コード技術を体系的に学ぶという点で、まあ文字コードの書籍は然程あるわけではないですが、入門者にとって非常に分かりやすいものであると思います。この本を経れば、あとはコンソーシアムなりIPAのドキュメントを参照することで大半の文字問題はなんとかなると思います。