目次
標準出力でのUnicodeEncodeError
Pythonで日本語の処理をしていると、UnicodeEncodeErrorに出くわすことがあるかと思います。
例えば私が今回遭遇したのは、print()で標準出力に表示しようとしたテキストに「！」マークが二つ並んだ文字、Unicodeでいうと\u203cが含まれていたために、次のようなエラーが表示され処理が止まってしまいました。
再現するとこんな感じです。
>>> print('こんにちは\u203c')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'cp932' codec can't encode character '\u203c' in position 0: illegal multibyte sequence
標準出力はio.TextIOWrapperで管理されている
私の使っているPython 3.5.2では、sys.stdoutはio.TextIOWrapperというオブジェクトです。
>>> import sys >>> sys.stdout <_io.TextIOWrapper name='<stdout>' mode='w' encoding='cp932'>
このio.TextIOWrapperは、errorsという引数を渡すことでエンコードやデコード時のエラーの処理方法を指定することができます。
公式ドキュメントにあるように、次のようなオプションがサポートされています。
| 引数の値 | 意味 |
|---|---|
| strict | 例外を発生させる |
| ignore | 無視する |
| replace | '?'などのマーカーで置き換える |
| backslashreplace | バックスラッシュ付きのエスケープシーケンスに置き換える |
| xmlcharrefreplace | XMLの文字参照に置き換える |
| namereplace | \N{...}エスケープシーケンスに置き換える |
他の形式も指定できるようですが、詳細はドキュメントを当たってください。
解決方法
例えば不正な文字を'?'マークに置き換えるのであれば、標準出力(sys.stdio)を次のようなio.TextIOWrapperに置き換えてあげます。
>>> import sys
>>> import io
>>> sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding=sys.stdout.encoding, errors="replace")
>>> print('こんにちは\u203c')
こんにちは?これで、最後の文字が'?'に置換して表示されました。
ちなみに、backslashreplaceを指定するとこんな感じです。
>>> sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding=sys.stdout.encoding, errors="backslashreplace")
>>> print('こんにちは\u203c')
こんにちは\u203c元の文字の情報を保持しておきたいときは、backslashreplaceやxmlcharrefreplaceのほうが良いですね。
