[python] 파이썬에서 파일을 읽고 쓰는 유니 코드 (UTF-8)

텍스트를 읽고 파일로 쓰는 것을 이해하는 데 약간의 두뇌 장애가 있습니다 (Python 2.4).

# The string, which has an a-acute in it.
ss = u'Capit\xe1n'
ss8 = ss.encode('utf8')
repr(ss), repr(ss8)

( “u’Capit \ xe1n ‘”, “‘Capit \ xc3 \ xa1n ‘”)

print ss, ss8
print >> open('f1','w'), ss8

>>> file('f1').read()
'Capit\xc3\xa1n\n'

그래서 내가 Capit\xc3\xa1n좋아하는 편집기 인 파일 f2에 입력합니다.

그때:

>>> open('f1').read()
'Capit\xc3\xa1n\n'
>>> open('f2').read()
'Capit\\xc3\\xa1n\n'
>>> open('f1').read().decode('utf8')
u'Capit\xe1n\n'
>>> open('f2').read().decode('utf8')
u'Capit\\xc3\\xa1n\n'

내가 여기서 이해하지 못하는 것은 무엇입니까? 분명히 내가 놓친 몇 가지 중요한 마법 (또는 좋은 감각)이 있습니다. 적절한 변환을 위해 텍스트 파일에 한 가지 유형이 있습니까?

내가 정말로 여기에서 실패한 것은 UTF-8 표현의 요점은 실제로 외부에서 올 때 파이썬이 그것을 인식하도록 할 수 없다면입니다. 어쩌면 JSON은 문자열을 덤프하고 대신 사용할 수 있습니다. 요컨대, 파일에서 올 때 파이썬이 인식하고 디코딩 할이 유니 코드 객체의 ASCII 표현이 있습니까? 그렇다면 어떻게 얻습니까?

>>> print simplejson.dumps(ss)
'"Capit\u00e1n"'
>>> print >> file('f3','w'), simplejson.dumps(ss)
>>> simplejson.load(open('f3'))
u'Capit\xe1n'

답변

u'Capit\xe1n\n'

Capit\xc3\xa1n

>>> open('f2').read()
'Capit\\xc3\\xa1n\n'

In [15]: print 'Capit\\xc3\\xa1n\n'.decode('string_escape')
Capitán

s = u'Capit\xe1n\n'
sutf8 = s.encode('UTF-8')
open('utf-8.out', 'w').write(sutf8)

>>>import io
>>>f = io.open("test", mode="r", encoding="utf-8")

>>>f.read()
u'Capit\xe1l\n\n'

>>>import codecs
>>>f = codecs.open("test", "r", "utf-8")

>>>f.read()
u'Capit\xe1l\n\n'

open(file, mode='r', buffering=-1,
      encoding=None, errors=None, newline=None,
      closefd=True, opener=None)

print open('f2').read().decode('string-escape').decode("utf-8")

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()

import codecs
f = codecs.open('file_name.txt', 'r', 'UTF-8')
for line in f:
    print(line)

fileline.decode("utf-8").encode('ascii', 'xmlcharrefreplace')