快捷導(dǎo)航

Python如何讀取16進(jìn)制byte數(shù)據(jù)

更新時(shí)間：2022年05月20日 11:31:19 作者：rysander

這篇文章主要介紹了Python如何讀取16進(jìn)制byte數(shù)據(jù)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

如何讀取16進(jìn)制byte數(shù)據(jù)

小弟最近在做網(wǎng)絡(luò)編程的時(shí)候，遇到了一些byte數(shù)據(jù)需要儲(chǔ)存，但是不是常見的str字符對(duì)應(yīng)的byte，類似于b'\x00\xff\xfe\x01'這樣的數(shù)據(jù)，查找資料后發(fā)現(xiàn)這種東西是16進(jìn)制編碼的byte格式，可以直接轉(zhuǎn)成str沒有問題，但是再轉(zhuǎn)回bytes就會(huì)出現(xiàn)莫名其妙的雙斜杠，很是頭疼。

a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd'
b = str(a)
?
print(b)
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdABCDabcd'
?
print(bytes(b,'utf8'))
>>> b"b'\\x00\\xef\\xa2\\xa0\\xb3\\x8b\\x9d\\x1e\\xf8\\x98\\x199\\xd9\\x9d\\xfdABCDabcd'"

嘗試寫入文件，再讀取也是如此，因?yàn)閷戇M(jìn)去的形式就是str字符

# 寫入data.txt
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd'
with open('data.txt','w') as p:
? ? p.write(str(a))
?
# 讀取data.txt
with open('data.txt','r') as p:
? ? line = p.readline()
?
print(line, type(line) == str)
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdABCDabcd\\' True
?
print(bytes(line,'utf8'))
>>> b"b'\\x00\\xef\\xa2\\xa0\\xb3\\x8b\\x9d\\x1e\\xf8\\x98\\x199\\xd9\\x9d\\xfdABCDabcd\\\\'"

觀察了一下ASCII碼，發(fā)現(xiàn)主要還是因?yàn)閈x字符被理解成了一個(gè)斜杠加x的形式，然后被儲(chǔ)存為str形式，相當(dāng)于變成了兩個(gè)字節(jié)。

這樣解碼的時(shí)候分開解了，但是\xnn這種形式是應(yīng)該看作ASCII碼的，于是我寫了個(gè)轉(zhuǎn)義的邏輯進(jìn)行讀?。?/p>

def readbytetxt(filename):
? ? dic = {
? ? '0': 0, ? ?'1': 1, ? ?'2': 2,
? ? '3': 3, ? ?'4': 4, ? ?'5': 5,
? ? '6': 6, ? ?'7': 7, ? ?'8': 8,
? ? '9': 9, ? ?'a': 10, ? 'b': 11,
? ? 'c': 12, ? 'd': 13, ? 'e': 14,
? ? 'f': 15,
? ? }
? ? with open(filename,'r') as p:
? ? ? ? line = p.readline()
? ? ? ? while line:
? ? ? ? ? ? if line[-1] == '\n':
? ? ? ? ? ? ? ? line = line[:-1]
? ? ? ? ? ? i = 2
? ? ? ? ? ? L = b''
? ? ? ? ? ? while i+1 < len(line):
? ? ? ? ? ? ? ? if line[i:i+2] == '\\x' and (line[i+2] in dic.keys()) and (line[i+3] in dic.keys()):
? ? ? ? ? ? ? ? ? ? L += bytes([dic[line[i+2]]*16+dic[line[i+3]]])
? ? ? ? ? ? ? ? ? ? i += 4
? ? ? ? ? ? ? ? else:
? ? ? ? ? ? ? ? ? ? L += bytes(line[i],'utf8')
? ? ? ? ? ? ? ? ? ? i += 1
? ? ? ? ? ? return L
? ? ? ? ? ? line = p.readline()
?
print(readbytetxt('data.txt'))
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd'

問題解決了！基本就是寫了個(gè)遍歷，然后遇到\x就把16進(jìn)制轉(zhuǎn)成十進(jìn)制的int，然后解碼成bytes，這樣常見的十六進(jìn)制格式基本都能調(diào)用了。

后來發(fā)現(xiàn)除了\x還有其他的轉(zhuǎn)義字符，比如\\，\n，如果不添加轉(zhuǎn)變邏輯的話，依然會(huì)出現(xiàn)不識(shí)別的問題，于是重寫了一下函數(shù)，支持了常見的大部分轉(zhuǎn)義字符，并且寫成了生成器輸出。

def readbytetxt2(filename):
? ? dic = {
? ? '0': 0, ? ?'1': 1, ? ?'2': 2,
? ? '3': 3, ? ?'4': 4, ? ?'5': 5,
? ? '6': 6, ? ?'7': 7, ? ?'8': 8,
? ? '9': 9, ? ?'a': 10, ? 'b': 11,
? ? 'c': 12, ? 'd': 13, ? 'e': 14,
? ? 'f': 15,
? ? }
? ? dic2 = {
? ? 'a': '\a', ? ? 'b': '\b',?
? ? 'f': '\f', ? ? 'n': '\n',?
? ? 'r': '\r', ? ? 'v': '\v',?
? ? '\'': '\'', ? ?'\"': '',?
? ? '\\': '\\',?
? ? }
? ? with open(filename,'r') as p:
? ? ? ? line = p.readline()
? ? ? ? while line:
? ? ? ? ? ? if line[-1] == '\n':
? ? ? ? ? ? ? ? line = line[:-1]
? ? ? ? ? ? i = 2
? ? ? ? ? ? L = b''
? ? ? ? ? ? while i+1 < len(line):
? ? ? ? ? ? ? ? if line[i:i+2] == '\\x' and (line[i+2] in dic.keys()) and (line[i+3] in dic.keys()):
? ? ? ? ? ? ? ? ? ? L += bytes([dic[line[i+2]]*16+dic[line[i+3]]])
? ? ? ? ? ? ? ? ? ? i += 4
? ? ? ? ? ? ? ? elif line[i] == '\\' and line[i+1] in dic2.keys():
? ? ? ? ? ? ? ? ? ? L += bytes(dic2[line[i+1]],'utf8')
? ? ? ? ? ? ? ? ? ? i += 2
? ? ? ? ? ? ? ? elif line[i:i+4] == '\\000':
? ? ? ? ? ? ? ? ? ? L += bytes('\000','utf8')
? ? ? ? ? ? ? ? ? ? i += 2
? ? ? ? ? ? ? ? else:
? ? ? ? ? ? ? ? ? ? L += bytes(line[i],'utf8')
? ? ? ? ? ? ? ? ? ? i += 1
? ? ? ? ? ? yield L
? ? ? ? ? ? line = p.readline()
?
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe first line\n\r\a\b\t\\\f\'\"\v\b\n\000'
b = b'\xa0\xdf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe second line\nn'
c = b'\xe0\xaf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe third line\\'
with open('data.txt','w') as p:
? ? p.write(str(a)+'\n')
? ? p.write(str(b)+'\n')
? ? p.write(str(c))
?
line = readbytetxt2('data.txt')
?
print([a for a in line])
>>> [b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe first line\n\r\x07\x08\\t\\\x0c\'"\x0b\x08\n\x00', b'\xa0\xdf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe second line\nn', b'\xe0\xaf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe third line\\']

基本上至此為止，大部分編碼形式都可以搞定了。

但是。。。其實(shí)還有一個(gè)更簡單的方式！因?yàn)槠鋵?shí)萬惡之源就是str字符格式里面有很多轉(zhuǎn)義的地方不清不楚的，我想要的是byte存進(jìn)文件，再以byte讀出來，而byte格式本來就是16進(jìn)制的數(shù)字，說到底其實(shí)只要能存數(shù)字就可以了！所以寫了個(gè)更簡單的方法，直接轉(zhuǎn)成數(shù)字存數(shù)字列表就好！

L = []
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe first line\n\r\a\b\t\\\f\'\"\v\b\n\000'
print(a)
for each in a:
? ? L.append(int(each))
with open('data.txt','w') as p:
? ? p.write(str(L))
print(L)
>>> [0, 239, 162, 160, 179, 139, 157, 30, 248, 152, 25, 57, 217, 157, 253, 116, 104, 101, 32, 102, 105, 114, 115, 116, 32, 108, 105, 110, 101, 10, 13, 7, 8, 9, 92, 12, 39, 34, 11, 8, 10, 0]
?
?
with open('data.txt','r') as p:
? ? line = p.readline()
print(b''.join([bytes([int(i)]) for i in line[1:-1].split(',')]))
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe first line\n\r\x07\x08\t\\\x0c\'"\x0b\x08\n\x00'

存進(jìn)去的是數(shù)字列表，然后用split的方式讀出來就可以了，這樣也不會(huì)有各種轉(zhuǎn)義搞不清的地方，數(shù)字是什么就讀什么byte出來就可以了。