39-struct

[Pin-Jiun]

二進制處理方式 有的時候需要用python處理二進制數據，比如，存取文件，socket操作時.這時候，可以使用python的struct模塊來完成.可以用struct來處理c語言中的結構體.

struct模塊中最重要的三個函數是

pack() pack(fmt,v1,v2,...)

將變數轉成對應的格式

unpack(fmt,string)

將對應的格式轉回數據

calcsize(fmt)

計算目前的格式用了多少記憶體

上述fmt中，支持的格式為：

FORMAT  [C TYPE]            [PYTHON TYPE]   [STANDARD SIZE]     [NOTES]
x       pad byte            no value        
c       char                string of length    1               1    
b       signed char         integer             1               (3)
B       unsigned char       integer             1               (3)
?       _Bool               bool                1               (1)
h       short               integer             2               (3)
H       unsigned short      integer             2               (3)
i       int                 integer             4               (3)
I       unsigned int        integer             4               (3)
l       long                integer             4               (3)
L       unsigned long       integer             4               (3)
q       long long           integer             8               (2), (3)
Q       unsigned long       long integer        8                (2), (3)
f       float               float               4               (4)
d       double              float               8               (4)
s       char[]              string        
p       char[]              string        
P       void *              integer                             (5), (3)

注1.q和Q只在機器支持64位操作時有意思

注2.每個格式前可以有一個數字，表示個數

注3.s格式表示一定長度的字符串，4s表示長度為4的字符串，但是p表示的是pascal字符串

注4.P用來轉換一個指針，其長度和機器字長相關

注5.最後一個可以用來表示指針類型的，佔4個字節

為了同c中的結構體交換數據，還要考慮有的c或c++編譯器使用了字節對齊，通常是以4個字節為單位的32位系統，故而struct根據本地機器字節順序轉換.可以用格式中的第一個字符來改變對齊方式.定義如下：

CHARACTER   [BYTE ORDER]            [SIZE]      [ALIGNMENT]
@           native                  native      native
=           native                  standard    none
<           little-endian           standard    none
>           big-endian              standard    none
!           network(=big-endian)    standard    none
使用方法是放在fmt的第一個位置，就像'@5s6sif'

例子1： 結構體如下：

struct Header
{
    unsigned short id;
    char[4] tag;
    unsigned int version;
    unsigned int count;
}

通過socket.recv接收到了一個上面的結構體數據，存在字符串s中，現在需要把它解析出來，可以使用unpack()函數：

import struct
id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字符串中，!表示我們要使用網絡字節順序解析，因為我們的數據是從網絡中接收到的，在網絡上傳送的時候它是網絡字節順序的.後面的H表示一個unsigned short的id,4s表示4字節長的字符串，2I表示有兩個unsigned int類型的數據.

就通過一個unpack，現在id, tag, version, count裡已經保存好我們的信息了.

同樣，也可以很方便的把本地數據再pack成struct格式：

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函數就把id, tag, version, count按照指定的格式轉換成了結構體Header，ss現在是一個字符串(實際上是類似於c結構體的字節流)，可以通過socket.send(ss )把這個字符串發送出去。

例子2：

import struct

a=12.34
將a變數變成二進制
bytes=struct.pack('i',a)
此時bytes就是一個string字符串，字符串按字節同a的二進制存儲內容相同。

再進行反操作，現有二進制數據bytes，（其實就是字符串），將它反過來轉換成python的數據類型：

注意，unpack返回的是tuple !!
a,=struct.unpack('i',bytes)
如果是由多個數據構成的，可以這樣：

a='hello'
b='world!'
c=2
d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)
此時的bytes就是二進制形式的數據了，可以直接寫入文件比如binfile.write(bytes)

然後，當我們需要時可以再讀出來，bytes=binfile.read()

再通過struct.unpack()解碼成python變量：

a,b,c,d=struct.unpack('5s6sif',bytes)
'5s6sif'這個叫做fmt，就是格式化字符串，由數字加字符構成，5s表示佔5個字符的字符串，2i，表示2個整數等等，下面是可用的字符及類型，ctype表示可以與python中的類型一一對應。

注意：二進製文件處理時會碰到的問題

我們使用處理二進製文件時，需要用如下方法：

binfile=open(filepath,'rb')     #讀二進制文件

binfile=open(filepath,'wb')     #寫二進制文件

那麼和binfile=open(filepath,'r')的結果到底有何不同呢？ 不同之處有兩個地方：

第一，使用'r'的時候如果碰到'0x1A'，就會視為文件結束，這就是EOF。使用'rb'則不存在這個問題。即，如果你用二進制寫入再用文本讀出的話，如果其中存在'0X1A'，就只會讀出文件的一部分。使用'rb'的時候會一直讀到文件末尾。

第二，對於字符串x='abc\ndef'，我們可用len(x)得到它的長度為7，\n我們稱之為換行符，實際上是'0X0A'。當我們用'w'即文本方式寫的時候，在windows平台上會自動將'0X0A'變成兩個字符'0X0D'，'0X0A'，即文件長度實際上變成8.。當用'r'文本方式讀取時，又自動的轉換成原來的換行符。如果換成'wb'二進制方式來寫的話，則會保持一個字符不變，讀取時也是原樣讀取。所以如果用文本方式寫入，用二進制方式讀取的話，就要考慮這多出的一個字節了。'0X0D'又稱回車符。linux下不會變。因為linux只使用'0X0A'來表示換行。