java處理BOM文本的方法

相關推薦

java處理BOM文本的方法

　　下面舉個例子，針對UTF-8的文件BOM做個處理：

　　String xmla = StringFileToolkit.file2String(new File("D:\projects\mailpost\src\a.xml"),"UTF-8");

　　byte[] b = xmla.getBytes("UTF-8");

　　String xml = new String(b,3,b.length-3,"UTF-8");

　　Document doc1 = DocumentHelper.parseText(xml);

　　Element e1 = (Element)doc1.selectSingleNode("/ResponseData/Body/RetDesc");

　　Element e2 = (Element)doc1.selectSingleNode("/ResponseData/Head/RespID");

　　Element e3 = (Element)doc1.selectSingleNode("/ResponseData/Body/RetCode");

　　Element e4 = (Element)doc1.selectSingleNode("/ResponseData/Body/RetDesc");

　　思路是：先按照UTF-8編碼讀取文件后，跳過前三個字符，重新構建一個新的字符串，然后用Dom4j解析處理，這樣就不會報錯了。

　　其他編碼的方式處理思路類似，其實可以寫一個通用的自動識別的BOM的工具，去掉BOM信息，返回字符串。

　　不過這個處理過程已經有牛人解決過了：http://koti.mbnet.fi/akini/java/unicodereader/

　　什么是BOM

　　BOM(byte-order mark)，即字節順序標記，它是插入到以UTF-8、UTF16或UTF-32編碼Unicode文件開頭的特殊標記，用來識別Unicode文件的編碼類型。對于UTF-8來說，BOM并不是必須的，因為BOM用來標記多字節編碼文件的編碼類型和字節順序(big-endian或little-endian)。

　　在絕大多數編輯器中都看不到BOM字符，因為它們能理解Unicode，去掉了讀取器看不到的題頭信息。若要查看某個Unicode文件是否以BOM開頭，可以使用十六進制編輯器。下表列出了不同編碼所對應的BOM。

　　BOM Encoding

　　EF BB BF UTF-8

　　FE FF UTF-16 (big-endian)

　　FF FE UTF-16 (little-endian)

　　00 00 FE FF UTF-32 (big-endian)

　　FF FE 00 00 UTF-32 (little-endian)

　　BOM的來歷

　　為了識別 Unicode 文件，Microsoft 建議所有的 Unicode 文件應該以 ZERO WIDTH NOBREAK SPACE(U+FEFF)字符開頭。這作為一個“特征符”或“字節順序標記(byte-order mark，BOM)”來識別文件中使用的編碼和字節順序。

　　不同的系統對BOM的支持

　　因為一些系統或程序不支持BOM，因此帶有BOM的Unicode文件有時會帶來一些問題。

　　1.JDK1.5以及之前的Reader都不能處理帶有BOM的UTF-8編碼的文件，解析這種格式的xml文件時，會拋出異常：Content is not allowed in prolog.