Java中涉及的编码知识

发发牢骚

在工作中遇到不少Java编码问题，每次解决乱码问题，都花了较长的时间，非常影响工作效率！
在工作中会经常遇到各种各样的问题，每次一个问题总是捣腾了很久，然后就解决了，但其实没有弄明白问题的本质。当下次遇到类似的问题，还是继续折腾，非常浪费时间。
想要高效解决编码问题，当然要究其根源。以后遇到类似问题，可以顺藤摸瓜，轻松解决！

典型问题

Java采用哪种字符集
Java中一个字符需要几个字节存储
String.getBytes()方法哪种编码方式？IOS-8895-1、还是UTF-8？
乱码产生的原因

如果能够回答以上问题，那么这篇文章可以Pass了！

将Unicode字符串转化成UTF-8、ISO-8859-1字符串

Java采用Unicode字符集，一个字符用两个字节存储。

以下是程序片段：将Unicode字符串转化成UTF-8、ISO-8859-1字符串

    String cnName = "I am 小佳";
    //Unicode字符集        
    System.out.println(printHexString(cnName.toCharArray()));
    //ISO-8859-1编码       
    System.out.println(printHexString(cnName.getBytes("ISO-8859-1")));
    //UTF-8编码 
    System.out.println(printHexString(cnName.getBytes("UTF-8")));
    /**
     * 字节数组转换成16进制
     * @param b
     * @return
     */
    private  String printHexString( byte[] b) {
        String a = "";
        for (int i = 0; i < b.length; i++) {
            String hex = Integer.toHexString(b[i] & 0xFF);
            if (hex.length() == 1) {
                hex = '0' + hex;
            }

            a = a+hex;
        }
        return a;
    }

    /**
     * 字符数组转化成16进制
     * @param b
     * @return
     */
    private  String printHexString(char[] b) {
        String a = "";
        for (int i = 0; i < b.length; i++) {
            String hex = Integer.toHexString(b[i] & 0xFFFF);
            if (hex.length() == 1) {
                hex = '0' + hex;
            }
            a = a+hex;
        }
        return a;
    }

字符串”I am 小佳”，由Unicode转换成UTF-8和ISO-8859-1，得到不同的字节（16进制表示），主要区别如下：

对于英文字符，无论采用何种编码方式，得到的编码结果相同。所以，英文字符不存在乱码问题
对于中文字符，不同的编码方式得到不同的结果；Unicode用2个字节存储中文，UTF-8用3个字节存储中文
ISO-8859-1不支持中文，任何中文，采用该编码，都会转换成3F(3F映射的字符为’?’)；所以当中文用ISO-8859-1编码时，会生成一些列带问号的乱码’????????????????’

编码方式	I		a	m		小	佳
Unicode	49	20	61	6D	20	5C0F	4F73
ISO-8859-1	49	20	61	6D	20	3F	3F
UTF-8	49	20	61	6D	20	E5B08F	E4BDB3

乱码的产生

采用不同的编码方式进行编码和解码，是生成乱码的根源。下面分析两种常见的乱码

    String cnName = "I am 小佳";
    //采用ISO-8859-1编码、UTF-8解码
    String iso88591Str = new String (cnName.getBytes("ISO-8859-1"), "UTF-8");
    //采用UTF-8编码、ISO-8859-1解码
    String utf8Str = new String (cnName.getBytes("UTF-8"), "ISO-8859-1");             
    System.out.println(iso88591Str);//打印结果，乱码：I am ??
    System.out.println(utf8Str);//打印结果，乱码：I am å°ä½³

源字符串	编码	解码	转换结果
I am 小佳	UTF-8	ISO-8859-1	I am å°ä½³
I am 小佳	ISO-8859-1	UTF-8	I am ??

产生乱码”I am å°ä½³”的原因是：ISO-8859-1只能对单个字节编码
产生乱码”I am ??”的原因是：ISO-8859-1会把所有的中文字符转化成3F，3F映射的字符为’?’

getBytes()的编码方式

String.getBytes()采用操作系统默认的编码方式，请看getBytes()源码
获取默认编码在这个方法： defaultCharset()，该方法从关键
字“file.encoding”获取默认编码方式
题外话：defaultCharset方法值得研究，该方法是线程安全的，并且用了缓存！
如果你使用getBytes()，发生了中文乱码问题，则需要设置file.encoding为UTF-8, 即可解决乱码问题

    public byte[] getBytes() {
        return StringCoding.encode(value, 0, value.length);

    }
    static byte[] encode(char[] ca, int off, int len) {
        //获取默认得编码方式
        String csn = Charset.defaultCharset().name();
        try {
            // use charset name encode() variant which provides caching.
            return encode(csn, ca, off, len);
        } catch (UnsupportedEncodingException x) {
            warnUnsupportedCharset(csn);
        }
        try {
            return encode("ISO-8859-1", ca, off, len);
        } catch (UnsupportedEncodingException x) {
            // If this code is hit during VM initialization, MessageUtils is
            // the only way we will be able to get any kind of error message.
            MessageUtils.err("ISO-8859-1 charset not available: "
                             + x.toString());
            // If we can not find ISO-8859-1 (a required encoding) then things
            // are seriously wrong with the installation.
            System.exit(1);
            return null;
        }
    }
    public static Charset defaultCharset() {
        if (defaultCharset == null) {
            synchronized (Charset.class) {
                //从操作系统获取默认得编码方式
                String csn = AccessController.doPrivileged
                    new GetPropertyAction("file.encoding"));
                Charset cs = lookup(csn);
                if (cs != null)
                    defaultCharset = cs;
                else
                    defaultCharset = forName("UTF-8");
            }
        }
        return defaultCharset;
    }

总结

我这里只是抛砖引玉，讲述了Unicode转换UTF-8、ISO-8859-1的过程，以及乱码问题产生的根源。
如果对编码问题感兴趣的话，可以进一步探讨GBK、GB2313、UTF-8的编码转换是否会产生乱码
另外，编码问题很考验思维深度，有不少面试官会专门出编码的题目。所以，编码问题值得研究！

文章标签： Java UTF-8 ISO-8859-1 编码