理解Oracle數(shù)據(jù)庫字符集-入門基礎(chǔ)
時(shí)間:2008-11-17 00:00來源:中國網(wǎng)管聯(lián)盟 作者:bitsCN整理 點(diǎn)擊:9次
一、引言 ORACLE數(shù)據(jù)庫字符集，即Oracle全球化支持（Globalization Support），或即國家語言支持（NLS）其作用是用本國語言和格式來存儲(chǔ)、處理和檢索數(shù)據(jù)。利用全球化支持，ORACLE為用戶提供自己熟悉的數(shù)據(jù)庫母語環(huán)
一、引言
ORACLE數(shù)據(jù)庫字符集，即Oracle全球化支持（Globalization Support），或即國家語言支持（NLS）其作用是用本國語言和格式來存儲(chǔ)、處理和檢索數(shù)據(jù)。利用全球化支持，ORACLE為用戶提供自己熟悉的數(shù)據(jù)庫母語環(huán)境，諸如日期格式、數(shù)字格式和存儲(chǔ)序列等。Oracle可以支持多種語言及字符集，其中oracle8i支持48種語言、76個(gè)國家地域、229種字符集，而oracle9i則支持57種語言、88個(gè)國家地域、235種字符集。由于oracle字符集種類多，且在存儲(chǔ)、檢索、遷移oracle數(shù)據(jù)時(shí)多個(gè)環(huán)節(jié)與字符集的設(shè)置密切相關(guān)，因此在實(shí)際的應(yīng)用中，數(shù)據(jù)庫開發(fā)和管理人員經(jīng)常會(huì)遇到有關(guān)oracle字符集方面的問題。本文通過以下幾個(gè)方面闡述，對(duì)oracle字符集做簡要分析。 網(wǎng)管網(wǎng)bitsCN_com
二、字符集基本知識(shí)
2.1字符集
實(shí)質(zhì)就是按照一定的字符編碼方案，對(duì)一組特定的符號(hào)，分別賦予不同數(shù)值編碼的集合。Oracle數(shù)據(jù)庫最早支持的編碼方案是US7ASCII.
Oracle 的字符集命名遵循以下命名規(guī)則 ：
即： <語言><比特位數(shù)><編碼 >
比如： ZHS16GBK表示采用GBK編碼格式、16位（兩個(gè)字節(jié)）簡體中文字符集
2.2字符編碼方案 中國網(wǎng)管聯(lián)盟www.bitscn.com
2.2.1 單字節(jié)編碼
（1）單字節(jié)7位字符集，可以定義128個(gè)字符，最常用的字符集為 US7ASCII
（2）單字節(jié)8位字符集，可以定義256個(gè)字符，適合于歐洲大部分國家 中國網(wǎng)管聯(lián)盟www_bitscn_com
例如：WE8ISO8859P1（西歐、8位、ISO標(biāo)準(zhǔn)8859P1編碼 ） 54com.cn
2.2.2 多字節(jié)編碼
（1）變長多字節(jié)編碼
某些字符用一個(gè)字節(jié)表示，其它字符用兩個(gè)或多個(gè)字符表示，變長多字節(jié)編碼常用于對(duì)亞洲語言的支持， 例如日語、漢語、印地語等例如：AL32UTF8（其中AL代表ALL，指適用于所有語言）、 zhs16cgb231280
（2）定長多字節(jié)編碼
每一個(gè)字符都使用固定長度字節(jié)的編碼方案，目前oracle唯一支持的定長多字節(jié)編碼是AF16UTF16，也是僅用于國家字符集
2.2.3 unicode 編碼
Unicode 是一個(gè)涵蓋了目前全世界使用的所有已知字符的單一編碼方案，也就是說Unicode為每一個(gè)字符提供唯一的編碼。UTF-16是unicode的16位編碼方式，是一種定長多字節(jié)編碼，用2個(gè)字節(jié)表示一個(gè)unicode字符，AF16UTF16是UTF-16編碼字符集。
UTF-8 是unicode的8位編碼方式，是一種變長多字節(jié)編碼，這種編碼可以用1、2、3個(gè)字節(jié)表示一個(gè)unicode字符，AL32UTF8，UTF8、UTFE是UTF-8編碼字符集
2.3 字符集超級(jí)
當(dāng)一種字符集（字符集A）的編碼數(shù)值包含所有另一種字符集（字符集B）的編碼數(shù)值，并且兩種字符集相同編碼數(shù)值代表相同的字符時(shí)，則字符集A是字符集B的超級(jí)，或稱字符集B是字符集A的子集。
Oracle8i 和oracle9i官方文檔資料中備有子集-超級(jí)對(duì)照表（subset-superset pairs），例如：WE8ISO8859P1是WE8MSWIN1252的子集。由于US7ASCII是最早的Oracle數(shù)據(jù)庫編碼格式，因此有許多字符集是US7ASCII的超集，例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。
2.4 數(shù)據(jù)庫字符集（oracle服務(wù)器端字符集）
數(shù)據(jù)庫字符集在創(chuàng)建數(shù)據(jù)庫時(shí)指定，在創(chuàng)建后通常不能更改。在創(chuàng)建數(shù)據(jù)庫時(shí)，可以指定字符集（CHARACTER SET）和國家字符集（NATIONAL CHARACTER SET）。 中國網(wǎng)管聯(lián)盟www_bitscn_com
2.4.1 字符集 網(wǎng)管網(wǎng)bitsCN_com
（1） 用來存儲(chǔ)CHAR， VARCHAR2， CLOB， LONG等類型數(shù)據(jù)
（2） 用來標(biāo)示諸如表名、列名以及PL/SQL變量等
（3） 用來存儲(chǔ)SQL和PL/SQL程序單元等
2.4.2 國家字符集：
（1） 用以存儲(chǔ)NCHAR， NVARCHAR2， NCLOB等類型數(shù)據(jù)
（2） 國家字符集實(shí)質(zhì)上是為oracle選擇的附加字符集，主要作用是為了增強(qiáng)oracle的字符處理能力，因?yàn)镹CHAR數(shù)據(jù)類型可以提供對(duì)亞洲使用定長多字節(jié)編碼的支持，而數(shù)據(jù)庫字符集則不能。國家字符集在oracle9i中進(jìn)行了重新定義，只能在unicode編碼中的AF16UTF16和UTF8中選擇，默認(rèn)值是 AF16UTF16
2.4.3查詢字符集參數(shù)
可以查詢以下數(shù)據(jù)字典或視圖查看字符集設(shè)置情況nls_database_parameters 、props$、 v$nls_parameters查詢結(jié)果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示國家字符集
2.4.4 修改數(shù)據(jù)庫字符集 中國網(wǎng)管聯(lián)盟www_bitscn_com
按照上文所說，數(shù)據(jù)庫字符集在創(chuàng)建后原則上不能更改。如果需要修改字符集，通常需要導(dǎo)出數(shù)據(jù)庫數(shù)據(jù)，重建數(shù)據(jù)庫，再導(dǎo)入數(shù)據(jù)庫數(shù)據(jù)的方式來轉(zhuǎn)換，或通過ALTER DATABASE CHARACTER SET語句修改字符集，但創(chuàng)建數(shù)據(jù)庫后修改字符集是有限制的，只有新的字符集是當(dāng)前字符集的超集時(shí)才能修改數(shù)據(jù)庫字符集，例如UTF8是US7ASCII的超集，修改數(shù)據(jù)庫字符集可使用ALTER DATABASE CHARACTER SET UTF8.
2.5 客戶端字符集（NLS_LANG參數(shù)）
2.5.1 客戶端字符集含義
客戶端字符集定義了客戶端字符數(shù)據(jù)的編碼方式，任何發(fā)自或發(fā)往客戶端的字符數(shù)據(jù)均使用客戶端定義的字符集編碼，客戶端可以看作是能與數(shù)據(jù)庫直接連接的各種應(yīng)用，例如sqlplus，exp/imp等。客戶端字符集是通過設(shè)置NLS_LANG參數(shù)來設(shè)定的。
2.5.2 NLS_LANG 參數(shù)格式
NLS_LANG=_. feedom.net
Language： 顯示oracle消息，校驗(yàn)，日期命名
Territory ：指定默認(rèn)日期、數(shù)字、貨幣等格式
Client character set ：指定客戶端將使用的字符集
例如： NLS_LANG=AMERICAN_AMERICA.US7ASCII 54com.cn
AMERICAN是語言，AMERICA是地區(qū)，US7ASCII是客戶端字符集
2.5.3 客戶端字符集設(shè)置方法
1）UNIX 環(huán)境
$NLS_LANG=“simplified chinese”_china.zhs16gbk 中國網(wǎng)管聯(lián)盟www_bitscn_com
$export NLS_LANG
編輯oracle用戶的profile文件
2）Windows 環(huán)境
編輯注冊(cè)表
Regedit.exe——HKEY_LOCAL_MACHINE——SOFTWARE——ORACLE—HOME0
2.5.4 NLS 參數(shù)查詢
Oracle 提供若干NLS參數(shù)定制數(shù)據(jù)庫和用戶機(jī)以適應(yīng)本地格式，例如有NLS_LANGUAGE，NLS_DATE_FORMAT，NLS_CALENDER等，可以通過查詢以下數(shù)據(jù)字典或v$視圖查看。 中國網(wǎng)管論壇bbs.bitsCN.com
NLS_DATABASE_PARAMETERS—— 顯示數(shù)據(jù)庫當(dāng)前NLS參數(shù)取值，包括數(shù)據(jù)庫字符集取值
NLS_SESSION_PARAMETERS—— 顯示由NLS_LANG 設(shè)置的參數(shù)，或經(jīng)過alter session 改變后的參數(shù)值（不包括由NLS_LANG 設(shè)置的客戶端字符集）
NLS_INSTANCE_PARAMETE—— 顯示由參數(shù)文件init.ora 定義的參數(shù)V$NLS_PARAMETERS——顯示數(shù)據(jù)庫當(dāng)前NLS參數(shù)取值
2.5.5 修改NLS參數(shù)
使用下列方法可以修改NLS參數(shù)
（1）修改實(shí)例啟動(dòng)時(shí)使用的初始化參數(shù)文件 54ne.com
（2）修改環(huán)境變量 NLS_LANG
（3）使用ALTER SESSION語句，在oracle會(huì)話中修改
（4）使用某些SQL函數(shù) 網(wǎng)管網(wǎng)bitsCN.com
NLS 作用優(yōu)先級(jí)別：Sql function>alter session>環(huán)境變量或注冊(cè)表>參數(shù)文件>數(shù)據(jù)庫默認(rèn)參數(shù) 54com.cn
三、導(dǎo)入/導(dǎo)出與字符集轉(zhuǎn)換 網(wǎng)管聯(lián)盟www.bitsCN.com
3.1 EXP/IMP
Export 和 Import 是一對(duì)讀寫Oracle數(shù)據(jù)的工具。Export 將 Oracle 數(shù)據(jù)庫中的數(shù)據(jù)輸出到操作系統(tǒng)文件中， Import 把這些文件中的數(shù)據(jù)讀到Oracle 數(shù)據(jù)庫中，由于使用exp/imp進(jìn)行數(shù)據(jù)遷移時(shí)，數(shù)據(jù)從源數(shù)據(jù)庫到目標(biāo)數(shù)據(jù)庫的過程中有四個(gè)環(huán)節(jié)涉及到字符集，如果這四個(gè)環(huán)節(jié)的字符集不一致，將會(huì)發(fā)生字符集轉(zhuǎn)換。
EXP
____________ _________________ _____________
|imp導(dǎo)入文件|<-><->
------------ ----------------- ------------- IMP
____________ _________________ _____________
|imp導(dǎo)入文件|->|環(huán)境變量NLS_LANG|->|數(shù)據(jù)庫字符集|
------------ ----------------- -------------
四個(gè)字符集是
（1）源數(shù)據(jù)庫字符集
（2）Export過程中用戶會(huì)話字符集（通過NLS_LANG設(shè)定）
（3）Import過程中用戶會(huì)話字符集（通過NLS_LANG設(shè)定） 中國網(wǎng)管聯(lián)盟www_bitscn_com
（4）目標(biāo)數(shù)據(jù)庫字符集
3.2導(dǎo)出的轉(zhuǎn)換過程
在Export過程中，如果源數(shù)據(jù)庫字符集與Export用戶會(huì)話字符集不一致，會(huì)發(fā)生字符集轉(zhuǎn)換，并在導(dǎo)出文件的頭部幾個(gè)字節(jié)中存儲(chǔ)Export用戶會(huì)話字符集的ID號(hào)。在這個(gè)轉(zhuǎn)換過程中可能發(fā)生數(shù)據(jù)的丟失。
例：如果源數(shù)據(jù)庫使用ZHS16GBK，而Export用戶會(huì)話字符集使用US7ASCII，由于ZHS16GBK是16位字符集，而US7ASCII是7位字符集，這個(gè)轉(zhuǎn)換過程中，中文字符在US7ASCII中不能夠找到對(duì)等的字符，所以所有中文字符都會(huì)丟失而變成“？？ ”形式，這樣轉(zhuǎn)換后生成的Dmp文件已經(jīng)發(fā)生了數(shù)據(jù)丟失。
因此如果想正確導(dǎo)出源數(shù)據(jù)庫數(shù)據(jù)，則Export過程中用戶會(huì)話字符集應(yīng)等于源數(shù)據(jù)庫字符集或是源數(shù)據(jù)庫字符集的超集 54ne.com
3.3導(dǎo)入的轉(zhuǎn)換過程
（1）確定導(dǎo)出數(shù)據(jù)庫字符集環(huán)境通過讀取導(dǎo)出文件頭，可以獲得導(dǎo)出文件的字符集設(shè)置
（2）確定導(dǎo)入session的字符集，即導(dǎo)入Session使用的NLS_LANG環(huán)境變量
（3）IMP讀取導(dǎo)出文件讀取導(dǎo)出文件字符集ID，和導(dǎo)入進(jìn)程的NLS_LANG進(jìn)行比較
（4）如果導(dǎo)出文件字符集和導(dǎo)入Session字符集相同，那么在這一步驟內(nèi)就不需要轉(zhuǎn)換，如果不同，就需要把數(shù)據(jù)轉(zhuǎn)換為導(dǎo)入Session使用的字符集?？梢钥闯觯瑢?dǎo)入數(shù)據(jù)到數(shù)據(jù)庫過程中發(fā)生兩次字符集轉(zhuǎn)換
第一次：導(dǎo)入文件字符集與導(dǎo)入Session使用的字符集之間的轉(zhuǎn)換，如果這個(gè)轉(zhuǎn)換過程不能正確完成，Import向目標(biāo)數(shù)據(jù)庫的導(dǎo)入過程也就不能完成。 中國網(wǎng)管聯(lián)盟www、bitsCN、com
第二次：導(dǎo)入Session字符集與數(shù)據(jù)庫字符集之間的轉(zhuǎn)換。
然而，oracle8i的這種轉(zhuǎn)換只能在單字節(jié)字符集之間進(jìn)行，oracle8i導(dǎo)入Session不支持多字節(jié)字符集之間的轉(zhuǎn)換，因此為了避免第一次轉(zhuǎn)換，導(dǎo)入Session使用的NLS_LANG與導(dǎo)出文件字符集相同，第二次轉(zhuǎn)換（通過SQL*Net）支持任何兩種字符集。以上情況在Oracle9i中略有不同
四、亂碼問題
oracle在數(shù)據(jù)存儲(chǔ)、遷移過程中經(jīng)常發(fā)生字符亂碼問題，歸根到底是由于字符集使用不當(dāng)引起。下面以使用客戶端sqlplus向數(shù)據(jù)庫插入數(shù)據(jù)和導(dǎo)入/導(dǎo)出（EXP/IMP）過程為例，說明亂碼產(chǎn)生的原因。
4.1使用客戶端sqlplus向數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)
這個(gè)過程存在3個(gè)字符集設(shè)置
（1）客戶端應(yīng)用字符集 中國網(wǎng)管聯(lián)盟www_bitscn_com
（2）客戶端NLS_LANG參數(shù)設(shè)置
（3）服務(wù)器端數(shù)據(jù)庫字符集（Character Set）設(shè)置客戶端應(yīng)用sqlplus中能夠顯示什么樣的字符取決于客戶端操作系統(tǒng)語言環(huán)境（客戶端應(yīng)用字符集），但在應(yīng)用中錄入這些字符后，這些字符能否在數(shù)據(jù)庫中正常存儲(chǔ)，還與另外兩個(gè)字符集設(shè)置緊密相關(guān)，其中客戶端NLS_LANG參數(shù)主要用于字符數(shù)據(jù)傳輸過程中的轉(zhuǎn)換判斷。常見的亂碼大致有兩種情形：
（1）漢字變成問號(hào)“？”；當(dāng)從字符集A 轉(zhuǎn)換成字符集B時(shí)，如果轉(zhuǎn)換字符之間不存在對(duì)應(yīng)關(guān)系，NLS_LANG使用替代字符“？”替代無法映射的字符
（2）漢字變成未知字符（雖然有些是漢字，但與原字符含義不同）
轉(zhuǎn)換存在對(duì)應(yīng)關(guān)系，但字符集A 中的字符編碼與字符集B 中的字符編碼代表不同含義
4.2發(fā)生亂碼原因
亂碼產(chǎn)生是由于幾個(gè)字符集之間轉(zhuǎn)換不匹配造成，分以下幾種情況：（注：字符集之間如果不存在子集、超集對(duì)應(yīng)關(guān)系時(shí)的情況不予考慮，因?yàn)檫@種情況下字符集之間轉(zhuǎn)換必產(chǎn)生亂碼）
1）服務(wù)器端數(shù)據(jù)庫字符集與客戶端應(yīng)用字符集相同，與客戶端NLS_LANG參數(shù)設(shè)置不同如果客戶端NLS_LANG字符集是其它兩種字符集的子集，轉(zhuǎn)換過程將出現(xiàn)亂碼。 中國網(wǎng)管聯(lián)盟www_bitscn_com
解決方法：將三種字符集設(shè)置成同一字符集，或NLS_LANG字符集是其它兩種字符集的超集
2 ）服務(wù)器端數(shù)據(jù)庫字符集與客戶端NLS_LANG參數(shù)設(shè)置相同，與客戶端應(yīng)用字符集不同如果客戶端應(yīng)用字符集是其它兩種字符集的超集時(shí)，轉(zhuǎn)換過程將出現(xiàn)亂碼，但對(duì)于單字節(jié)編碼存儲(chǔ)中文問題，可參看本文第5章節(jié)的分析
3 ）客戶端應(yīng)用字符集、客戶端NLS_LANG參數(shù)設(shè)置、服務(wù)器端數(shù)據(jù)庫字符集互不相同此種情況較為復(fù)雜，但三種字符集之間只要有不能轉(zhuǎn)換的字符，則必產(chǎn)生亂碼
4.3導(dǎo)入/導(dǎo)出過程出現(xiàn)亂碼原因 54ne.com
這個(gè)過程存在4個(gè)字符集設(shè)置，在3.1章節(jié)中已分析
（1）源數(shù)據(jù)庫字符集 中國網(wǎng)管論壇bbs.bitsCN.com
（2）EXP過程中NLS_LANG參數(shù)
（3）IMP過程中NLS_LANG參數(shù)
（4）目標(biāo)數(shù)據(jù)庫字符集出現(xiàn)亂碼原因
1 ）當(dāng)源數(shù)據(jù)庫字符集不等于EXP過程中NLS_LANG參數(shù)，且源數(shù)據(jù)庫字符集是EXP過程中NLS_LANG的子集，才能保證導(dǎo)出文件正確，其他情況則導(dǎo)出文件字符亂碼
2 ）EXP過程中NLS_LANG字符集不等于IMP過程中NLS_LANG字符集，且EXP過程中NLS_LANG字符集是IMP過程中NLS_LANG字符集的子級(jí)， 才能保證第一次轉(zhuǎn)換正常，否則第一次轉(zhuǎn)換中出現(xiàn)亂碼。
3 ）如果第一次轉(zhuǎn)換正常，IMP過程中NLS_LANG字符集是目標(biāo)數(shù)據(jù)庫字符集的子集或相同，才能保證第二次轉(zhuǎn)換正常，否則則第二次轉(zhuǎn)換中出現(xiàn)亂碼
五、單字節(jié)編碼存儲(chǔ)中文問題 中國網(wǎng)管聯(lián)盟www_bitscn_com
由于歷史的原因，早期的oracle沒有中文字符集（如oracle6、oracle7、oracle7.1），但有的用戶從那時(shí)起就使用數(shù)據(jù)庫了，并用US7ASCII字符集存儲(chǔ)了中文，或是有的用戶在創(chuàng)建數(shù)據(jù)庫時(shí)，不考慮清楚，隨意選擇一個(gè)默認(rèn)的字符集，如WE8ISO8859P1或US7ASCII，而這兩個(gè)字符集都沒有漢字編碼，雖然有些時(shí)候選用這種字符集好象也能正常使用，但用這種字符集存儲(chǔ)漢字信息從原則上說就是錯(cuò)誤的，它會(huì)給數(shù)據(jù)庫的使用與維護(hù)帶來一系列的麻煩。
正常情況下，要將漢字存入數(shù)據(jù)庫，數(shù)據(jù)庫字符集必須支持中文，而將數(shù)據(jù)庫字符集設(shè)置為US7ASCII等單字節(jié)字符集是不合適的。US7ASCII字符集只定義了128個(gè)符號(hào)，并不支持漢字。另外，如果在SQL*PLUS中能夠輸入中文，操作系統(tǒng)缺省應(yīng)該是支持中文的，但如果在NLS_LANG中的字符集設(shè)置為US7ASCII，顯然也是不正確的，它沒有反映客戶端的實(shí)際情況。但在實(shí)際應(yīng)用中漢字顯示卻是正確的，這主要是因?yàn)镺racle檢查數(shù)據(jù)庫與客戶端的字符集設(shè)置是同樣的，那么數(shù)據(jù)在客戶與數(shù)據(jù)庫之間的存取過程中將不發(fā)生任何轉(zhuǎn)換，但是這實(shí)際上導(dǎo)致了數(shù)據(jù)庫標(biāo)識(shí)的字符集與實(shí)際存入的內(nèi)容是不相符的。而在SELECT的過程中，Oracle同樣檢查發(fā)現(xiàn)數(shù)據(jù)庫與客戶端的字符集設(shè)置是相同的，所以它也將存入的內(nèi)容原封不動(dòng)地傳送到客戶端，而客戶端操作系統(tǒng)識(shí)別出這是漢字編碼所以能夠正確顯示。
在這個(gè)例子中，數(shù)據(jù)庫與客戶端都沒有設(shè)置成中文字符集，但卻能正常顯示中文，從應(yīng)用的角度看好象沒問題。然而這里面卻存在著極大的隱患，比如在應(yīng)用length或substr等字符串函數(shù)時(shí)，就可能得到意外的結(jié)果。
對(duì)于早期使用US7ASCII字符集數(shù)據(jù)庫的數(shù)據(jù)遷移到oracle8i/9i中（使用zhs16gbk），由于原始數(shù)據(jù)已經(jīng)按照US7ASCII格式存儲(chǔ)，對(duì)于這種情況，可以通過使用Oracle8i的導(dǎo)出工具，設(shè)置導(dǎo)出字符集為US7ASCII，導(dǎo)出后使用UltraEdit等工具打開dmp文件，修改第二、三字符，修改 0001 為0354，這樣就可以將US7ASCII字符集的數(shù)據(jù)正確導(dǎo)入到ZHS16GBK的數(shù)據(jù)庫中。
六、結(jié)束語
為了避免在數(shù)據(jù)庫遷移過程中由于字符集不同導(dǎo)致的數(shù)據(jù)損失，oracle提供了字符集掃描工具（character set scanner），通過這個(gè)工具我們可以測(cè)試在數(shù)據(jù)遷移過程中由于字符集轉(zhuǎn)換可能帶來的問題，然后根據(jù)測(cè)試結(jié)果，確定數(shù)據(jù)遷移過程中最佳字符集解決方案。
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
