醫(yī)院管理信息系統(tǒng) (Hospital Information System,HIS) 有廣義和狹義之分。廣義的醫(yī)院 HIS 是醫(yī)院管理和醫(yī)療活動中進(jìn)行信息管理和聯(lián)機操作的計算機應(yīng)用系統(tǒng)的統(tǒng)稱；狹義的醫(yī)院 HIS 單指醫(yī)院門診及住院信息管理業(yè)務(wù)系統(tǒng)。而本文所述 HIS 系統(tǒng)通指其狹義概念。

醫(yī)院 HIS 作為醫(yī)院最重要的信息系統(tǒng)，其穩(wěn)定、可靠、高效運行以支持醫(yī)院業(yè)務(wù)發(fā)展需要是醫(yī)療信息化研究的重要方向。隨著信息技術(shù)日新月異的發(fā)展及醫(yī)院業(yè)務(wù)需求的不斷擴展，如何采用新技術(shù)和新架構(gòu)促成醫(yī)院 HIS 系統(tǒng)的軟硬件升級與改造已然成為國內(nèi)眾多醫(yī)院亟待解決的重要課題。

本文根據(jù)某三甲醫(yī)院 HIS 系統(tǒng)升級改造的案例，詳細(xì)進(jìn)行闡述分析，以期提供相應(yīng)的經(jīng)驗分享。

一、背景介紹

該院 HIS 系統(tǒng)采用的是 C/S 架構(gòu)，數(shù)據(jù)庫服務(wù)器為兩臺 2010 年采購的 P570 服務(wù)器，所用存儲為 IBM DS4800 。服務(wù)器上所采用的操作系統(tǒng)平臺為 AIX 5.3 ，數(shù)據(jù)庫為 Oracle 9i ，版本為 9.2.0.8 。服務(wù)器采用 AIX 的雙機集群 HACMP 以及 Oracle RAC ，將兩臺服務(wù)器做成了一個群集，底層 DS4800 存儲通過 RemoteMirror+FlashCopy 實現(xiàn)兩個機房間的兩臺存儲之間的遠(yuǎn)程物理層面的容災(zāi)。容災(zāi)環(huán)境由一臺 P550 服務(wù)器接管，該服務(wù)器通過 Oracle Data Gurad 方式實現(xiàn) Oracle 數(shù)據(jù)庫的邏輯容災(zāi)， HIS 架構(gòu)如圖 1 所示。

圖 1 HIS 架構(gòu)

二、存在問題及升級改造的需求分析

1 、架構(gòu)需優(yōu)化

HIS 系統(tǒng)作為最重要的業(yè)務(wù)系統(tǒng)，系統(tǒng)的建設(shè)目標(biāo)是追求 RTO 和 RPO 均等于 0 。由上述架構(gòu)可知，由于當(dāng)時的技術(shù)限制，雖然架構(gòu)上考慮到物理層及數(shù)據(jù)邏輯層的容災(zāi)，但是無法實現(xiàn) RTO 和 RPO 均等于 0 。物理層面上，兩臺 DS4800 之間通過 RemoteMirror+FlashCopy 實現(xiàn)同步容災(zāi)，可實現(xiàn) RPO 等于 0 ，但是因為容災(zāi)存儲及服務(wù)器的啟用仍需要進(jìn)行相應(yīng)的切換操作才可使容災(zāi)環(huán)境支持業(yè)務(wù)系統(tǒng)，理論 RTO 時間為 5-10 分鐘；而邏輯層面上，因為 Oracle Data Guard 的配置因素，生產(chǎn)及容災(zāi)環(huán)境之間的數(shù)據(jù)一致性依賴于生產(chǎn)數(shù)據(jù)庫的在線及離線日志是否正常傳輸至容災(zāi)服務(wù)器，而突發(fā)的意外宕機極有可能損失一部分日志文件，并且容災(zāi)環(huán)境的啟用也需要比較復(fù)雜及專業(yè)的環(huán)境切換操作，故 RPO 及 RTO 均不可能等于 0 。

除此之外，容災(zāi)體系也不夠全面完善。雖然 Oracle 9i 的 Data Gurad 可支持對 Oracle 數(shù)據(jù)邏輯層的回退操作，但是其前提是相應(yīng)的離線日志尚未被 recover 恢復(fù)。如果已執(zhí)行 recover 恢復(fù)，則無法實現(xiàn)相應(yīng)的回退目標(biāo)，致使無法實現(xiàn)業(yè)務(wù)的回退容災(zāi)，存在相當(dāng)?shù)娘L(fēng)險隱患，需要引入諸如全量備份、增量備份及持續(xù)數(shù)據(jù)保護(hù) CDP 等方式加強數(shù)據(jù)的邏輯層保護(hù)。

2 、性能需優(yōu)化

主機性能方面，通過 AIX nmon 工具對醫(yī)院 HIS 的兩臺服務(wù)器進(jìn)行監(jiān)控分析發(fā)現(xiàn)，單臺服務(wù)器 Power6 CPU 的總核數(shù)為 16 核，平均使用率在 80% 以上，高峰達(dá)到 90% ， 64G 內(nèi)存使用也在 90% 左右。如果兩臺服務(wù)器中的其中一臺出故障，另外一臺在如此壓力之下無法勝任支撐業(yè)務(wù)系統(tǒng)的要求，相對配置更低的容災(zāi)服務(wù)器 P550 更加無法滿足業(yè)務(wù)系統(tǒng)容災(zāi)的需要。網(wǎng)絡(luò)吞吐方面，數(shù)據(jù)庫的兩個實例間的心跳網(wǎng)絡(luò)為千兆網(wǎng)絡(luò)， HIS 高峰業(yè)務(wù)期心跳網(wǎng)絡(luò)的吞吐量長期維持在 80-100M/S ，已經(jīng)達(dá)到了千兆網(wǎng)絡(luò)的瓶頸速度。磁盤 IO 方面， DS4800 的存儲配備的是 10k 的 SAS 盤，總共 32 塊盤，每 8 塊做 raid5 形成一個 raid 組，每個 raid 組分配一個 lun 給服務(wù)器提供存儲，通過存儲監(jiān)控工具及主機 nmon 的分析可知，存儲的總體 IO 也在 80% 以上，存在瓶頸需要優(yōu)化。

3 、數(shù)據(jù)庫需優(yōu)化

當(dāng)前 HIS 的數(shù)據(jù)庫版本為 Oracle 9208 ，屬于 Oracle 較舊的軟件版本，其數(shù)據(jù)庫訪問速度、支持的訪問需求、容錯和安全、性能監(jiān)控及數(shù)據(jù)庫管理方面均無法勝任醫(yī)院日益增長的業(yè)務(wù)需求。而且該版本官方早已停止發(fā)布更新，數(shù)據(jù)庫層面存在漏洞無法更新、 bug 問題無法得到支持的窘境。

4 、管理與功能需優(yōu)化

隨著醫(yī)院業(yè)務(wù)的不斷擴展， HIS 系統(tǒng)也要頻繁進(jìn)行更新與升級，這就要求有近似生產(chǎn)環(huán)境的測試環(huán)境進(jìn)行功能及性能方面的全面測試，以保障更新與升級的順利進(jìn)行。醫(yī)院現(xiàn)有架構(gòu)無法實現(xiàn)近似生產(chǎn)環(huán)境的快速部署。除此之外，因為 HIS 容災(zāi)環(huán)境的機械性，導(dǎo)致 HIS 系統(tǒng)的一些大數(shù)據(jù)量的查詢及分析的需求只能壓在生產(chǎn)環(huán)境，從而導(dǎo)致生產(chǎn)環(huán)境壓力過大，不利于日常業(yè)務(wù)的穩(wěn)定與高效運行。

三、醫(yī)院 HIS 系統(tǒng)升級改造平臺的架構(gòu)設(shè)計

基于上述 HIS 系統(tǒng)架構(gòu)存在問題、痛點及迫切改進(jìn)的需求，采用現(xiàn)有主流先進(jìn)的軟硬件產(chǎn)品和技術(shù)，對醫(yī)院現(xiàn)有 HIS 系統(tǒng)進(jìn)行升級改造，升級改造的整體架構(gòu)設(shè)計如圖 2 所示。

存儲層面上，采用現(xiàn)今主主流的存儲雙活技術(shù)，在醫(yī)院生產(chǎn)及容災(zāi)的兩個機房，分別放置一套 EMC VPLEX 雙活網(wǎng)關(guān)及 EMC VMAX 250F 全閃存儲，形成雙活集群。存儲配置高速 SSD 磁盤，為業(yè)務(wù)提供高 IOPS 。每個機房放置一套 EMC RecoverPoint 并使用原來生產(chǎn)存儲 IBM DS4800 作為其存儲空間，提供實時的數(shù)據(jù)保障，可提供任意時間點的、 IO 級、秒級的恢復(fù)保障，彌補了原來容災(zāi)架構(gòu)的不足，可應(yīng)對物理部件故障及邏輯故障等多重風(fēng)險。

主機層面上，采用兩臺浪潮商用機器有限公司的 K1 Power E870 小型機作為生產(chǎn)主機，并配備多張萬兆網(wǎng)卡，通過心跳萬兆交換機互聯(lián)形成集群，突破原來集群心跳帶寬的瓶頸限制。單臺 K1 Power E870 的主要配置為： 64-core 4.02GHz Power8 CPU/512GB DDR4 內(nèi)存 /4 塊 775GB SSD 磁盤，整體服務(wù)器性能是原有配置的 4 倍多，主機配置的 4 個 SSD 磁盤為主機 AIX 操作系統(tǒng)提供高 IO 的存儲空間，防止了設(shè)備的短板。

數(shù)據(jù)庫層面上，將原來的 Oracle 9i 升級成為 Oracle 11g ，并重做數(shù)據(jù)庫 Data Guard 。采用 11g 的 ADG 功能，把 DG 數(shù)據(jù)庫置為只讀數(shù)據(jù)庫，并修改 HIS 應(yīng)用指向，分擔(dān)業(yè)務(wù)數(shù)據(jù)庫的壓力。業(yè)務(wù)數(shù)據(jù)庫原來采用裸設(shè)備的方式存放數(shù)據(jù)文件，升級成 11g 改成自動存儲管理 ASM 功能，可以大幅減少維護(hù)的工作量，并減少誤操作的風(fēng)險。 11g 的其它優(yōu)點包括：

① 支持自動壞塊檢測和修復(fù)，可以通過 DG 可以自動修復(fù)生產(chǎn)數(shù)據(jù)庫的壞塊；

② 提供數(shù)據(jù)庫回收站和閃回功能，具有一定的預(yù)防邏輯錯誤能力；

③ 提供數(shù)據(jù)庫 AWR 性能監(jiān)控，相比 9i 的 Statspack 能更詳細(xì)更直觀找到數(shù)據(jù)庫潛在瓶頸和 TOP SQL ；

④ 提供自動內(nèi)存管理 AMM 功能，能自適應(yīng)管理內(nèi)存，簡化數(shù)據(jù)庫管理。

容災(zāi)層面上，上述雙活存儲及雙機集群均為物理層面上的容災(zāi)冗余，可有效應(yīng)對存儲、主機及操作系統(tǒng)等物理層面上的宕機或故障風(fēng)險。數(shù)據(jù)庫邏輯層面上，通過原來生產(chǎn)的兩臺 P570 作為容災(zāi)主機，容災(zāi)機房的 IBM DS4800 作為容災(zāi)存儲，構(gòu)建 Oracle 11g 的 Data Gurad ，以應(yīng)對數(shù)據(jù)庫邏輯故障風(fēng)險。除此之外，通過 EMC RecoverPoint ，對 HIS 數(shù)據(jù)進(jìn)行持續(xù)保護(hù)，設(shè)置備份策略，為系統(tǒng)提供歷時數(shù)據(jù)的備份、實時的數(shù)據(jù)保護(hù)及任意時間點的、 IO 級、秒級的恢復(fù)保障，可應(yīng)對物理部件故障及邏輯故障等多重風(fēng)險，極大完善現(xiàn)有 HIS 容災(zāi)架構(gòu)。新架構(gòu) RTO/RPO 接近于 0 。

圖 2 醫(yī)院 HIS 系統(tǒng)升級改造平臺架構(gòu)設(shè)計

四、醫(yī)院 HIS 系統(tǒng)升級改造硬件 + 軟件難點分析

醫(yī)院 HIS 系統(tǒng)升級改造的目標(biāo)是結(jié)合醫(yī)院的 HIS 系統(tǒng)實際需求，通過迄今為止最優(yōu)化的軟硬件技術(shù)及方案，為系統(tǒng)提供更穩(wěn)定的架構(gòu)和更高效的性能，為運維管理人員提供更便捷的管理和更全面的系統(tǒng)功能，為用戶提供更流暢的系統(tǒng)體驗。醫(yī)院 HIS 系統(tǒng)升級改造涉及存儲、主機、操作系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)、上層應(yīng)用及容災(zāi)架構(gòu)等方方面面，任何一方面考慮不周或存在瓶頸，會使得整體的系統(tǒng)升級改造存在短板瓶頸，甚者導(dǎo)致升級改造項目的功虧一簣。如何做好升級改造，兼顧升級改造的方方面面內(nèi)容，最重要的是要做好全面、客觀并有效的系統(tǒng)分析，解決攻克升級改造過程中遇到的硬件 + 軟件的難關(guān)。下面，結(jié)合醫(yī)院的 HIS 系統(tǒng)升級改造的設(shè)計實踐，對醫(yī)院 HIS 系統(tǒng)升級改造硬件 + 軟件的難點進(jìn)行詳細(xì)分析。

1、做好現(xiàn)有環(huán)境的全面分析，為升級改造提供可靠依據(jù)

升級改造要做好，現(xiàn)有環(huán)境的全面分析是前提。如何做好現(xiàn)有環(huán)境的全面分析，具體來說就是要明確現(xiàn)在系統(tǒng)硬件 + 軟件環(huán)境的客觀情況、存在問題、未來業(yè)務(wù)發(fā)展需求、現(xiàn)有可實行的軟硬件升級改造技術(shù)及方案、升級改造的要求與條件、升級改造的難點及可實行的解決辦法等。

立足醫(yī)院 HIS 系統(tǒng)本次的升級改造，全面分析工作包括：

① 現(xiàn)有 HIS 系統(tǒng)的軟硬件情況的詳細(xì)了解。存儲層面上，包括存儲型號、磁盤類型、是否有用快照復(fù)制等備份技術(shù)、存儲最大 IOPS 及吞吐量、存儲池 /RAID/LUN/HOST GROUP 等配置情況；光纖交換機層面上，包括光纖交換機模塊速率、剩余模塊數(shù)量、級聯(lián)情況、 alias/zone 等配置情況；主機層面上，包括 CPU 的類型、核數(shù)、主頻及使用情況，內(nèi)存的類型、大小及使用情況，磁盤類型、負(fù)載、 PV/VG/LV/fs 等 LVM 管理情況，網(wǎng)卡類型、速率及負(fù)載， HBA 卡的類型、速率及負(fù)載，其它主機配置情況如 PCI 、串口線等；操作系統(tǒng)層面上，包括用戶、組、 IP 網(wǎng)絡(luò)、防火墻、訪問控制列表、磁盤 / 網(wǎng)卡 /HBA 卡 / 系統(tǒng)環(huán)境參數(shù)等系統(tǒng)配置參數(shù)的具體情況；數(shù)據(jù)庫層面上，包括數(shù)據(jù)庫版本及補丁、數(shù)據(jù)庫用戶、數(shù)據(jù)量大小、表空間及數(shù)據(jù)文件、臨時文件、在線及離線日志配置情況、表 / 索引 / 存儲過程 / 觸發(fā)器 / 序列 /DBLINK 等數(shù)據(jù)庫對象的情況、數(shù)據(jù)庫 job 情況等；網(wǎng)絡(luò)層面上，交換機接口速率、網(wǎng)絡(luò)接口類型（電口 / 光纖）及剩余口等情況；容災(zāi)層面上：物理層、邏輯層、數(shù)據(jù)層及應(yīng)用層等容災(zāi)方式建設(shè)情況，各種風(fēng)險應(yīng)對措施及應(yīng)急方案情況。

值得提出的是，系統(tǒng)的軟硬件情況的詳細(xì)了解是一個整體的過程，例如系統(tǒng)的 IO 性能，不僅要通過存儲專業(yè)的監(jiān)控軟件對系統(tǒng)存儲的使用情況做一個長期的監(jiān)控及評估，而且還要從主機 AIX 操作系統(tǒng)層面通過諸如 nmon 等監(jiān)控工具以及數(shù)據(jù)庫 Oracle 層面上通過 Statspack 監(jiān)控系統(tǒng) IO 的整體性能，綜合多個層面多個角度的數(shù)據(jù)，客觀分析系統(tǒng)現(xiàn)有情況。

② 現(xiàn)有 HIS 系統(tǒng)存在問題及未來業(yè)務(wù)發(fā)展需求分析

詳細(xì)了解 HIS 系統(tǒng)現(xiàn)有架構(gòu)、配置、性能等情況后，列出 HIS 系統(tǒng)存在問題清單，結(jié)合醫(yī)院業(yè)務(wù)發(fā)展趨勢，預(yù)估醫(yī)院未來業(yè)務(wù)增長對系統(tǒng)的要求，包括醫(yī)院未來新上線系統(tǒng)的對接要求、互聯(lián)網(wǎng) + 醫(yī)療如微信、支付寶、銀聯(lián)、配藥等業(yè)務(wù)模式擴展對系統(tǒng)的壓力要求等，列出 HIS 系統(tǒng)未來性能瓶頸清單，結(jié)合兩者，為后續(xù)升級改造的架構(gòu)設(shè)計提供參考。

③ 現(xiàn)有可實行的軟硬件升級改造技術(shù)及方案分析

對不同廠家、不同品牌的軟硬件產(chǎn)品、技術(shù)及方案進(jìn)行審慎評估，結(jié)合醫(yī)院 HIS 實際，對各類軟硬件廠家技術(shù)及方案進(jìn)行綜合考量，列出不同技術(shù)及方案的優(yōu)缺點，為后續(xù)架構(gòu)設(shè)計及設(shè)備選型提供參考

④ 升級改造的要求與條件、難點及可實行的解決辦法分析

升級改造涉及機房配電環(huán)境、地板承重、機柜空間、綜合布線、不同機房間的網(wǎng)絡(luò)鏈路、網(wǎng)絡(luò)網(wǎng)口、升級改造項目完成時間、切換停機窗口時間等要求和條件，要充分評估升級改造的要求、風(fēng)險及難點，擬定升級改造風(fēng)險應(yīng)對表，做好升級改造的風(fēng)險應(yīng)對。

2、做好升級改造架構(gòu)的設(shè)計，為升級改造指明方向

升級改造要做好，架構(gòu)的科學(xué)設(shè)計是關(guān)鍵。架構(gòu)的設(shè)計要充分結(jié)合現(xiàn)有環(huán)境的全面分析的結(jié)果，充分評估業(yè)務(wù)未來需求的增長、升級改造的要求與條件、現(xiàn)有先進(jìn)技術(shù)及方案等多方面內(nèi)容。架構(gòu)設(shè)計應(yīng)體現(xiàn)架構(gòu)穩(wěn)定可靠、方法科學(xué)、技術(shù)先進(jìn)、體系完備、性能卓越和有一定的前瞻性的原則，邀請國內(nèi)外知名的醫(yī)療 IT 專家對醫(yī)院現(xiàn)有 HIS 架構(gòu)進(jìn)行整體設(shè)計與咨詢，為后續(xù)升級改造指明方向。

3、做好設(shè)備選型，為升級改造提供可靠設(shè)備支持

升級改造要做好，合理的設(shè)備選型是重要基礎(chǔ)。架構(gòu)設(shè)計完成后，在項目預(yù)算范圍內(nèi)，選擇哪種技術(shù)，如雙活存儲架構(gòu)方面包括了 EMC VPLEX 和 IBM SVC 的硬件虛擬化網(wǎng)關(guān)方式 /HDS 高端存儲虛擬化軟件方式；選擇哪種設(shè)備，如存儲方面包括了 EMC Vmax F 全閃系列 /HDS F 系列等，主機方面包括了 K1 Power E870 小型機 / 富士通 M12-2S/HP Unix 小型機；選擇哪種數(shù)據(jù)庫升級遷移方式，包括 GoldenGate/RMAN/ExpImp 導(dǎo)入導(dǎo)出方式等。設(shè)備選型要結(jié)合現(xiàn)有環(huán)境選擇方案最先進(jìn)、產(chǎn)品最穩(wěn)定、性能最優(yōu)越、經(jīng)濟(jì)效益最優(yōu)化、升級改造工作最簡化平穩(wěn)的設(shè)備。

4、做好升級改造方案，為升級改造提供可靠技術(shù)路線

升級改造要做好，方案的細(xì)化及落實是重點也是難點。升級改造涉及系統(tǒng)的方方面面，方案既要統(tǒng)籌兼顧，又要細(xì)化可落實。存儲層面，如何劃分存儲池 /RAID 組 /LUN/Host ，快照、精簡等存儲功能如何配置使用；操作系統(tǒng)層面上， AIX 系統(tǒng)安裝何種版本，文件系統(tǒng)如何劃分，計算內(nèi)存及非計算內(nèi)存、存儲的隊列深度等系統(tǒng)關(guān)鍵參數(shù)如何配置，網(wǎng)卡是否聚合綁定等；數(shù)據(jù)庫層面上，升級改造后的 Oracle 11g 版本與 HIS 應(yīng)用的兼容性風(fēng)險問題，升級改造后的 HIS 系統(tǒng)與醫(yī)院其它系統(tǒng)通過 DBLINK 的存儲過程進(jìn)行數(shù)據(jù)交互的兼容性問題，與醫(yī)院在用的 Oracle 9208 客戶端之間的兼容性問題等。升級改造方案制定后需要搭建與現(xiàn)有生產(chǎn)環(huán)境一致的測試環(huán)境進(jìn)行完備的測試，包括系統(tǒng)參數(shù)設(shè)置的測試確認(rèn)、功能測試、性能的測試等，方案的所有內(nèi)容需要測試確認(rèn)后方可作為最終升級改造的切換方案進(jìn)行實施。另外，要反復(fù)測試確認(rèn)升級改造切換的停機所需時間，所有切換操作形成可執(zhí)行命令行及步驟，確保停機時間窗口盡可能短。

五、醫(yī)院 HIS 系統(tǒng)升級改造項目經(jīng)驗總結(jié)

1、要預(yù)留充足的預(yù)算

醫(yī)院 HIS 系統(tǒng)升級改造涉及軟硬件方方面面，而且其中涉及數(shù)據(jù)庫升級及應(yīng)用層面的配合改造等服務(wù)，并且要預(yù)留一定的預(yù)算作為風(fēng)險應(yīng)對及應(yīng)急資金儲備，所以整個項目需要有充足的預(yù)算，為項目的推進(jìn)提供保障。

2、要挑選可靠的集成商

醫(yī)院 HIS 系統(tǒng)升級改造項目涵蓋了存儲、主機、網(wǎng)絡(luò)、數(shù)據(jù)庫等多方面，要挑選有資質(zhì)、有能力、有經(jīng)驗且可靠的集成商進(jìn)行項目升級改造，好的集成商可使得項目少走彎路，達(dá)到事半功倍的效果。

3、要發(fā)揮專家咨詢的作用

邀請國內(nèi)外知名的醫(yī)療 IT 專家形成項目專家?guī)欤瑢＜規(guī)鞈?yīng)涵蓋架構(gòu)、存儲、主機、網(wǎng)絡(luò)、數(shù)據(jù)庫等多方面，從醫(yī)院 HIS 的現(xiàn)狀分析、架構(gòu)的設(shè)計、到設(shè)備的選型及升級改造方案的制定，每個流程都應(yīng)該發(fā)揮專家咨詢的作用，穩(wěn)定推進(jìn)項目的開展。

4、要做好嚴(yán)格的測試

升級改造的方案越細(xì)化，失敗的風(fēng)險就越低，而細(xì)化的方案的制定離不開嚴(yán)格的測試，不管是存儲主機及網(wǎng)絡(luò)的配置、亦或是系統(tǒng)參數(shù)的配置，還是操作命令及步驟的確認(rèn)，都應(yīng)該通過嚴(yán)格的測試，確保方案可行、步驟合理、操作可用。