1. 背景 2019年1月,中國人民銀行、中國銀行保險監(jiān)督管理委員會、中國證券監(jiān)督管理委員會聯合發(fā)布了《關于金融行業(yè)貫徹落實<推進互聯網協議第六版(IPv6)規(guī)模部署行動計劃>的實施意見》,指導金融行業(yè)IPv6規(guī)模部署工作穩(wěn)步有序推進。工行在2017年開展IPv6的試點部署工作的基礎上,迅速響應監(jiān)管機構要求,于2019年2月成立了IPv6規(guī)模部署工程領導小組,在領導小組的統(tǒng)籌指揮和各實施單位的密切協同下,經過近兩年的努力,于2020年10月完成全部IPv6規(guī)模部署工作,所有面向公眾服務的互聯網應用開啟IPv6訪問服務,全面完成了人民銀行等監(jiān)管機構的工作要求。 2. IPv6規(guī)模部署總體方案 IPv6工程實施在技術路線上通??梢赃x擇采用簡便易行的NAT64地址轉換方式,也可選擇徹底的IPv4/IPv6雙棧技術。為了更好地支持后續(xù)IPv6業(yè)務價值的發(fā)掘和利用,工行確定所有互聯網應用改造均采用一步到位的IPv4/IPv6雙棧技術,主動探索雙棧方案難點,為同業(yè)提供借鑒。 IPv6應用的雙棧改造方案實施按照互聯網接入環(huán)境、服務器區(qū)域基礎設施、互聯網應用、安全系統(tǒng)和運維管理系統(tǒng)五個維度并行推進,改造方案示意如圖一。具體技術改造實施工作的落地,遵循“基礎設施先行”、“同步啟動業(yè)務應用改造”、“安全系統(tǒng)和運維管理系統(tǒng)配套”等幾個原則。 l 基礎設施先行 互聯網應用對外發(fā)布雙棧服務能力,依賴于數據中心基礎設施及運營商基礎設施的雙棧支持能力。因此,數據中心內部的網絡服務、網絡接入、服務器承載等基礎設施必須首先完成改造;同時,外部網絡運營商(包括互聯網提供商ISP、CDN運營商等)也必須配套完成雙棧能力改造。 這部分基礎設施是互聯網客戶訪問銀行業(yè)務的咽喉要道,改造風險大、周期長,屬于整個工程初期階段的核心工作。 l 同步啟動業(yè)務應用改造 由于涉及到版本的開發(fā)、測試,需要按應用版本計劃依次安排。因此,在關注基礎設施改造的同時,應同步啟動互聯網應用改造的計劃制定。 應用的改造主要關注兩個方面的事項。一是,需要制定IPv4/IPv6雙棧開發(fā)規(guī)范(含IPv6數據標準),細化應用改造技術方案,確保所有應用的改造遵循統(tǒng)一的規(guī)則,避免開發(fā)環(huán)節(jié)引入風險;二是,關注關聯應用同步改造,避免改造過程帶來運行隱患。 l 關注安全系統(tǒng)和運維管理系統(tǒng)的配套改造支持 在互聯網應用正式向外發(fā)布雙棧服務前,需要完成安全系統(tǒng)、運維管理系統(tǒng)的配套改造,通過指定專門技術部門牽頭負責開展該項配套改造工作,以確保安全和運維管理能力不低于當前IPv4服務環(huán)境。 3.IPv6規(guī)模部署成效 2020年10月,工行全面完成互聯網IPv6規(guī)模部署工作,主要包括: 一是完成所有面向公眾服務的互聯網應用的IPv6技術改造工作,實現應用同時通過IPv4和IPv6對外提供服務; 二是數據中心所有互聯網接入環(huán)境可同時承載IPv4/IPv6訪問流量,實現了接入環(huán)境冗余、可容災切換; 三是同步新增引入三大運營商的IPv4/IPv6雙棧BGP互聯網接入線路,實現在路由層面自主控制公網IP的訪問策略,在提高對整個互聯網的參與度的同時,為精細化的流量調度提供技術支持和手段; 四是完成工行權威域名解析服務器的IPv6地址發(fā)布,實現權威域名系統(tǒng)可以同時通過IPv4和IPv6對外提供域名解析服務,具備了完整的雙棧域名授權體系; 五是在服務器區(qū)域基礎設施方面,局域網絡設備、服務器操作系統(tǒng)全部啟用IPv4/IPv6雙協議棧運行,基礎設施云平臺等系統(tǒng)軟件全面支持IPv4/IPv6; 六是完成各類安全及運維管理系統(tǒng)的適配改造工作,確保相關安全防護及運維管理水平不降低。 從實際運行情況看,互聯網用戶訪問工行應用的全鏈路已支持IPv4/IPv6雙棧運行,具備承載50G以上IPv4/IPv6訪問流量的能力。根據工行對相關互聯網應用訪問情況的監(jiān)控統(tǒng)計,門戶網站、個人網上銀行等PC端應用,IPv6訪問流量占總流量約20%-30%;個人手機銀行、企業(yè)手機銀行等移動端應用IPv6訪問流量占比約40%-50%,使用IPv6的公眾用戶占比正在逐步提升。 4. IPv6規(guī)模部署經驗 IPv6規(guī)模部署牽涉面廣、改造環(huán)節(jié)多,是一項復雜的系統(tǒng)工程。借助本次工程實施,工行通過對各環(huán)節(jié)各階段工作進行總結,形成了如下九方面的經驗。這些經驗涵蓋了互聯網網絡環(huán)境、銀行數據中心基礎設施管理、安全生產保障等多個方面。 4.1. 掌握外部IPv6大環(huán)境就緒程度,推動互聯網環(huán)境IPv6支持能力提升 從“運營商IPv6骨干網絡就緒情況”、“運營商互聯網接入環(huán)境就緒情況”、“運營商IPv6地址規(guī)劃情況”、“CDN節(jié)點對IPv6的支持程度以及CDN節(jié)點的性能容量”等方面進行持續(xù)的跟蹤分析,掌握互聯網基礎環(huán)境就緒情況,針對其中存在的問題及時反饋和協調解決,從而不斷完善互聯網基礎環(huán)境對IPv6的支持能力,更好的為互聯網IPv6用戶提供服務。 4.2. 實時分析和掌握互聯網IPv6流量情況 以域名為維度,針對PC端和移動端的應用訪問流量進行持續(xù)監(jiān)控,通過流量統(tǒng)計情況實時掌握互聯網IPv6流量占比,為后續(xù)其他應用部署提供流量模型和性能容量管理依據。 4.3. 研究掌握客戶端IPv4/IPv6雙棧行為機制 對各類客戶端的行為機制進行深入研究,通過對典型的客戶端訪問應用的流程進行梳理,理清雙??蛻舳诵袨闄C制,對其中各環(huán)節(jié)的運行機制進行仔細研究、測試,以支撐應用的開發(fā)部署和順利投產以及投產后各類問題的排查和分析。 4.4.研究掌握運營商LDNS服務器的IPv4/IPv6雙棧行為機制 對三大主流運營商的LDNS雙棧行為機制詳細的調研和測試論證,同時結合應用實際部署情況,對權威域名服務器發(fā)布IPv6地址后的多種組合場景進行分析研究,為權威域名服務器IPv6地址順利發(fā)布提供技術保障的同時確保互聯網應用正常對外提供服務。 4.5.應用改造規(guī)范化/體系化,確保改造過程業(yè)務影響可控 應用(尤其是APP)除了自身功能外,多數存在外部鏈接功能,應用間關系復雜,且存在多層級應用串聯關系。因此,可以從規(guī)范化、體系化兩個方面確保功能改造的完整性。一是針對應用開發(fā)制定雙棧開發(fā)規(guī)范,明確IPv6數據格式標準,要求增量互聯網應用在開發(fā)時就要具備雙棧支持能力;二是應用改造前,梳理應用之間的關聯關系,從業(yè)務影響角度,分兩類明確標識應用關聯關系的緊密程度:對于應用之間存在強關聯綁定關系,必須同時投產才能保證純IPv6環(huán)境下業(yè)務的正常使用;對于應用之間僅有域名調用關系,可分期發(fā)版并爭取同期投產業(yè)務以保證純IPv6環(huán)境下的正常訪問。 4.6.互聯網域名管理系統(tǒng)化,確保改造進度可控 開發(fā)面向域名的網絡資源管理視圖,實現互聯網應用資源的可視化管理,集中維護各應用的域名、開發(fā)和運維部門、IPv6投產計劃、IPv6投產狀態(tài)等多項詳細信息,最終實現應用IPv6版本從開發(fā)、測試到投產的全流程跟蹤管理。 4.7.通過“拓撲”定義實現分地區(qū)灰度投產雙棧服務 IPv6作為新的技術,從內部到外部成熟度均有待檢驗。為了進一步控制風險,可以按照分地區(qū)逐步開放IPv6訪問并推廣到全國的策略制定完善的投產、應急及回退方案。 4.8. 通過技術手段確保應急實效 在應急處置方面,如果IPv6對外服務有問題,為了減少運營商域名解析緩存機制造成的影響,網絡側在對外關閉IPv6域名解析的同時隔離IPv6的服務地址,強制客戶端切換到IPv4進行訪問,解決互聯網環(huán)境下部分LDNS緩存時間過長導致數據中心側應急切換緩慢問題,確保應急實效控制在預設的“分鐘級”區(qū)間。 4.9. 優(yōu)化客戶端雙棧適配能力,提升用戶訪問體驗 參考RFC6555和RFC8305中Happy Eyeballs算法,自行開發(fā)相關移動客戶端構件,實現對移動客戶端互聯網IPv4/IPv6服務質量的判斷和自動選擇機制,確?;ヂ摼W應用的用戶訪問體驗。 5.下一步計劃 在推動IPv6規(guī)模部署工作當中,工行以落實國家戰(zhàn)略為使命,始終堅持先試先行,不斷積累并分享改造經驗,努力通過以點帶面來擴大金融行業(yè)參與下一代互聯網演進升級事業(yè)的工作成果。在推進IPv6規(guī)模部署專家委員會的指導下,我國數據通信產業(yè)界成立了“IPv6+技術創(chuàng)新工作組”,工行作為工作組參與主體之一,后續(xù)將依托IPv6規(guī)模部署成果,進一步加強基于“IPv6+”的技術標準體系建設,從網絡路由協議、管理自動化、智能化、提高網絡安全、開展新應用試驗驗證等各方面開展技術研究與創(chuàng)新應用,為下一代互聯網在經濟金融領域的發(fā)展與應用貢獻力量。 |