免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
三問阿里云:CIPU究竟是什么?

長期以來,以 CPU 為核心的云計(jì)算架構(gòu)體系幾乎是所有云廠商的共識(shí)。如果以虛擬化的發(fā)展來劃分云的發(fā)展階段,可以看到云技術(shù)經(jīng)歷了虛擬化、分布式、資源池化等幾個(gè)階段。云計(jì)算如今已經(jīng)處在“由業(yè)務(wù)流程為中心向數(shù)據(jù)處理為中心”轉(zhuǎn)化階段,在多位阿里云技術(shù)專家看來,在數(shù)據(jù)量暴漲的情況下,純軟件定義的云不僅損耗 IO 性能、管理難度和安全風(fēng)險(xiǎn)也將難以把握,企業(yè)需要一個(gè)全新的計(jì)算體系結(jié)構(gòu)來支撐業(yè)務(wù)變化。

在這樣的背景下,阿里云在峰會(huì)上發(fā)布了以 CIPU 為中心的新型計(jì)算體系,用 CIPU 替代 CPU 成為云時(shí)代 IDC 的處理核心。從 CPU 到 CIPU,為什么阿里云此時(shí)“變”了內(nèi)核?CIPU 與 CPU 有哪些不同?CIPU 是否代表著云計(jì)算的發(fā)展來到了新的階段?InfoQ 就此對(duì)阿里云虛擬化技術(shù)負(fù)責(zé)人蔣林泉、阿里云云網(wǎng)絡(luò)負(fù)責(zé)人祝順民、阿里云基礎(chǔ)產(chǎn)品首席架構(gòu)師黃瑞瑞進(jìn)行了采訪。要想準(zhǔn)確回答這些問題,我們需要先來梳理一下業(yè)務(wù)需求的變化和云計(jì)算發(fā)展的關(guān)系。

解決可擴(kuò)展性問題,分布式技術(shù)走到臺(tái)前

阿里云之所以推出新型計(jì)算體系,主要是為了應(yīng)對(duì)越來越普遍的數(shù)據(jù)密集型計(jì)算場(chǎng)景下,用戶對(duì)低時(shí)延、高帶寬的需求越來越高的趨勢(shì)。業(yè)務(wù)層的需求變化貫穿了云計(jì)算的發(fā)展歷程。早期的云計(jì)算和云技術(shù)糾纏在一起,在企業(yè)業(yè)務(wù)需求中萌芽。從虛擬化的視角出發(fā),阿里云基礎(chǔ)產(chǎn)品首席架構(gòu)師黃瑞瑞將云計(jì)算的發(fā)展分成分布式技術(shù)階段、資源池化技術(shù)階段和如今的 CIPU 階段。

“分布式架構(gòu)嚴(yán)格來說還不是云,只是企業(yè)內(nèi)部使用了相應(yīng)的分布式架構(gòu)去解決自身擴(kuò)展性的問題?!秉S瑞瑞談到。這個(gè)階段企業(yè)具備了云的基礎(chǔ)技術(shù)能力,但是沒有具備云計(jì)算的核心生產(chǎn)力,比如還沒有達(dá)到即開即用的資源彈性、按需擴(kuò)容、線性可擴(kuò)展性等。隨著業(yè)務(wù)的不斷發(fā)展,單個(gè)企業(yè)內(nèi)使用這種方式完全解決這個(gè)問題變得不現(xiàn)實(shí)。

不過早期的分布式技術(shù)依然在一定程度上為企業(yè)解決了可擴(kuò)展性的問題。在未使用分布式技術(shù)前,企業(yè)通過不停地增加小型機(jī)或者數(shù)據(jù)庫的方式應(yīng)對(duì)計(jì)算任務(wù)的增加,并不具備可擴(kuò)展性、且缺少性價(jià)比。分布式技術(shù)讓企業(yè)不再需要專門采購一些專用的大型機(jī)或者定向購買小型機(jī),解放了供應(yīng)鏈的彈性。企業(yè)布置好分布式的集群,能將計(jì)算能力打散在不同的分布式機(jī)器上,但是企業(yè)由于業(yè)務(wù)狀態(tài)不同,對(duì)于計(jì)算算力的要求會(huì)有波峰和波谷。不同公司的不同 IT 部門開始引入相對(duì)應(yīng)的虛擬化技術(shù),實(shí)現(xiàn)分時(shí)復(fù)用,解決單個(gè)企業(yè)內(nèi)集群資源利用率相對(duì)比較低的問題。

阿里云最初也在用分布式計(jì)算支撐對(duì)應(yīng)系統(tǒng)的可擴(kuò)展性,去 IOE、去小型機(jī)、去單體擴(kuò)展性相對(duì)沒有那么好的架構(gòu)。直到 2013 年,阿里云下線最后一臺(tái)小型機(jī),開始用自研的飛天云操作系統(tǒng)支撐集團(tuán)業(yè)務(wù)。以阿里云為代表的公有云廠商們,進(jìn)一步發(fā)展分布式技術(shù)和虛擬化技術(shù),在飛速發(fā)展的互聯(lián)網(wǎng)時(shí)代迎來了屬于自己的時(shí)代。

資源池化,算力普惠

企業(yè)業(yè)務(wù)規(guī)模不斷擴(kuò)大,數(shù)據(jù)體量和架構(gòu)復(fù)雜度也水漲船高。在原有的技術(shù)難以滿足業(yè)務(wù)的需求的情況下,公有云時(shí)代加速到來。在阿里云基礎(chǔ)產(chǎn)品首席架構(gòu)師黃瑞瑞看來,分布式架構(gòu)下一個(gè)時(shí)代就是公有云,從技術(shù)的維度去看就是資源池化的時(shí)代。

云廠商的入場(chǎng)推動(dòng)了云計(jì)算技術(shù)的發(fā)展。資源池化的關(guān)鍵技術(shù)能力在于能否將云上的資源提供給對(duì)應(yīng)的彈性。將云上的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等技術(shù)的算力資源,通過不同的搭配方式,在云上搭建各種各樣的應(yīng)用。“一旦資源池化了,客戶能看到的其實(shí)就是即開即用的虛擬化資源池?!秉S瑞瑞解釋。

從技術(shù)的維度看,資源池化階段,虛擬化技術(shù)再向前一步,將不同的物理資源變成虛擬化的資源,變成統(tǒng)一的池化管理。資源池化將計(jì)算的虛擬化資源、存儲(chǔ)的虛擬化資源、網(wǎng)絡(luò)的虛擬化資源放在一起管理,企業(yè)就不需要承擔(dān)早期分布式階段中自己管理基礎(chǔ)資源、不需要自己管理虛擬化資源。云廠商們迎來了新的業(yè)務(wù)需求挑戰(zhàn):企業(yè)在進(jìn)行上云時(shí)不僅僅注重技術(shù)問題,也更加關(guān)注經(jīng)濟(jì)問題。

“資源池化的這個(gè)技術(shù)點(diǎn)必須要突破”,黃瑞瑞強(qiáng)調(diào)。如果云廠商無法提供統(tǒng)一調(diào)度、統(tǒng)一管理和統(tǒng)一編排的能力,對(duì)資源的利用率就上不去,很難在整體上突破性價(jià)比的瓶頸?!斑@個(gè)真的是要看本事的,因?yàn)榘⒗镌埔彩窃谶^去幾年中不斷地打磨我們的統(tǒng)一資源的調(diào)度和編排的能力,這個(gè)其實(shí)是非常難的”。阿里云在這個(gè)階段,通過計(jì)算存儲(chǔ)分離架構(gòu),將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源分別池化,突破了規(guī)模和穩(wěn)定性的瓶頸,提供了超大規(guī)模的云計(jì)算服務(wù)。包括阿里云在內(nèi)的所有云廠商們提供的云服務(wù),很大程度上降低了企業(yè)上云和使用云服務(wù)的技術(shù)門檻和成本,一定程度上實(shí)現(xiàn)了“算力普惠”,推動(dòng)數(shù)字經(jīng)濟(jì)時(shí)代加速到來。

從技術(shù)視角往回看,分布式技術(shù)的早期階段和資源池化階段,以 CPU 為中心的“軟件定義的云”解決了當(dāng)時(shí)可擴(kuò)展性和高彈性的問題。但是隨著數(shù)字經(jīng)濟(jì)時(shí)代的到來,阿里云發(fā)現(xiàn):管理基礎(chǔ)設(shè)施規(guī)模越來越大,復(fù)雜度也越來越高。CPU 本質(zhì)上是通用處理器,通過軟件進(jìn)行虛擬化就需要不停地適配軟件。企業(yè)對(duì)于計(jì)算、網(wǎng)絡(luò)傳輸、數(shù)據(jù)中心大量數(shù)據(jù)遷移等需求,如果依然以 CPU 為中心的軟件做整體的調(diào)度,虛擬化的代價(jià)很高,對(duì)應(yīng)的集群需要進(jìn)行的應(yīng)用負(fù)載中,數(shù)據(jù)的流量負(fù)載也會(huì)越來越大。一個(gè)純軟件定義的、以 CPU 為中心的云體系結(jié)構(gòu),費(fèi)用會(huì)不斷增加。

我們不禁想問,從硬件角度出發(fā),通過軟硬結(jié)合的方式能否解決這個(gè)問題?CIPU 就是阿里云從硬件角度出發(fā)的技術(shù)實(shí)踐成果。云計(jì)算的發(fā)展來到了第三階段嗎?

“從計(jì)算體系架構(gòu)的視角來講,我們認(rèn)為是有第三階段的?!秉S瑞瑞談道。

阿里云 CIPU 技術(shù)架構(gòu),是云計(jì)算的第三階段嗎?

阿里云的 CIPU 是什么?

先來看下官方定義,據(jù)介紹,CIPU 是阿里云自主研發(fā)的云基礎(chǔ)設(shè)施處理器,在數(shù)據(jù)中心內(nèi)部替代 CPU 成為云計(jì)算體系架構(gòu)的中心,是為飛天云操作系統(tǒng)設(shè)計(jì)的專用處理器。CIPU 向下云化管理數(shù)據(jù)中心硬件,并對(duì)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源進(jìn)行加速,向上接入飛天云操作系統(tǒng),將全球 200 多萬臺(tái)服務(wù)器變成一臺(tái)超級(jí)計(jì)算機(jī),為客戶提供更高性能、更低價(jià)格、更可靠的云計(jì)算服務(wù)。

一個(gè)非常核心的區(qū)別是,CIPU 是阿里自研的芯片。“CIPU 不是支撐 windows 或者 linux 操作系統(tǒng)的 x86 架構(gòu),而是支撐飛天云操作系統(tǒng)的云數(shù)據(jù)中心全新體系架構(gòu)。在這種新型架構(gòu)里面,我們的存儲(chǔ)、計(jì)算、網(wǎng)絡(luò),通過這種新興的體系架構(gòu)互相之間進(jìn)行通信交換,我們就可以對(duì)云的能力、效率、成本幾方面都得到大幅提升?!卑⒗镌圃凭W(wǎng)絡(luò)負(fù)責(zé)人祝順民告訴 InfoQ,比如阿里云云網(wǎng)絡(luò)新構(gòu)建的硬件芯片和 CIPU 之間的關(guān)系,可以理解為相互連接在一起,通過利用 CIPU 一些硬件加速的能力和單元,提升性能。圍繞 CIPU,阿里云提出了新的計(jì)算體系架構(gòu)。

CIPU 怎樣做到加速和管控?

“以前在 CPU 用軟件來管理一兩百萬臺(tái)服務(wù)器接入飛天操作系統(tǒng),所有的算力都需要和飛天云操作系統(tǒng)耦合,給客戶的算力和算力迭代都需要和飛天耦合,需要不斷地做軟件的適配。”阿里云虛擬化技術(shù)負(fù)責(zé)人蔣林泉解釋:“我們把它變成硬件之后,你會(huì)發(fā)現(xiàn)我的 hypervisor 和我們的飛天云操作系統(tǒng)、和這個(gè)硬件,就和我剛才說的算力解耦掉了?!?/strong>所謂“即插即用的云計(jì)算”,即對(duì)所有算力、傳統(tǒng)服務(wù)器、物理服務(wù)器的接入,網(wǎng)絡(luò)、存儲(chǔ)接入的標(biāo)準(zhǔn)化,接入云的標(biāo)準(zhǔn)化的動(dòng)作。

這并不是一個(gè)新的理念,本質(zhì)上就是模塊化,即“對(duì)內(nèi)封閉、對(duì)外開放一個(gè)接口”。在蔣林泉看來,如果想要實(shí)現(xiàn)這件事情,方案上講,估計(jì)行業(yè)內(nèi)都會(huì)朝著一個(gè)方向走。

以網(wǎng)絡(luò)層面舉例,“過去幾年我們做了很多軟硬協(xié)同、硬件加速。我們?cè)?SDN 的網(wǎng)關(guān),在虛擬交換機(jī)上,在負(fù)載均衡上,都用了可編程的芯片、加速芯片來實(shí)現(xiàn)業(yè)務(wù)邏輯。這就是阿里云在構(gòu)建云的時(shí)候跟其他人不一樣的地方,這也是阿里云最核心的技術(shù)體現(xiàn)所在。”阿里云云網(wǎng)絡(luò)負(fù)責(zé)人祝順民談道:“今天很多的負(fù)載均衡廠商其實(shí)都不太考慮多租戶和彈性這個(gè)事情。而事實(shí)上,這個(gè)我認(rèn)為是未來負(fù)載均衡這樣的產(chǎn)品一定會(huì)演進(jìn)的一個(gè)方向,還沒有云化的負(fù)載均衡未來一定都會(huì)變成云化的負(fù)載均衡。”

目前,阿里云已經(jīng)做到了數(shù)據(jù)中心的網(wǎng)絡(luò)云化、數(shù)據(jù)中心之間網(wǎng)絡(luò)的云化,目前正在研究用戶自身的辦公室和生產(chǎn)車間網(wǎng)絡(luò)的云化方向。祝順民提到:“用 CPU 去處理指令集實(shí)現(xiàn)多租戶彈性更高開銷是比較大的,CIPU 的核心就是去解決單位成本下更高的性能?!?/strong>也就是說,CIPU 通過硬件加速的方式,是阿里云找到的實(shí)現(xiàn)“即插即用的云計(jì)算”可落地的實(shí)踐路徑。

可以看到, CIPU 誕生的目的是為了管理底層的云基礎(chǔ)設(shè)施,包括相對(duì)應(yīng)的底層的虛擬化的池化管理。

2017 年,阿里云發(fā)布了第一代神龍架構(gòu),并為之專門開發(fā)了 MOC 卡,可以理解為 CIPU 最開始的模糊概念。我們可以從阿里云神龍架構(gòu)作為起點(diǎn),去理解 CIPU 的演化過程。

據(jù)阿里云虛擬化技術(shù)負(fù)責(zé)人蔣林泉介紹,發(fā)展到如今的 CIPU,在保持被飛天敏捷調(diào)度的特征和“0“損耗計(jì)算加速外,具備了一些非常特殊的能力:

第一,計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)全部接入這一代的硬件架構(gòu)后,能夠?qū)崿F(xiàn)數(shù)據(jù)路徑全部都是硬件加速,第一次真正完整地替代了原來的“軟件定義云”。其中,值得一提的是通過完整的加速,第一次能夠在云上大規(guī)模普惠化提供了 eRDMA 的高性能網(wǎng)絡(luò)加速能力。

第二,CPU 和 GPU 目前的技術(shù)方向中,首先是 CPU 的密度越來越大,從原來服務(wù)器的 4 核到現(xiàn)在的 128 核,核數(shù)密度越來越高,帶來的問題是爆炸半徑比較大。CIPU 能夠?qū)⒁粋€(gè)有 128 個(gè) VCPU 的 CPU 拆成 2 個(gè) 64 的 VCPU,解決了 CPU 越做越大的計(jì)算密度的問題;其次是 CPU 可以去做橫向擴(kuò)展,能用多個(gè) CIPU 去支持一個(gè) AI 計(jì)算的高密度計(jì)算,這意味著 CIPU 和原來的計(jì)算服務(wù)器從原來的 1:1 的關(guān)系變成了 1:N 甚至 N:1 的關(guān)系,實(shí)現(xiàn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源以 CIPU 為中心的,更加高效靈活的云化。

以上兩點(diǎn)就是所謂的“第一次真正做到了云數(shù)據(jù)中心的 C 位”,蔣林泉表示,原來的神龍第一代到第三代都在局部做這件事情,這次是首次 CIPU 成為云控制和加速中軸?!八窃?IDC 里面圍繞它來構(gòu)建云計(jì)算,不再是像原來一樣純是附屬與一臺(tái)服務(wù)器的一張卡,對(duì)應(yīng)的硬件規(guī)格都發(fā)生了變化?!?/p>

CIPU 是怎樣讓虛擬化開銷降到 0 的?

從神龍架構(gòu)的視角來看,CIPU 的計(jì)算軟件之一就是神龍的 hypervisor(管理程序),處理 CPU、內(nèi)存、GPU 的虛擬化。CIPU 帶來一個(gè)最明顯的標(biāo)志就是虛擬化的開銷真正意義上降到了 0。

狹義地理解虛擬化開銷為 0,指的是 CPU 內(nèi)核的虛擬化,即 hypervisor 帶來的性能損耗可以通過將 hypervisor 下沉到物理硬件上來解決,讓企業(yè)也可以通過使用物理 CPU 和飛天操作系統(tǒng),體驗(yàn)到云上的彈性和敏捷。

第一代和第二代的神龍解決了狹義的計(jì)算虛擬化開銷為 0 的問題,但是存儲(chǔ)和網(wǎng)絡(luò)部分的虛擬化轉(zhuǎn)發(fā)依然是要用軟件實(shí)施的。第三代的神龍不同于第一二代用軟件加速,把網(wǎng)絡(luò)部分局部用硬件加速掉了;第四代 CIPU,可以把網(wǎng)絡(luò)完整加速,同時(shí)把存儲(chǔ)的數(shù)據(jù)鏈路也完整全部用硬件加速。

阿里云虛擬化技術(shù)負(fù)責(zé)人蔣林泉談道:“到第四代為止,就是 CIPU 為止,無論是計(jì)算的虛擬化的消耗為 0,還是我們把存儲(chǔ)、網(wǎng)絡(luò)全面硬件加速,也幾乎降到為 0。應(yīng)該說到 CIPU 這一代,才是真正達(dá)成了完整的虛擬化開銷下降到 0?!?/p>

“CIPU 這一層,我們?cè)谏蠈拥娘w天云操作系統(tǒng)里面不同內(nèi)核的組件,包括不同的云產(chǎn)品中,我們做了定制化的開發(fā),讓它能夠更好地用到底層的 CIPU 的能力”黃瑞瑞談到,“阿里云今天提出 CIPU 的原因,一方面是 CIPU 已經(jīng)在內(nèi)部有了比較大規(guī)模的應(yīng)用,能夠向下管理不同的虛擬化資源;另一方面,阿里云意識(shí)到 CIPU 代表著更先進(jìn)的生產(chǎn)力。”

最初的 MOC 卡提供了虛擬資源下的裸金屬機(jī),如今的 CIPU 可以管理和加速所有的虛擬化資源,包括跑虛擬化的管理程序以及接入到飛天云操作系統(tǒng)中。以 CPU 為中心的階段是軟件定義的云,以 CIPU 為中心的階段是軟硬結(jié)合的云。

與硬件廠商推出的 CPU、DPU 不同,黃瑞瑞認(rèn)為:“向上設(shè)計(jì)的飛天云操作系統(tǒng)和向下的 CIPU,兩者之間結(jié)合的效果一定是大于 2 的,因?yàn)楸旧砭褪且惑w化的?!?/strong>飛天和 CIPU 也的確出自同一個(gè)大的研發(fā)團(tuán)隊(duì)之手。

“CIPU 下沉之后更多是跟 IDC 里面的服務(wù)器、交換機(jī)和存儲(chǔ)集群物理上做數(shù)據(jù)面的加速。它數(shù)據(jù)面加速的時(shí)候,CIPU 上跑的其實(shí)就是神龍 hypervisor、洛神 AVS 以及盤古的 TDC,這幾個(gè)核心軟件跑在 CIPU 上面去做軟硬一體。最終,這些虛擬化出來的資源再交給神龍計(jì)算平臺(tái),也就是我們分布式的彈性計(jì)算的調(diào)度系統(tǒng)和異常的調(diào)度系統(tǒng)?!笔Y林泉介紹道。

CIPU 被阿里云視為連接服務(wù)器內(nèi)硬件和云上抽象的虛擬化資源之間的關(guān)鍵“芯片”。

最新的數(shù)據(jù)顯示,CIPU 自帶硬件級(jí)安全的加固隔離,在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)以及安全方面為阿里云計(jì)算帶來了改變:

圖左為 CIPU 實(shí)圖

計(jì)算方面,單容器虛擬化消耗減少 50%,虛擬化容器啟動(dòng)速度快 350%。主流通用計(jì)算場(chǎng)景下,Nginx 性能提升了 89%,Redis 性能提升了 68%、MySQL 提升了 60%。大數(shù)據(jù)和 AI 場(chǎng)景下,AI 深度學(xué)習(xí)場(chǎng)景訓(xùn)練性能提升 30%,Spark 計(jì)算性能提升 30%。同時(shí),神龍計(jì)算平臺(tái)可以提前預(yù)測(cè) 80% 的硬件故障,并進(jìn)行無感熱遷移規(guī)避,從而實(shí)現(xiàn)了高可用 SLA。

存儲(chǔ)方面,通過全硬件虛擬化和轉(zhuǎn)發(fā)加速,存儲(chǔ)時(shí)延最低可至 30us(PLX),IOPS 高達(dá) 300 萬,存儲(chǔ)帶寬可達(dá) 200 Gbps,同時(shí)還支持云上多計(jì)算節(jié)點(diǎn) NVME 共享訪問云盤塊存儲(chǔ),Oracle RAC、SAP Hana 等高可用數(shù)據(jù)庫可以無縫上云。

網(wǎng)絡(luò)方面,基礎(chǔ)帶寬從 100G 升級(jí)至 200G,VPC 的 PPS 轉(zhuǎn)發(fā)性能從 2000 萬提升至 4000 萬,網(wǎng)絡(luò)時(shí)延從 22us 降低至 16us,RDMA 協(xié)議下更可低至 5.5us。應(yīng)用上云之后,比自建物理機(jī)的集群吞吐量提升了 30%,業(yè)務(wù)高峰期延遲下降了 90%。

寫在最后

高性能、低延遲、低成本、更安全、更穩(wěn)定也已經(jīng)成為云計(jì)算既定的技術(shù)大方向。在計(jì)算層面,蔣林泉觀察到了比較明顯的技術(shù)趨勢(shì),一個(gè)是計(jì)算的高密化,CPU 服務(wù)器的核數(shù)越來越高;第二就是 GPU,一個(gè) GPU 的 AI 計(jì)算的處理能力急劇擴(kuò)大,處理的數(shù)據(jù)也隨之倍數(shù)增長。對(duì)于云廠商而言,需要考慮如何同時(shí)解決這兩種核心計(jì)算的高密度計(jì)算下云化挑戰(zhàn),這里就牽涉到如何處理規(guī)?;涡屎途C合穩(wěn)定性的難題。整體視角下,黃瑞瑞在采訪中強(qiáng)調(diào):“云上必須要做到更穩(wěn)定,更安全,否則的話云計(jì)算是沒有未來的?!?/strong>飛天向上,CIPU 向下,阿里云將以 CIPU 作為整個(gè)架構(gòu)的中心,下一步將更加注重穩(wěn)定性和安全的問題。

無論從技術(shù)視角看還是從商業(yè)的視角看,云計(jì)算的發(fā)展必將進(jìn)一步深化。根據(jù) Gartner 的數(shù)據(jù),預(yù)計(jì)到 2025 年有 80% 的企業(yè)會(huì)放棄自己傳統(tǒng)的數(shù)據(jù)中心,轉(zhuǎn)向云平臺(tái)。阿里云此次推出的 CIPU,為云計(jì)算的技術(shù)發(fā)展探出了一條新路徑,更是一次云計(jì)算話語權(quán)的搶奪。

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
生活服務(wù)
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服