4月10日InfoQ中文站和百度合作舉辦了首屆百度技術(shù)沙龍，邀請了百度Web開發(fā)高級工程師和豆瓣網(wǎng)系統(tǒng)程序員劉洪清分享了他們對數(shù)據(jù) 交互的理解，本文簡單總結(jié)了他們演講的內(nèi)容并提供了演講資料下載。
據(jù)介紹，本這次是百度第一次深入社區(qū)，通過線下活動的形式和業(yè)界技術(shù)人員 交流。從整個活動的策劃和準(zhǔn)備，以及百度在CSDN網(wǎng)站上開始的討論專區(qū)，可 以看出百度已經(jīng)將與社區(qū)的交流提上了議事日程。在和百度講師黃方榮、百度產(chǎn)品市場經(jīng)理鄭昊的溝通中，他們也提到雖然百度內(nèi)部經(jīng)常有類似的交流活動，但和外 界的交流還是比較少，這次活動是一次嘗試，如果效果不錯，以后會繼續(xù)和InfoQ聯(lián)合舉辦類似的活動。
在黃方榮的演講中，他主要介紹了數(shù)據(jù)在Web發(fā)展中的重要性，即“數(shù)據(jù)交互推動著Web的發(fā)展”，介紹的內(nèi)容點包括：
在每個技術(shù)點中，黃方榮都列舉了多個解決方案進行類比。比如在介紹Server數(shù)據(jù)推送時，他提到了輪詢、長連接、偽長連接等不同的應(yīng)用及各自特 點。而對于數(shù)據(jù)的壓縮處理，他則介紹了YUI Compressor和GZIP不同的應(yīng)用場景。最后，他總結(jié)說在Web2.0時代，Ajax大行其道，為網(wǎng)站提供了酷炫的交互界面，而在Web3.0時 代，數(shù)據(jù)的交互將會更加人性化和簡便。根據(jù)與會者的反饋，美中不足的是黃方榮在介紹數(shù)據(jù)交互的應(yīng)用場景時，并沒有比較多地涉及這些技術(shù)是如何在百度產(chǎn)品上 使用的，這讓許多慕名而來的技術(shù)人員有些失望。
劉洪清是豆瓣網(wǎng)的系統(tǒng)程序員，同時也是豆瓣開源數(shù)據(jù)存儲系統(tǒng) BeansDB，這次他主要介紹了如何應(yīng)用BeansDB來解決三千多萬豆瓣用戶持續(xù)增長的數(shù)據(jù)需求。豆瓣現(xiàn)在有超過3800萬的用戶，有15萬 個小組，430萬條目，300萬評論等，換算成后臺的數(shù)據(jù)，則是200G結(jié)構(gòu)化數(shù)據(jù)，800G文本數(shù)據(jù)，10T圖片，6T音樂等等。要保證這些數(shù)據(jù)24小 時的穩(wěn)定性，安全性和可用性，并不是一件易事。豆瓣采取的措施就是將數(shù)據(jù)進行分類，比如將用戶信息、好友關(guān)系等歸為結(jié)構(gòu)化數(shù)據(jù)類型，將文本內(nèi)容、圖片等歸 為小文件類型，而日志和備份數(shù)據(jù)歸為大文件類型。然后采用不同的技術(shù)來解決問題，比如結(jié)構(gòu)化數(shù)據(jù)用MySQL，小文件用BeansDB，大文件用 MooseFS等。
在問答環(huán)節(jié)，有讀者對豆瓣廣播的實現(xiàn)方式很感興趣，劉洪清介紹說：
豆瓣的廣播跟twitter等微博客收件箱的實現(xiàn)思路不太一樣，是只保持一分廣播副本, 在用戶瀏覽的時候?qū)崟r合并，依靠精巧的緩存和數(shù)據(jù)流設(shè)計，能夠在用戶可接受的時間范圍內(nèi)完成復(fù)雜的廣播合并。這種方式可以大大減少數(shù)據(jù)庫中的數(shù)據(jù)量和壓 力, 也與我們產(chǎn)品的某些特性配合得比較好。這種實現(xiàn)方式可行的前提是，用戶的關(guān)注數(shù)是有限的，一般在一百左右，對社會網(wǎng)絡(luò)的相關(guān)研究也是類似的結(jié)論。
對于MySQL的雙Master如何實現(xiàn)，以及如何避免諸如自增ID等可能的數(shù)據(jù)沖突等問題，劉洪清也介紹了豆瓣的做法：
豆瓣目前的雙Master主要是處于切換的便利性考慮，數(shù)據(jù)讀寫方面其實是Master-Slave結(jié)構(gòu)，通過運維的方式來控制，同時只有一個 Master是可寫的，比如修改賬號權(quán)限等，這樣就沒有數(shù)據(jù)沖突的問題了。
本次百度技術(shù)沙龍的演講資料現(xiàn)在已經(jīng)可以下載，鏈接為：Web 數(shù)據(jù)交互的藝術(shù)、豆瓣數(shù)據(jù)存儲實踐資料下載
本次活動原計劃80人到場，結(jié)果有400多人報名，近300人到場，組織者不得不加急調(diào)整了一個大的會議室人到場。有讀者開玩笑說，百度在開拓技術(shù) 社區(qū)方面開了個頭彩。我們也希望類似百度這樣的國內(nèi)大公司能夠更多地關(guān)注社區(qū)，和社區(qū)分享他們的開發(fā)經(jīng)驗，讓信息在社區(qū)內(nèi)流動起來。
