免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
細(xì)細(xì)品味Hadoop

摘要: 1、系統(tǒng)管理1.1 連接MySQL 格式: mysql -h主機(jī)地址 -u用戶名 -p用戶密碼 舉例: 例1:連接到本機(jī)上的MySQL。 首先在打開DOS窗口,然后進(jìn)入目錄 mysqlbin,再鍵入命令"mysql –u root –p",回車后提示你輸密碼,如果剛安裝好MySQL,超級(jí)用戶"root"是沒(méi)有密碼的,故直接回車即可進(jìn)入到MySQL中了,MySQL的提示符是: mysql>。 例2:連接到遠(yuǎn)程主機(jī)上的MYSQL。假設(shè)遠(yuǎn)程主機(jī)的IP為:110.110.110.110,用戶名為root,密碼為abcd123。則鍵入以下命令:mysql -閱讀全文
posted @ 2012-06-18 16:13 蝦皮 閱讀(1351) | 評(píng)論 (5) 編輯
摘要: 1、MySQL安裝 MySQL下載地址:http://www.mysql.com/downloads/1.1 Windows平臺(tái) 1)準(zhǔn)備軟件 MySQL版本:mysql-5.5.21-win32.msi 2)安裝環(huán)境: 操作系統(tǒng):Windows 7旗艦版 3)開始安裝 第一步:雙擊"msi"安裝文件,出現(xiàn)如圖1.1-1界面——"MySQL安裝向?qū)?,按"Next"繼續(xù)。圖1.1-1 MySQL安裝向?qū)?第二步:在"I accept …."前面勾上,同意協(xié)議,按"Next"按鈕繼續(xù)。圖1.1-2閱讀全文
posted @ 2012-06-12 13:58 蝦皮 閱讀(1533) | 評(píng)論 (5) 編輯
摘要: 1、數(shù)據(jù)去重 "數(shù)據(jù)去重"主要是為了掌握和利用并行化思想來(lái)對(duì)數(shù)據(jù)進(jìn)行有意義的篩選。統(tǒng)計(jì)大數(shù)據(jù)集上的數(shù)據(jù)種類個(gè)數(shù)、從網(wǎng)站日志中計(jì)算訪問(wèn)地等這些看似龐雜的任務(wù)都會(huì)涉及數(shù)據(jù)去重。下面就進(jìn)入這個(gè)實(shí)例的MapReduce程序設(shè)計(jì)。1.1 實(shí)例描述 對(duì)數(shù)據(jù)文件中的數(shù)據(jù)進(jìn)行去重。數(shù)據(jù)文件中的每行都是一個(gè)數(shù)據(jù)。 樣例輸入如下所示: 1)file1: 2012-3-1 a2012-3-2 b2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b2012-3-7 c2012-3-3 c 2)file2: 2012-3-1 b2012-3-2 a2012-3-3 閱讀全文
posted @ 2012-06-04 13:22 蝦皮 閱讀(2771) | 評(píng)論 (3) 編輯
摘要: 1、HDFS簡(jiǎn)介 HDFS(Hadoop Distributed File System)是Hadoop項(xiàng)目的核心子項(xiàng)目,是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ),是基于流數(shù)據(jù)模式訪問(wèn)和處理超大文件的需求而開發(fā)的,可以運(yùn)行于廉價(jià)的商用服務(wù)器上。它所具有的高容錯(cuò)、高可靠性、高可擴(kuò)展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲(chǔ),為超大數(shù)據(jù)集(Large Data Set)的應(yīng)用處理帶來(lái)了很多便利。 Hadoop整合了眾多文件系統(tǒng),在其中有一個(gè)綜合性的文件系統(tǒng)抽象,它提供了文件系統(tǒng)實(shí)現(xiàn)的各類接口,HDFS只是這個(gè)抽象文件系統(tǒng)的一個(gè)實(shí)例。提供了一個(gè)高層的文件系統(tǒng)抽象類org.apache.h..閱讀全文
posted @ 2012-05-28 09:26 蝦皮 閱讀(2638) | 評(píng)論 (7) 編輯
摘要: 1、Hadoop開發(fā)環(huán)境簡(jiǎn)介1.1 Hadoop集群簡(jiǎn)介 Java版本:jdk-6u31-linux-i586.bin Linux系統(tǒng):CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows開發(fā)簡(jiǎn)介 Java版本:jdk-6u31-windows-i586.exe Win系統(tǒng):Windows 7 旗艦版 Eclipse軟件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32.zip Hadoop軟件:hadoop-1.0.0.tar.gz Hadoop Ec...閱讀全文
posted @ 2012-05-20 19:09 蝦皮 閱讀(5068) | 評(píng)論 (14) 編輯
摘要: 1、MapReduce理論簡(jiǎn)介1.1 MapReduce編程模型 MapReduce采用"分而治之"的思想,把對(duì)大規(guī)模數(shù)據(jù)集的操作,分發(fā)給一個(gè)主節(jié)點(diǎn)管理下的各個(gè)分節(jié)點(diǎn)共同完成,然后通過(guò)整合各個(gè)節(jié)點(diǎn)的中間結(jié)果,得到最終結(jié)果。簡(jiǎn)單地說(shuō),MapReduce就是"任務(wù)的分解與結(jié)果的匯總"。 在Hadoop中,用于執(zhí)行MapReduce任務(wù)的機(jī)器角色有兩個(gè):一個(gè)是JobTracker;另一個(gè)是TaskTracker,JobTracker是用于調(diào)度工作的,TaskTracker是用于執(zhí)行工作的。一個(gè)Hadoop集群中只有一臺(tái)JobTracker。 在分布式計(jì)算中,M閱讀全文
posted @ 2012-05-16 16:20 蝦皮 閱讀(2720) | 評(píng)論 (6) 編輯
摘要: 1、Linux配置java環(huán)境變量1.1 原文出處 地址:http://blog.csdn.net/jiedushi/article/details/66728941.2 解壓安裝jdk 在shell終端下進(jìn)入jdk-6u14-linux-i586.bin文件所在目錄,執(zhí)行命令 ./jdk-6u14-linux-i586.bin 這時(shí)會(huì)出現(xiàn)一段協(xié)議,連繼敲回車,當(dāng)詢問(wèn)是否同意的時(shí)候,輸入yes,回車。之后會(huì)在當(dāng)前目錄下生成一個(gè)jdk1.6.0_14目錄,你可以將它復(fù)制到 任何一個(gè)目錄下。1.3 需要配置的環(huán)境變量 1)PATH環(huán)境變量 作用是指定命令搜索路徑,在shell下面執(zhí)行命令時(shí)...閱讀全文
posted @ 2012-05-16 15:54 蝦皮 閱讀(885) | 評(píng)論 (0) 編輯
摘要: 1、集群部署介紹1.1 Hadoop簡(jiǎn)介 Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)。以Hadoop分布式文件系統(tǒng)(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的開源實(shí)現(xiàn))為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 對(duì)于Hadoop的集群來(lái)講,可以分成兩大類角色:Master和Salve。一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的。其中NameNode作為主服務(wù)器,管理文件系統(tǒng)的命名空間和客戶端對(duì)文件系統(tǒng)的訪問(wèn)操作;集群中的DataNod..閱讀全文
posted @ 2012-05-16 14:28 蝦皮 閱讀(5612) | 評(píng)論 (7) 編輯
摘要: 1、SecureCRT簡(jiǎn)介 SecureCRT是一款支持SSH(SSH1和SSH2)的終端仿真程序,同時(shí)支持Telnet和rlogin協(xié)議。SecureCRT是一款用于連接運(yùn)行包括Windows、UNIX和VMS的遠(yuǎn)程系統(tǒng)的理想工具。通過(guò)使用內(nèi)含的VCP命令行程序可以進(jìn)行加密文件的傳輸。有流行CRTTelnet客戶機(jī)的所有特點(diǎn),包括:自動(dòng)注冊(cè)、對(duì)不同主機(jī)保持不同的特性、打印功能、顏色設(shè)置、可變屏幕尺寸、用戶定義的鍵位圖和優(yōu)良的VT100,VT102,VT220和ANSI競(jìng)爭(zhēng)。能從命令行中運(yùn)行或從瀏覽器中運(yùn)行。其它特點(diǎn)包括文本手稿、易于使用的工具條、用戶的鍵位圖編輯器、可定制的ANSI顏色等..閱讀全文
posted @ 2012-05-16 14:11 蝦皮 閱讀(845) | 評(píng)論 (2) 編輯
摘要: 1、VSFTP簡(jiǎn)介 VSFTP是一個(gè)基于GPL發(fā)布的類Unix系統(tǒng)上使用的FTP服務(wù)器軟件,它的全稱是Very Secure FTP 從此名稱可以看出來(lái),編制者的初衷是代碼的安全。 安全性是編寫VSFTP的初衷,除了這與生俱來(lái)的安全特性以外,高速與高穩(wěn)定性也是VSFTP的兩個(gè)重要特點(diǎn)。 在速度方面,使用ASCII代碼的模式下載數(shù)據(jù)時(shí),VSFTP的速度是Wu-FTP的兩倍,如果Linux主機(jī)使用2.4.*的內(nèi)核,在千兆以太網(wǎng)上的下載速度可達(dá)86MB/S。 在穩(wěn)定方面,VSFTP就更加的出色,VSFTP在單機(jī)(非集群)上支持4000個(gè)以上的并發(fā)用戶同時(shí)連接,根據(jù)Red Hat的Ftp服...閱讀全文
posted @ 2012-05-16 13:45 蝦皮 閱讀(1088) | 評(píng)論 (3) 編輯
摘要: 1、分布式環(huán)境搭建 采用4臺(tái)安裝Linux環(huán)境的機(jī)器來(lái)構(gòu)建一個(gè)小規(guī)模的分布式集群。圖1 集群的架構(gòu) 其中有一臺(tái)機(jī)器是Master節(jié)點(diǎn),即名稱節(jié)點(diǎn),另外三臺(tái)是Slaver節(jié)點(diǎn),即數(shù)據(jù)節(jié)點(diǎn)。這四臺(tái)機(jī)器彼此間通過(guò)路由器相連,從而實(shí)驗(yàn)相互通信以及數(shù)據(jù)傳輸。它們都可以通過(guò)路由器訪問(wèn)Internet,實(shí)驗(yàn)網(wǎng)頁(yè)文檔的采集。2、集群機(jī)器詳細(xì)信息2.1 Master服務(wù)器 名稱詳細(xì)信息機(jī)器名稱Master.Hadoop機(jī)器IP地址192.168.1.2最高用戶名稱(Name)root最用用戶密碼(PWD)hadoop(全小寫)一般用戶名稱(Name)hadoop(全小寫)一般用戶密碼(PWD)hadoop...閱讀全文
posted @ 2012-05-16 13:37 蝦皮 閱讀(978) | 評(píng)論 (4) 編輯
摘要: 1、準(zhǔn)備安裝1.1 系統(tǒng)簡(jiǎn)介 CentOS 是什么? CentOS是一個(gè)基于Red Hat 企業(yè)級(jí) Linux 提供的可自由使用的源代碼企業(yè)級(jí)的 Linux 發(fā)行版本。每個(gè)版本的 CentOS 都會(huì)獲得七年的支持(通過(guò)安全更新方式)。新版本的 CentOS 每?jī)赡臧l(fā)行一次,而每個(gè)版本的 CentOS 會(huì)定期(大概每六個(gè)月)更新一次,以便支持新的硬件。這樣,建立一個(gè)安全、低維護(hù)、穩(wěn)定、高預(yù)測(cè)性、高重復(fù)性的 Linux 環(huán)境。 CentOS(Community Enterprise Operating System)是Linux發(fā)行版之一,它是來(lái)自于Red Hat Enterprise L...閱讀全文
posted @ 2012-05-16 12:48 蝦皮 閱讀(2444) | 評(píng)論 (13) 編輯
摘要: 1)Hadoop學(xué)習(xí)總結(jié) (1)HDFS簡(jiǎn)介 地址:http://forfuture1978.iteye.com/blog/615033 (2)HDFS讀寫過(guò)程解析 地址:http://blog.csdn.net/forfuture1978/article/details/6001302 (3)Map-Reduce入門 地址:http://blog.csdn.net/forfuture1978/article/details/6043926 (4)Map-Reduce的過(guò)程解析 地址:http://blog.csdn.net/forfuture1978/article/deta...閱讀全文
posted @ 2012-04-22 14:08 蝦皮 閱讀(579) | 評(píng)論 (1) 編輯
摘要: 下面是Hadoop集群系列的目錄安排,按照一星期發(fā)布一期的原則進(jìn)行。希望大家的關(guān)注。 目錄安排: 1)Hadoop集群_第1期_CentOS安裝配置_V1.0 2)Hadoop集群_第2期_機(jī)器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安裝配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0 5)Hadoop集群_第5期_Hadoop安裝配置_V1.1 6)Hadoop集群_第5期副刊_JDK和SSH無(wú)密碼配置_V1.0 7)Hadoop集群_第6期_WordCount運(yùn)行詳解_V1.0 8)Hadoop集群_第7期_Ecli...閱讀全文
posted @ 2012-04-08 19:15 蝦皮 閱讀(2743) | 評(píng)論 (9) 編輯
摘要: 1)Cygwin相關(guān)資料 (1)Cygwin上安裝、啟動(dòng)ssh服務(wù)失敗、ssh localhost失敗的解決方案 地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ (2)windows2003+cygwin+ssh 地址:http://wenku.baidu.com/view/3777b8bc960590c69ec3765e.html (3)Cygwin 安裝和SSH設(shè)定教學(xué) 地址:http://blog.faq-book.com/?p=2731 (4)如何在Cygwin中安裝并配置SSH 地址...閱讀全文
posted @ 2012-01-02 15:15 蝦皮 閱讀(1041) | 評(píng)論 (1) 編輯


本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
大數(shù)據(jù)系列之Hadoop框架
做大數(shù)據(jù)過(guò)程中遇到的13個(gè)問(wèn)題
干貨 | 從小白到大數(shù)據(jù)技術(shù)專家的學(xué)習(xí)歷程
科譜 | 一文了解大數(shù)據(jù)五個(gè)通用化處理框架與三大核心技術(shù)
Hadoop生態(tài)圈
大數(shù)據(jù)Hadoop需要學(xué)習(xí)哪些知識(shí)?
更多類似文章 >>
生活服務(wù)
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服