歡迎來到魔據教育大數據學院,專注大數據工程師培養!
當前位置:首頁 > 學習資料 > 講師博文 > hadoop2.x常用端口及定義方法(方便以后查詢)

hadoop2.x常用端口及定義方法(方便以后查詢)

時間:2017-08-17 17:43:34作者:[!--zuozhe--]

 

Hadoop集群的各部分一般都會使用到多個端口,有些是daemon之間進行交互之用,有些是用于RPC訪問以及HTTP訪問。而隨著Hadoop周邊組件的增多,完全記不住哪個端口對應哪個應用,特收集記錄如此,以便查詢。
這里包含我們使用到的組件:HDFS, YARN, HBase, Hive, ZooKeeper:

組件
節點
默認端口
配置
用途說明
HDFS
DataNode
50010
dfs.datanode.address
datanode服務端口,用于數據傳輸
HDFS
DataNode
50075
dfs.datanode.http.address
http服務的端口
HDFS
DataNode
50475
dfs.datanode.https.address
https服務的端口
HDFS
DataNode
50020
dfs.datanode.ipc.address
ipc服務的端口
HDFS
NameNode
50070
dfs.namenode.http-address
http服務的端口
HDFS
NameNode
50470
dfs.namenode.https-address
https服務的端口
HDFS
NameNode
8020
fs.defaultFS
接收Client連接的RPC端口,用于獲取文件系統metadata信息。
HDFS
journalnode
8485
dfs.journalnode.rpc-address
RPC服務
HDFS
journalnode
8480
dfs.journalnode.http-address
HTTP服務
HDFS
ZKFC
8019
dfs.ha.zkfc.port
ZooKeeper FailoverController,用于NN HA
YARN
ResourceManager
8032
yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManager
8030
yarn.resourcemanager.scheduler.address
scheduler組件的IPC端口
YARN
ResourceManager
8031
yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManager
8033
yarn.resourcemanager.admin.address
IPC
YARN
ResourceManager
8088
yarn.resourcemanager.webapp.address
http服務端口
YARN
NodeManager
8040
yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042
yarn.nodemanager.webapp.address
http服務端口
YARN
NodeManager
8041
yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020
mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888
mapreduce.jobhistory.webapp.address
http服務端口
HBase
Master
60000
hbase.master.port
IPC
HBase
Master
60010
hbase.master.info.port
http服務端口
HBase
RegionServer
60020
hbase.regionserver.port
IPC
HBase
RegionServer
60030
hbase.regionserver.info.port
http服務端口
HBase
HQuorumPeer
2181
hbase.zookeeper.property.clientPort
HBase-managed ZK mode,使用獨立的ZooKeeper集群則不會啟用該端口。
HBase
HQuorumPeer
2888
hbase.zookeeper.peerport
HBase-managed ZK mode,使用獨立的ZooKeeper集群則不會啟用該端口。
HBase
HQuorumPeer
3888
hbase.zookeeper.leaderport
HBase-managed ZK mode,使用獨立的ZooKeeper集群則不會啟用該端口。
Hive
Metastore
9083
/etc/default/hive-metastore中export PORT=<port>來更新默認端口
 
Hive
HiveServer
10000
/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認端口
 
ZooKeeper
Server
2181
/etc/zookeeper/conf/zoo.cfg中clientPort=<port>
對客戶端提供服務的端口
ZooKeeper
Server
2888
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分
follower用來連接到leader,只在leader上監聽該端口。
ZooKeeper
Server
3888
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分
用于leader選舉的。只在electionAlg是1,2或3(默認)時需要。

 

更多大數據相關資訊敬請關注魔據教育,為您分享最及時的大數據資訊。
學習大數據敬請關注魔據教育微信二維碼。
魔據教育微信二維碼

【版權與免責聲明】如發現內容存在版權問題,煩請提供相關信息發郵件至[email protected],我們將及時溝通與處理。本站內容除非來源注明魔據教育,否則均為網友轉載,涉及言論、版權與本站無關。

全國咨詢熱線:18501996998,值班手機:18501996998(7*24小時)

在線咨詢:張老師QQ 320169340

企業合作服務專線:010-82340234-821, 院校合作洽談專線:010-82340234

Copyright 2001-2019 魔據教育 - 北京華育興業科技有限公司 版權所有,京ICP備17018991號-2

免費在線咨詢立即咨詢

免費索取技術資料立即索取

大數據技術交流QQ:226594285

電話咨詢010-82340234

119期两码中特免费公开