中國大數據教育領跑者

IT培訓上市機構

當前位置:首頁 > 大數據培訓 > 技術分享
發布日期:2017-12-27   

Python是一門面向對象的編程語言,編譯速度超快,因為其擁有大量第三方庫,擅于利用這些庫就可以完成絕大部分工作。大數據和人工智能助力Python發展,如果想選擇一種語言來入門編程,Python絕對是首選。

發布日期:2017-12-27   

大數據Spark技術為什么這么火?現在spark技術深受各大公司歡迎,從多迭代批量處理出發,兼收并蓄數據倉庫、流處理和圖計算等多種計算范式,可以說是一個罕見的全能選手。同時學習spark的學生也越來越多。

發布日期:2017-12-27   

概述Overview

在Apache Beam Fn API 總體介紹中闡述了總體視角,列出了一系列相關的文檔。本文中描述了Beam Runner和Beam SDK Harness交互的細節,使用Fn API來處理Bundle(一組亂序的數據)

處理Bundle

需求Requirements

發布日期:2017-12-27   

場景模擬
我試圖覆蓋工程上最為常用的一個場景:
1)首先,向Kafka里實時的寫入訂單數據,JSON格式,包含訂單ID-訂單類型-訂單收益
2)然后,spark-streaming每十秒實時去消費kafka中的訂單數據,并以訂單類型分組統計收益

發布日期:2017-12-27   

環境準備

mongodb下載

解壓安裝

啟動mongodb服務

發布日期:2017-12-27   

如果你的Hadoop項目將有新的突破,那么它必定與下邊介紹的七種常見項目很相像。有一句古老的格言是這樣說的,如果你向某人提供你的全部支持和金融支持去做一些不同的和創新的事情

發布日期:2017-12-27   

在學習Spark機器學習時,書上用scala完成,自己不熟悉遂用pyshark完成,更深入的理解了spark對協同過濾的實現
在這里我們的推薦模型選用協同過濾這種類型,使用Spark的MLlib中推薦模型庫中基于矩陣分解(matrix factorization)的實現

發布日期:2017-12-27   

初接觸Hadoop技術的朋友肯定會對它體系下寄生的個個開源項目糊涂了,我敢保證Hive,Pig,HBase這些開源技術會把你搞的有些糊涂,不要緊糊涂的不止你一個,下面給大家詳細的介紹

發布日期:2017-12-27   

hivehbase分布式文件系統基礎架構數據分析數據庫大數據

摘要:對于剛接觸大數據的用戶來說,要想區分Hive與HBase是有一定難度的。本文將嘗試從其各自的定義、特點、限制、應用場景等角度來進行分析,以作拋磚引玉之用。

發布日期:2017-12-27   

一. 顯示地展示當前使用的數據庫 hive> set hive.cli.print.current.db=true;

? 切換當前的數據庫 hive(default)> USE hduser4801;

? 使Hive顯示列頭 set hive.cli.print.header=true;

發布日期:2017-12-27   

我最近研究了hive的相關技術,有點心得,這里和大家分享下。
首先我們要知道hive到底是做什么的。下面這幾段文字很好的描述了hive的特性:

發布日期:2017-12-27   

每每提到數據挖掘,總有些人上來就是ETL、是算法、是數學模型,作為搞工程實施的我而言,很是頭疼。

發布日期:2017-12-27   

背景
集群安全措施相對薄弱
最早部署Hadoop集群時并沒有考慮安全問題,隨著集群的不斷擴大, 各部門對集群的使用需求增加,集群安全問題就顯得頗為重要。說到安全問題,一般包括如下方面:

發布日期:2017-12-27   

對那些想快速把數據傳輸到其Hadoop集群的企業來說,Kafka是一個非常合適的選擇。關于什么是Kafka我就不介紹了,大家可以參見我之前的博客:《Apache kafka入門篇:工作原理簡介》

發布日期:2017-12-27   

Hive
不想用程序語言開發MapReduce的朋友比如DB們,熟悉SQL的朋友可以使用Hive開離線的進行數據處理與分析工作。
注意Hive現在適合在離線下進行數據的操作,就是說不適合在掛在真實的生產環境中進行實時的在線查詢或操作,因為一個字“慢”。相反

發布日期:2017-12-27   

1.HBase是什么
1)HBase的產生背景?隨著數據規模越來越大,大量業務場景開始考慮數據存儲的水平擴展,使得存儲服務可以快速執行客戶端發來的請求,而目前的關系型數據庫更專注一臺機器。

發布日期:2017-12-27   

科多大數據小課堂開課啦,帶你認識Hadoop中Hbase的體系結構:

發布日期:2017-12-27   

Apache Ranger提供一個集中式安全管理框架,它可以對Hadoop生態的組件如Hive,Hbase進行細粒度的數據訪問控制.通過操作Ranger控制臺,管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、數據庫、表、字段權限.這些策略可以為不同的用戶和組來設置,同時權限可與hadoop無縫對接.

發布日期:2017-12-27   

Impala手動安裝步驟,新增Impala用戶并加入sudo權限

發布日期:2017-12-27   

HAWQ 是 Pivotal 設計的一個大規模并行 SQL 分析處理引擎,支持事務處理。HAWQ 將復雜的查詢分割成簡單的任何,并分發到并行處理系統中的處理單元執行。包括查詢規劃器、動態管道、前沿互聯和查詢執行優化器等等。提供最高級別的性能和可伸縮性。HAWQ 基于 Hadoop 架構是GPon HDFS。

發布日期:2017-12-27   

Hbase的權限控制是通過AccessController Coprocessor協處理器框架實現.

發布日期:2017-12-27   

此手冊應用于hive建表時指定列按照多字段分割的情景。

發布日期:2017-12-27   

本文應用于row_number、unbase64、windowingtablefunction在開啟sentry后不能執行的bug分析。

發布日期:2017-12-27   

此手冊應用于hadoop yarn資源按照隊列分配的情景。

發布日期:2017-12-25   

北汽福田汽車股份有限公司(簡稱福田汽車)是中國品種最全、規模最大的商用車企業。福田汽車成立于1996年8月28日,1998年6月在上海證券交易所上市,股票代碼600166。現有資產570多億元,員工近4萬人,產銷量位居世界商用車行業第一位。

 74    1 2 3 下一頁 尾頁

值班手機:18501996998

咨詢QQ: 226594285 / 428683440

全國咨詢熱線:400-690-5006

校區地址:北京市海淀區中關村科技園首農藍海中心C座-7層

點擊關注:

魔據教育官方微博

魔據官方微信

119期两码中特免费公开