亚洲乱色熟女一区二区三区污污-九九热99这里有精品-日韩女同一区二区三区-男女做羞羞事网站在线观看-大鸡巴把骚笔草美了视频-亚洲AV无码国产精品午夜麻豆-美女张开腿男人桶到爽视频国产-夜夜澡人摸人人添人人看-九九热精品官网视频

您好,歡迎訪問上海聚搜信息技術(shù)有限公司官方網(wǎng)站!

當(dāng)前位置: 首頁 > 新聞資訊 > 技術(shù)資訊 > 營銷百科

構(gòu)建實(shí)時(shí)數(shù)據(jù)倉庫首選,云原生數(shù)據(jù)倉庫AnalyticDB for MySQL

時(shí)間:2020-05-22 15:50:56 點(diǎn)擊:
AnalyticDB for MySQL的產(chǎn)品系列包括基礎(chǔ)版(單機(jī)版)和集群版,基礎(chǔ)版為單個(gè)節(jié)點(diǎn)提供服務(wù),極簡的架構(gòu)大大的降低了基礎(chǔ)版的成本。存儲(chǔ)計(jì)算分離架構(gòu)、行列混存技術(shù)、輕量的索引構(gòu)建方式和分布式混合計(jì)算引擎又保證了基礎(chǔ)版強(qiáng)大的分析性能。年成本不到一萬就可以構(gòu)建一套實(shí)時(shí)數(shù)據(jù)倉庫,無需成立專門的大數(shù)據(jù)團(tuán)隊(duì),為企業(yè)節(jié)省百萬成本。
上海聚搜信息技術(shù)有限公司是阿里云的代理商網(wǎng)址:http://www.4526.cn/可以直接在網(wǎng)站上聯(lián)系阿里云代理商客服進(jìn)行咨詢服務(wù)器架構(gòu)和配置以及優(yōu)惠價(jià)格!(聚搜營銷介紹鏈接:http://m.szljjd.com/meiyou/)是一家致力于搜索引聚搜營銷及全網(wǎng)營銷,致力于為客戶提供搜索營銷領(lǐng)域的服務(wù),幫助廣告客戶在搜索引聚搜獲取的投資回報(bào),包括搜索引聚搜競價(jià)服務(wù)(SEM),搜索引聚搜優(yōu)化服務(wù)(seo)和搜索營銷代運(yùn)營服務(wù),能夠有效為廣告主帶來高效的投放回報(bào),我們的理念一直是:讓搜索營銷營銷具有價(jià)值。

1.基礎(chǔ)版技術(shù)架構(gòu)
如下為基礎(chǔ)版架構(gòu)圖,整體由Coordinator和Worker組成,各自的職責(zé)如下介紹。
1.1 Coordinator: 前端控制節(jié)點(diǎn),職責(zé)包括
(1)MySQL協(xié)議層接入,SQL解析
(2)認(rèn)證和鑒權(quán),提供了更完善和細(xì)化的權(quán)限體系模型,白名單和集群級(jí)別RAM控制,并審計(jì)與合規(guī)記錄所有SQL操作。
(3)集群管理:成員管理、元數(shù)據(jù)、數(shù)據(jù)一致性、路由同步、備份與恢復(fù)(數(shù)據(jù)與log管理)
(4)后臺(tái)異步任務(wù)管理
(5)事務(wù)管理
(6)優(yōu)化器,執(zhí)行計(jì)劃生成
(7)計(jì)算調(diào)度,負(fù)責(zé)執(zhí)行任務(wù)調(diào)度
1.2 Worker: 存儲(chǔ)和計(jì)算節(jié)點(diǎn),包含
(1)計(jì)算模塊
分布式MPP+DAG混合計(jì)算引擎和優(yōu)化器達(dá)到了更高的復(fù)雜計(jì)算能力和混合負(fù)載管理能力。利用阿里云計(jì)算平臺(tái)之上資源靈活調(diào)度上的優(yōu)勢,實(shí)現(xiàn)了計(jì)算資源的彈性調(diào)度。計(jì)算 Worker節(jié)點(diǎn)可以單獨(dú)拉起,因應(yīng)業(yè)務(wù)需求做到分鐘級(jí)甚至秒級(jí)擴(kuò)展,實(shí)現(xiàn)資源的最有效利用。
(2)存儲(chǔ)模塊
存儲(chǔ)模塊更加輕量化,具備了承載更大吞吐數(shù)據(jù)實(shí)時(shí)寫入和讀取能力,寫入性能比之前版本同等規(guī)格高50%倍左右,毫秒級(jí)可見,滿足客戶實(shí)時(shí)分析需求。
存儲(chǔ)節(jié)點(diǎn)提供全量和增量備份和恢復(fù)能力,云盤的定期快照和日志會(huì)實(shí)時(shí)同步到oss中保存,對(duì)用戶數(shù)據(jù)提供更高的安全保障,幫助用戶在數(shù)據(jù)庫發(fā)生問題時(shí)最大限度的找回。
(3)Worker Group
帶存儲(chǔ)模塊的Worker節(jié)點(diǎn)被劃分為一個(gè)個(gè)節(jié)點(diǎn)組(Worker Group),集群版提供三副本的存儲(chǔ),通過Raft分布式一致性協(xié)議像一個(gè)整體一樣工作,允許其中一些Worker節(jié)點(diǎn)出現(xiàn)故障也能繼續(xù)提供服務(wù),基礎(chǔ)版只有單副本提供服務(wù)。
2.基礎(chǔ)版優(yōu)化器
優(yōu)化器負(fù)責(zé)對(duì)Parser生成的語法樹進(jìn)行處理,通過優(yōu)化算法生成代價(jià)最優(yōu)的計(jì)劃提供給計(jì)算引擎。計(jì)劃代價(jià)直接影響查詢性能,因此優(yōu)化器是數(shù)據(jù)庫中最核心的模塊之一。基礎(chǔ)版采用了與集群版一樣強(qiáng)大的優(yōu)化器,包含基于規(guī)則、基于代價(jià)、和基于模式的多種復(fù)合優(yōu)化技術(shù)。
復(fù)雜分析型查詢經(jīng)常包含多表join,表的join順序直接影響查詢性能。AnalyticDB優(yōu)化器采用了基于代價(jià)估算和實(shí)時(shí)采樣信息的join order優(yōu)化算法,能夠感知底層存儲(chǔ)的數(shù)據(jù)分布。優(yōu)化器利用AnalyticDB全索引特征提高了過濾因子(filter factor)估算的準(zhǔn)確性。針對(duì)復(fù)雜join,優(yōu)化器基于數(shù)據(jù)分布信息動(dòng)態(tài)調(diào)整join order,同時(shí)評(píng)估數(shù)據(jù)reshuffling的代價(jià),來從全局代價(jià)的維度選擇最優(yōu)的執(zhí)行計(jì)劃。
AnalyticDB優(yōu)化器在經(jīng)典基于規(guī)則優(yōu)化器(Rule-Based Optimizer)的基礎(chǔ)上增加了代價(jià)估算和迭代優(yōu)化,并且集成了Cascades CBO(Cost-Based Optimizer)優(yōu)化框架。CBO搜索框架會(huì)調(diào)用 property Enforcement模塊生成分布式執(zhí)行計(jì)劃,然后調(diào)用代價(jià)估算模塊,給每一種候選計(jì)劃評(píng)估代價(jià),選擇最優(yōu)的分布式執(zhí)行計(jì)劃。為了進(jìn)一步提高join order的優(yōu)化效果和效率,AnalyticDB優(yōu)化器還采用了基于歷史信息的優(yōu)化技術(shù)(History-Based Optimizer)、基于常見SQL模式的動(dòng)態(tài)優(yōu)化技術(shù)(Pattern-Based Optimizer),以及數(shù)據(jù)驅(qū)動(dòng)的智能技術(shù),例如Auto Analyze模塊自動(dòng)搜集統(tǒng)計(jì)信息,為優(yōu)化器搜索最佳計(jì)劃提供準(zhǔn)確的數(shù)據(jù)支持。

此外,AnalyticDB優(yōu)化器還針對(duì)復(fù)雜查詢中經(jīng)常出現(xiàn)的組合過濾條件、聚合算子、關(guān)聯(lián)子查詢等進(jìn)行了一系列優(yōu)化處理以提升性能。比如下推優(yōu)化技術(shù)將計(jì)劃中的過濾條件和聚合算子盡量推到整個(gè)鏈路的底層模塊去執(zhí)行,不但提高底層算子的效率,也減少了上游算子要處理的數(shù)據(jù)量,提高整體查詢性能。針對(duì)關(guān)聯(lián)子查詢語句,優(yōu)化器通過關(guān)系代數(shù)轉(zhuǎn)化,將關(guān)聯(lián)子查詢改寫為語義等價(jià)的非關(guān)聯(lián)計(jì)劃,使得計(jì)算引擎可以高效流水線處理。

3.基礎(chǔ)版計(jì)算引擎
AnalyticDB計(jì)算引擎采用大規(guī)模并行處理MPP+DAG體系結(jié)構(gòu)和基于內(nèi)存的pipeline執(zhí)行模式,具有高并發(fā)、低延遲的特點(diǎn)。為了加快對(duì)復(fù)雜表達(dá)式的求值速度,優(yōu)化執(zhí)行性能,計(jì)算引擎通過Runtime Codegen在運(yùn)行時(shí)生成JVM bytecode,動(dòng)態(tài)加載生成對(duì)象的實(shí)例,減少了執(zhí)行過程中虛函數(shù)調(diào)用,提高了cpu-Intensive任務(wù)的效率。計(jì)算引擎還采用向量化執(zhí)行模型處理表達(dá)式求值,利用CPU SIMD指令集來加速求值計(jì)算。
4.基礎(chǔ)版存儲(chǔ)引擎
AnalyticDB存儲(chǔ)引擎采用行列混合存儲(chǔ)的設(shè)計(jì)。如圖所示。對(duì)于一張表的每k行數(shù)據(jù)(Row Group),每列數(shù)據(jù)連續(xù)的存放在單獨(dú)的Data Block中,每行組的列Block的在磁盤上連續(xù)存放。行組內(nèi)列Block的數(shù)據(jù)可按指定列排序存放,可以在按該列查詢時(shí)顯著減少磁盤隨機(jī)IO次數(shù)。這種設(shè)計(jì)的獨(dú)特優(yōu)勢是兼具了行存(適合OLTP點(diǎn)查詢)和列存(適合OLAP多維分析)的長處,很好的滿足了不同類型workload的需求:
針對(duì)OLTP類型的點(diǎn)查詢需要select出一整行的明細(xì)數(shù)據(jù),行列混存設(shè)計(jì)下將列存的完全隨機(jī)讀轉(zhuǎn)化為了順序讀
針對(duì)OLAP類型的多維分析:不僅解決了海量數(shù)據(jù)統(tǒng)計(jì)分析下行存的讀放大問題,而且進(jìn)行單列IO時(shí)將列存的順序讀轉(zhuǎn)化為了順序跳讀,進(jìn)行多列IO時(shí)則將隨機(jī)讀轉(zhuǎn)化為了順序讀
寫入大吞吐:列存時(shí)的隨機(jī)寫被轉(zhuǎn)化為了順序?qū)?br /> AnalyticDB存儲(chǔ)引擎采用智能全索引,對(duì)每列數(shù)據(jù)建立一個(gè)值到行號(hào)的倒排索引。查詢時(shí),將SQL多個(gè)條件表達(dá)式的AND、OR 轉(zhuǎn)換成Boolean Query同時(shí)走索引,通過搜索得到滿足where條件的結(jié)果集行號(hào),支持快速多路合并,能夠在毫秒級(jí)別找出滿足條件的結(jié)果集。
5.基礎(chǔ)版優(yōu)勢
基礎(chǔ)版大幅度降低了用戶構(gòu)建數(shù)據(jù)倉庫門檻,與大數(shù)據(jù)(Hadoop,Spark和EMR)和OLTP建倉方式相比都有超高的性價(jià)比。
(1)降低使用門檻
基礎(chǔ)版最低1.75元/小時(shí),860元/月,與集群版相比,起步價(jià)降低了約三分之一。磁盤空間僅0.6元/GB,磁盤空間上限最大為4T,可以隨時(shí)按需擴(kuò)展,大大降低中小企業(yè)復(fù)雜分析和構(gòu)建實(shí)時(shí)數(shù)倉的使用門檻。
(2)性能高
同等配置下其數(shù)據(jù)查詢性能約為MySQL的10倍,很好地幫助用戶解決MySQL復(fù)雜分析慢的痛點(diǎn)。
(3)規(guī)格豐富
基礎(chǔ)版支持四種規(guī)格:T8、T16、T32和T52,可以根據(jù)業(yè)務(wù)的不同要求選擇規(guī)格和任意調(diào)整規(guī)格。
(4)生態(tài)透明
上下游生態(tài)完全兼容集群版,對(duì)用戶透明。
6.適合客戶
特別適合以下人群:
(1)Hadoop/Spark等太復(fù)雜,想快速實(shí)現(xiàn)數(shù)據(jù)化轉(zhuǎn)型的中小型企業(yè);
(2)報(bào)表數(shù)據(jù)庫查詢慢,有交互式BI分析訴求的中小型企業(yè);
(3)需要快速構(gòu)建測試環(huán)境的進(jìn)行數(shù)倉選型的用戶;
(4)學(xué)習(xí)類人群,可快速了解AnalyticDB for MySQL的用戶;
阿里云優(yōu)惠券領(lǐng)取
騰訊云優(yōu)惠券領(lǐng)取

熱門文章更多>

QQ在線咨詢
售前咨詢熱線
133-2199-9693
售后咨詢熱線
4008-020-360

微信掃一掃

加客服咨詢