您的瀏覽器不支援JavaScript功能,若網頁功能無法正常使用時,請開啟瀏覽器JavaScript狀態

img
×  登入
 各類專區
跳到主要內容區塊 目前檢視身分

Vertica Advanced Analytics Platform - Express edition 大數據分析資料庫

標案名稱109年第一次電腦軟體共同供應契約採購
組  別7
單  位
項  次9
採購數量級距1-10
產  地
評  價

產品功能規格

直欄式的關聯式資料庫,專為處理大數據工作而造。Vertica與一般商用與開源的橫列式資料庫不同,提供:
完整的進階 SQL 式分析功能,提供功能強大的 SQL 分析結果
叢集化儲存巨量資料,優異的查詢和分析效能
比同級產品更佳的壓縮功能,硬體和儲存空間需求更少
更佳的輸送量與平行查詢能力
資料庫內機器學習演算法和 R 與 Python 擴充功能

大數據的到來,給目前的分析系統帶來巨大挑戰:
1. 資料越來越多,超越了 I/O 極限,更加重了 I/O 瓶頸問題。
2. 分析查詢性能低下。查詢時間以數小時到數天計,有的分析演算法甚至根本無法運行。
3. 傳統分析系統都是基於資料概要的統計分析,無法滿足深度挖掘分析要求。阻礙了新的業務規律的發現,也降低了業務數據的分析價值。
4. 傳統分析系統採用的批次處理方式進行載入和匯總,無法滿足時效性要求。資料量越來越多,要匯總的業務也越來越多,資料批量載入和匯總的處理時間越來越短,甚至根本無法完成。批量載入方式使得資料的時效性得不到保障.
傳統分析系統的挑戰,在於傳統分析系統的架構大多都是基於行式的資料庫和共用儲存的縱向擴展架構。
行資料庫在執行查詢時,需要把表的所有列都從磁碟中讀到記憶體中,再進行過濾、關聯、分組等操作。對 OLAP 來說,通常需要在近百個列的表中讀取幾個列,在行式資料庫中會非常浪費 I/O。
同時,傳統分析系統採用伺服器縱向擴展及共用儲存縱向擴展架構,計算能力的擴展受限。
市場上其他宣稱支援大數據即時分析的產品,多延續傳統的行式資料庫
技術,採用最高配的硬體及私有設備進行改良以降低 I/O 消耗,指望提高性能。但大幅增加了硬體和升級維護成本,又無法根本解決問題。
某些產品也意識到了行式資料庫在分析的弊端,在行式資料庫的基礎上增加一些列式存儲和壓縮特性,以降低 I/O 消耗。然而,由於其引擎仍然是行式的,在執行查詢的過濾、關聯、分組等操作之前,仍然要把讀出的列解壓縮並組成行,對記憶體和 CPU 的消耗依舊很高,因此所獲得的性能提升也比較有限。
某些產品摒棄了傳統的共用儲存架構而採用MPP架構來增強水平擴展能力。然而,由於它們繼承了傳統資料庫的執行引擎,仍然需要一個主節點來分析SQL語句、制定執行計畫等,造成了主節點成為單點故障點和水平擴展障礙,線性水平擴展能力仍然有限。
Vertica 為無共用的 MPP 架構,基於工業標準的 x86 伺服器,擁有高可擴展性。Vertica 集群中的所有節點 100%對等,集群沒有主節點或其他共用資源。增加節點,就可以線性地擴展集群的計算能力和資料處理容量。而且,集群的節點數量幾乎可以無限制地擴展。
Vertica是真正的列式資料庫。Vertica 不僅按列式存儲資料,還主動地根據列資料的特點和查詢的要求選用最佳的演算法對資料進行排序和壓縮,極大地降低磁碟 I/O 消耗。執行引擎和優化器也是基於列式資料庫設計的,壓縮過的列資料在的執行引擎中進行過濾、關聯、分組等操作時不需要解壓縮,大幅降低了 CPU 和記憶體消耗。
Vertica充分利用列式存儲的優點,在對前端應用透明的前提下,資料在集群中的所有節點進行均勻分佈,還在多個節點上對同一份資料維護了多個拷貝,確保任意一個節點出現故障或進入維修狀態都不會影響集群的健康。這使資料有 RAID一樣高可靠性。
無共用的 MPP架構和真正的列式資料庫特性,使 Vertica與傳統的解決方案相比,Vertica 可以以 30%的成本,實現 50 倍-1000 倍的性能提高。
Vertica 將分析/挖掘演算法置於資料庫中,讓演算法與資料緊密結合,充分利用 Vertica 基於列式和 MPP 架構特點的即時計算能力,高速執行分析/挖掘任務。除常見的統計分析和線性回歸分析外,Vertica SQL-99 的基礎上進行了擴充,提供了時間序列、模式分析、地理分析(GIS)等高級分析功能。減少使用者自己在大數據量環境下開發複雜資料分析的工作。Vertica 提供 Hadoop Connector, 支援 Map 任務併發讀取 Vertica 的資料, 以及 Reduce 任務把資料保存到 Vertica 中, 還提供開發自訂函數的 SDK,支援使用者把 Vertica 作為大數據計算 平臺,通過 C++,R,Java 語言來把自己獨到的資料分析和 處理演算法作為擴展添加到 Vertica 中。
Vertica相容性極佳。 支援 SQL-92/SQL-99/SQL-2003 標準,並提供 ODBC ,JDBC ,ADO.NET, OLEDB 驅動程式,可與現有的 ETL (如 Informatica ,DataStage)工具、報表工具(如 Tableau, Qlikview, BO、Cognos , PowerBI等)以及分析工具(如 SAS、SPASS 等)整合,保護已有投資。
Vertica 提供基於 HTML5 的 WEB 圖形化管理監控工具 MC(Manage Console)。 用戶端部署簡單,只需要支持 HTML5 的流覽器。
MC 支援集群和資料庫配置管理操作,包括:
• 線上增加節點、刪除和替換節點,以及資料重新分佈;
• 資料庫創建、刪除,啟動、停止等。
MC 可以同時全面監控多個 Vertica 集群和資料庫,包括:
• 集群和資料庫健康狀態;
• 資料庫當前作業(活動),系統負載,以及資源利用情況;
• 資料庫異常告警,並支援通過 SNMP 與其他協力廠商監控工具整合。

功能規格/基本需求

Vertica的硬體與作業系統需求
作業系統為Linux, 最低1TB license並且為MPP集群的硬體為3台PC server, 每台具備
1. 2 顆實體CPU
2. 64GB記憶體
3. 8顆300GB SAS介面硬碟
4. 1張2GB cache的SAS RAID卡
5. 2張1000 Mb 網卡