如何實現(xiàn)數(shù)據(jù)處理性能提升？為你揭曉背后功臣

作者：時間：2024-09-26 來源：Arm

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

Arm 架構(gòu)在服務(wù)器領(lǐng)域發(fā)展勢頭看漲。目前已有許多頭部云服務(wù)提供商和服務(wù)器制造商推出了基于 Arm Neoverse 平臺的服務(wù)器產(chǎn)品。Arm 架構(gòu)的服務(wù)器通常具備低功耗的特性，能帶來更優(yōu)異的能效比。在此前的文章中，針對搭載基于 Armv9 架構(gòu)的倚天 710 芯片的 ECS 倚天實例，Arm 技術(shù)專家已在深度學(xué)習(xí)推理任務(wù) 、 Redis 性能驗證等方面進(jìn)行了測試和比較分析。此次我們將聚焦數(shù)據(jù)處理領(lǐng)域，通過兩個實際案例，來探討不同云實例上 Apache Flink 和 Elasticsearch 的性能差異。

本文引用地址：http://www.biyoush.com/article/202409/463223.htm

案例一

針對 Apache Flink 的性能測試

在基于 Arm 架構(gòu)的倚天實例上

部署 Apache Flink

性能提升最高可達(dá) 83% ！

Apache Flink 是用于對有界和無界數(shù)據(jù)流進(jìn)行有狀態(tài)計算的框架。其核心是使用 Java 和 Scala 編寫的分布式流式數(shù)據(jù)流引擎。該測試同樣比較了 g8y 和 g7 之間的性能差異。

測試環(huán)境

測試使用了三個工作節(jié)點和一個主節(jié)點來運行 Flink 集群，并使用數(shù)據(jù)流基準(zhǔn)測試工具 Nexmark 進(jìn)行基準(zhǔn)測試。為確保測試的公正性，g8y 和 g7 云實例的 CPU核心數(shù)量和內(nèi)存大小、操作系統(tǒng)以及 Flink 軟件版本與配置均相同。

在進(jìn)行基準(zhǔn)測試時，總共有 21 個查詢測試連續(xù)運行。硬件和軟件配置如下所示：

測試結(jié)果

從測試結(jié)果可以看出：

對于吞吐量較高的查詢測試，g8y 的性能表現(xiàn)明顯優(yōu)于 g7。具體來說，g8y 在 q13 指標(biāo)上比 g7 高了 83%，在 q14 指標(biāo)上高了 76%。

對于吞吐量較低的查詢測試（包含一些測試誤差），g8y 的吞吐量水平與 g7 相當(dāng)。

在多數(shù)查詢測試中，g8y 的性能表現(xiàn)相較 g7 高出 30% 以上，同時在部分查詢測試中，g8y 的性能表現(xiàn)相較 g7 高出 70% 以上；在一個查詢測試中，g8y 的性能高出 83%。

圖：RPS：每秒記錄數(shù)

案例二

在云實例上部署 Elasticsearch

在基于 Arm 架構(gòu)的倚天實例上

部署 Elasticsearch

性能提升高達(dá) 36% ！

Elasticsearch 是功能強大的開源、分布式搜索和分析引擎，以其速度、可擴展性和靈活性而聞名。該引擎用途非常廣泛，包括全文搜索、日志記錄和日志分析、實時分析等，在云環(huán)境中也十分普及。http_logs track 是 Elasticsearch Rally 基準(zhǔn)測試工具中所使用的標(biāo)準(zhǔn)數(shù)據(jù)集和工作負(fù)載。它可以仿真典型網(wǎng)站服務(wù)器日志數(shù)據(jù)，非常適合在涉及日志數(shù)據(jù)提取和分析的場景中評估 Elasticsearch 性能。

此次測試是在 g8y 和 g7 兩種不同類型的阿里云 ECS 實例上運行了 Elasticsearch http_logs track 測試用例，并比較了兩者的差異。其中，g8y 搭載基于 Neoverse N2 的倚天 710 處理器；而 g7 則搭載第三代英特爾至強可擴展處理器。

測試環(huán)境

測試使用三個 xlarge 實例來運行 Elasticsearch 服務(wù)器，使用一個 4xlarge 實例運行 esrally 基準(zhǔn)測試。g8y 和 g7 云實例的虛擬 CPU (vCPU) 數(shù)量和內(nèi)存大小、操作系統(tǒng)以及 Elasticsearch/esrally 軟件版本與配置均相同。