当前,我国数字经济发展驶入快车道,网络空间成为国家除陆、海、空、天之外的第五疆域,重要性愈加凸显。过去的网络安全管理侧重被动防御,防御效果有限,随着网络安全风险技术的迭代升级,各企业单位纷纷要求提前预判预处置网络流量,从而更好地解决网络安...
当前,我国数字经济发展驶入快车道,网络空间成为国家除陆、海、空、天之外的“第五疆域”,重要性愈加凸显。过去的网络安全管理侧重被动防御,防御效果有限,随着网络安全风险技术的迭代升级,各企业单位纷纷要求提前预判预处置网络流量,从而更好地解决网络安全隐患,有效保障企业信息系统的安全稳定运行。
恒安嘉新(北京)科技股份公司始终专注于通信网和互联网数据治理和安全防护,为政企用户提供“云—网—边—端—用—数—智—安”综合解决方案,有力保障网络安全。自2020年起,恒安嘉新就与鲲鹏建立了良好的生态合作关系,基于鲲鹏软硬件平台开展持续深度合作,为客户提供领先的应用与解决方案,目前公司已有50+产品完成鲲鹏Compatible认证;2024年年初,恒安嘉新又与鲲鹏签署了《恒安嘉新&鲲鹏原生应用开发合作协议》,宣布安全采集分析平台及安全数据中台系统软件(EverDC)将进行鲲鹏原生开发,基于鲲鹏DevKit+、鲲鹏BoostKit、 openEuler操作系统和鲲鹏硬件,实现1套代码+1条流水线->多平台版本,鲲鹏版本持续且首发性能领先,目前两款软件均已完成开发,并获得鲲鹏原生技术认证(Kunpeng NATIVE)。
恒安嘉新自主研发的安全采集分析平台
恒安嘉新的安全采集分析平台采用实时捕获恶意流量、集中分析研判的系统架构,通过沙箱研判及基于机器学习引擎进行二次数据对比分析,实现公共互联网中移动恶意程序的监测发现、样本还原、研判分析、处置防护等功能,解决移动核心网络上多种类别的恶意程序传播问题,消除网络安全隐患,降低网络安全风险。
随着以“大流量”、“大连接”为特征的新一代通信技术的不断发展和大规模应用,用户对于流量监测产品提出了新诉求:
01大流量
应用的多样化导致网络数据激增,为了满足流量采集、传输、存储、分析的需求,单台设备吞吐量需至少满足100Gbps;
02高实时
未来的流量单位都是TBPS,为了提高响应速度,并发连接数不少于5000万,新建连接不低于每秒160万;
03高准确率
为了避免对问题的反复检测和优化,问题处置成功率需至少满足90%以上。
恒安嘉新安全采集分析平台方案
实现上述目标,恒安嘉新选择基于鲲鹏软硬件平台打造安全采集分析平台一体机解决方案,结合鲲鹏天然的多核高并发、高安全等优势进一步增强稳定性和可用性,同时,通过结合鲲鹏开发套件DevKit,提升开发效率,优化流量分析处理专项指标。
流水线改造:现有CICD流水线中接入鲲鹏DevKit能力,1套代码出多平台版本
我们将鲲鹏DevKit迁移扫描、性能分析等能力以命令行方式接入现有的Gitlab流水线中,在门禁阶段可以直接使用DevKit迁移扫描工具快速的提示不兼容代码和软件包,确保代码在多样性的算力平台上兼容;自动化测试阶段,使用鲲鹏DevKit提供的测试框架和样例来提高我们的效率和软件质量。
流水线改造完成后,我们可以只开发一套代码,有架构差异的代码使用宏定义隔离,每天快速在门禁阶段检查代码兼容性,并在不同平台上构建出不同的版本,效率更高。
远程编译:鲲鹏DevKit一键完成本地到远程服务器的代码同步以及编译工作
在开发过程中,原桌面设备无法直接运行为鲲鹏平台的构建的应用程序,因此在开发过程中,免不了在本地编辑代码,然后上传到远程的鲲鹏服务器上再进行编译调试等工作。在开发阶段,频繁的修改代码,需要不断的跟远程服务器同步代码,带来了不少的额外工作量,降低了开发效率。使用鲲鹏DevKit提供的编译功能,可以一键完成本地代码到远程服务器的代码同步以及编译构建过程,使得开发鲲鹏平台的软件体验和开发桌面软件体验接近,降低了技术人员上手门槛。
远程图形化调试:通过鲲鹏DevKit 调试功能,实现远程图形化调试,大大提升开发调试效率
Linux服务器一般不提供GUI界面,因此编译和调试只能基于命令行,这也大大降低了开发的效率。鲲鹏DevKit编译调试功能,可实现远程图形化的调试,大大方便了开发人员。快速完成远程编译,远程图形化的调试等工作,整体开发效率提升20%。
通过鲲鹏DevKit通用计算SDK快速创建鲲鹏KAE加速工程
性能优化:最大化发挥鲲鹏硬件的全部算力,提升整体性能
此外,为了最大化发挥硬件的全部算力,提升总的流量处理吞吐能力,技术人员使用了鲲鹏DevKit的调优助手和系统性能分析工具进行了相关调优:通过系统配置全景功能配合PCIe拓扑图功能,帮助技术人员快速将硬件拓扑、BIOS、系统层面等调至最优状态。同时,通过CPU微架构分析帮助技术人员在CPU密集的代码中快速锁定性能瓶颈点,定点突破。综合上述手段使得鲲鹏平台对比原平台,总体业务性能提升39%。
鲲鹏DevKit调优助手 - 系统配置全景功能
当前,恒安嘉新安全采集分析平台一体机解决方案已广泛应用于移动互联网、城域网、数据中心、交换中心、直联点等核心网络节点。
恒安嘉新安全数据中台系统软件(EverDC)
EverDC是一款数据治理与分析建模平台,帮助客户快速建立灵活、高效、 开放的数据分析方案,挖掘数据价值。
EverDC支持多种类型数据源,只要几秒钟就能连接上数据并完成过数据模型(或称为业务主题)的建立。通过自主研发的数据可视化建模,用户无需编写繁琐的代码,只用简单地拖曳, 就能轻松地创建数据模型制作图表,灵活地进行多维分析,便捷地分享分析结果。
原生开发过程中,通过鲲鹏DevKit提供的测试工具以及鲲鹏BoostKit应用加速能力,大幅提升了测试效率和软件性能。
在流水线中高效测试:通过鲲鹏DevKit提供的测试框架、样例,对应用程序的可靠性测试,监控启动后对内存,cpu,网络的波动。
鲲鹏BoostKit性能优化:大数据OmniRuntime通过插件化的形式,端到端提升数据加载、数据计算和数据交换的性能,从而提升大数据分析性能。
大数据引擎多采用Java/Scala算子,无法充分发挥CPU的能力。同时,对于异构算力,也不适用或无法发挥硬件的计算性能优势。OmniOperator特性使用Native Code充分发挥硬件计算性能优势,尤其是异构算力的计算能力。OmniOperator特性提供固定接口供用户分布式任务调用。支持用户将SQL任务提交给Spark集群,集群管理节点进行任务分配,分发多个子任务到对应的多个计算节点执行。
OmniAdvisor基于AI算法训练Spark/Hive引擎最优配置参数,提升Spark/Hive引擎运行效率。大数据引擎Spark和Hive有上百个配置参数,这些参数取值空间大、部分配置参数间相互耦合且不同的参数组合对性能有显著的影响,导致Spark和Hive的参数调优成为了一个困难的课题。传统的通过手动调优的参数调优方式,在高维空间下的调优效率较低,且很难通过人工方式获取到最优的一组配置参数。
目前基于鲲鹏技术认证的多项解决方案已经在运营商恶意程序系统、新型交换中心等多个项目中得到充分应用,帮助用户在大流量、高并发场景下完成网络流量的安全监测,有效降低运维成本和复杂度,加速实现数字化转型,截止2023年底已累计完成出货超过1000台。同时方案也荣获“2023网信自主创新尖峰榜”优秀产品奖、“2023鲲鹏应用创新大赛—(企业赛)鲲鹏一体机解决方案创新赛道(运营商)”全国银奖等多个荣誉奖项。作为鲲鹏计算产业生态重要伙伴,恒安嘉新已与北京鲲鹏联合创新中心建立长期合作关系,未来将联合鲲鹏持续开发创新,加强与上下游的生态合作,为推动技术创新、促进政企客户数字化转型升级贡献一份力量,服务行业转型升级。