[能源] 风电载荷计算解决方案
风电载荷计算解决方案
行业背景
随着能源危机和环境污染问题的日益严重,世界各国争相发展可再生新兴能源,我国长期规划明确支持“研究开发大型风力发电设备”,风电装备由此得到了迅猛发展。近年来,随着数字技术的蓬勃发展,未来数字技术必将和工业设备实现深度融合,推动企业的数字化转型和变革势在必行。通过大数据、云计算、物联网等新技术的应用,大大推动了产品的数字化设计和仿真。
抢装潮
根据目前风电标杆电价调整模式,如果2018年前核准项目在2019年底前仍未开工,将执行新的标杆电价政策,抢装有望加速。从行业需求来看,目前仍有超过70GW项目核准未建,预计还有接近40GW项目招标未建。因此,无论从核准还是招标未建项目来看,都足以支撑2019-2020年国内风电装机空间,预计2019年风电新增装机有望达30GW。
趋势
2018年,我国风电累计并网容量18426万千瓦,同比增长12.4%,占全部发电装机容量的9.7%;风电新增并网装机容量2059万千瓦,同比提升37%,继续保持稳步增长态势;
政策
2019年1月份,平价上网政策出台,将促动整个行业走向健康、可持续的发展,不仅能够吸引更多大基金进入风电行业,改变过去单纯依靠自有资金加上银行借贷的开发模式,而且释放了明确的信号,促进制造商向解决方案提供商、全生命周期的服务商转型,降低成本,以高技术和高发电量支撑产业的规模化和高效率的开发。
痛点
- 部分Bladed计算资源即将到期,需要补充资源缺口
- 计算资源缺乏弹性,有突发任务时需等待或插队,无法及时满足业务需求
- 执行大计算任务时无法按需扩展计算能力,需消耗较长的计算时间,影响业务进度
- 存储设备存在性能瓶颈,影响整体计算性能
- 存储设备容量有限,无法满足数据长期备份归档需求
- 服务器配置固化,无法根据任务的特点选择最佳配置
需求
风力机设计项目经常需要进行大量仿真计算,一组仿真计算耗费数千小时的计算机时。全新Bladed Cloud云计算服务为风力机设计师带来 Amazon Web Services无穷的虚拟计算资源用于优化设计工作。该按需使用的云平台意味着风力机设计师不再需要自备高性能计算机。用户只需在Bladed 中单击按钮将计算任务发送到云计算平台处理。这既节约了昂贵的IT 升级成本,又减少了风力机设计耗时。
以风机的设计校验仿真为例,通过本地机群进行风机的校验仿真,但这种方式不仅成本高效力还低。以现有的测试环境来看,1000个风文件在本地数据中心计算,则需要??(需要用户补充)分钟。而通过AWS EC2的弹性计算和并行计算的应用,则大大提高了效能,只需要几分钟就能够完。
总结:
- 需要高弹性的计算资源,按需分配无需等待,为业务提速
- 需要高性能且低成本的存储容量,满足业务数据存储备份归档的需求
- 需要丰富的计算和存储类型,为业务提供最佳的计算和存储方案
- 需要高度可定制化的环境,支持定制需求,提供卓越的使用体验
- 需要高度安全的计算环境,避免数据泄漏
使用场景
场景1:Bladed环境服务器资源已经被消耗完,任务紧急排队等待时间太长等不起(繁忙时有超过几千个任务在等待)
AWS 优势:AWS上提供充足的计算资源,有计算任务时可以随时启动新的服务器,只需等待3-5分钟操作系统启动时间即可使用,既不需要长时间等待,也不会影响他人的计算;
场景2:Bladed集群计算存在存储性能的问题
AWS 优势:AWS上可以优化存储架构和性能,避免IO风暴带来的集群性能下降影响,数据统一汇总如场景四,提供成本优化和数据持久性保障;
场景3:使用其他调度软件,有时候会出现漏算的情况
AWS 优势:采用Bladed的batch调度方式,通过AWS上面充足的资源供给可以规避出现漏算的情况。
场景 4: 工程计算结果很有价值,想长期保留但是空间不够,数据持久性低
AWS 优势: AWS上提供高可靠低成本不限容量的存储空间,可以满足数据长期保存备份归档的需要; 根据实际数据量计费,无须提前申请空间,提供数据生命周期管理策略,降低存储使用成本; 提供多副本数据保存,数据持久性为99.999999999%;
系统架构
组件:
Amazon FSx for Windows File Server:
Amazon FSx for Windows File Server 提供了完全托管、高度可靠且可扩展的文件存储,可通过行业标准的 SMB 协议进行访问。它在 Windows Server 上构建,提供了用户配额、用户文件备份和恢复,以及 Microsoft Active Directory (AD) 集成等众多管理功能。
Amazon FSx for Windows File Server 提供单可用区和多可用区部署选项、完全托管的备份功能,支持数据加密。您可以针对工作负载选择使用 SSD 和 HDD 存储选项需求优化成本和性能,并且可以随时扩展存储和更改文件系统的吞吐量性能。您可通过部署在 AWS 上的 Windows、Linux 和 MacOS 计算实例或本地机房运行的设备访问 Amazon FSx 文件存储。
业务流程:
- 上传载荷文件到头结点;
- 使用CloudFormation 根据工况数量,自动创建计算节点集群
- 使用AWS定制开发的工具自动实现计算节点的批量注册
- 通过Bladed自带的调度功能分发任务;
- 各节点计算过程中产生的文件本地存储,计算完成后再将结果文件自动上传到Amazon FSx for Windows File Server.
- 自动关闭计算集群,节省成本
- 在本地通过DCV连接到头节点下载计算结果文件,检查计算结果.
方案优点
载荷计算是以Bladed为核心的复杂系统,在进行载荷计算的所需要的计算力。在本地数据中心由于运算能力的限制,往往不能及时的响应载荷计算的要求。
DNV-GL 官方网站推荐使用AWS
在DNV-GL的官方网站上推荐使用AWS (https://www.dnvgl.com/cn/news/page-77122),增强版Bladed 软件现可利用Amazon Web Services的云计算资源,不但可以节省昂贵的IT 基础架构升级成本,还可以减少设计耗时。新版软件能以360 度视角全方位观察风力机在仿真工况中的结构性能结果。
使用习惯无需改变
在2019年9月,我们已经同AWS的技术团队进行过PoC的测试。我们使用的DNV-GL 单机版Bladed是4.3版本。首先进行了兼容性测试,由于要在云端进行测试,所以使用的版本是GNV-DL云端集群版本4.8,测试完成后的结果显示,云端运行环境及结果完全兼容Bladed 4.3 版本。现有使用习惯无需改变。
基于 Windows Server 构建而成
Amazon FSx for Windows File Server是构建在 Windows Server 的完全托管文件存储服务,提供了丰富的管理功能,其中包括最终用户文件恢复、用户配额和访问控制列表 (ACL)等。基于 Windows Server 对 SMB 协议的源生支持,Amazon FSx for Windows File Server 与 Windows 应用程序完全兼容。Linux 和 MacOS 操作系统也可以通过 SMB 协议访问 Amazon FSx for Windows File Server 共享文件存储。
简单且完全托管
您不再需要花费时间和精力设置和管理文件服务器,存储卷、复制数据、安装软件更新和补丁、管理故障转移和故障恢复以及手动执行备份等工作。您可以通过 AWS 管理控制台、AWS CLI 或 AWS 开发工具包在几分钟之内轻松地创建单个可用区或跨多个可用区的完全托管共享文件系统。Amazon FSx for Windows File Server 还提供自动持久性备份服务。
云上低成本的 SMB 文件存储
使用 Amazon FSx for Windows File Server,您可以获得高可用、持久性的文件存储,根据业务需求的不同,可以选择 HDD 或者 SSD 存储介质。同时借助于数据去重功能,您可以通过冗余数据消重技术来进一步优化成本。您可以随时提高文件系统存储和扩展吞吐容量,从而轻松应对不断变化的业务需求,没有预置成本或许可证费用。
高性能和灵活部署
Amazon FSx for Windows File Server 提供多种存储选项,让您可以选择适合您的文件系统的吞吐量水平并可以随时对它进行更改。通过使用 DFS Namespaces,您可以扩展至每秒数十 GB 的带宽、百万级 IOPS 以及数百 PB 数据的处理性能。
安全与合规
Amazon FSx for Windows File Server 可提供多级别的安全和合规来确保您的数据安全。支持数据加密,符合 ISO、PCI-DSS、SOC 认证,以及 HIPAA 标准。通过 AWS CloudTrail 日志您可以追踪到用户在文件系统中中所采取的所有操作记录。为了控制用户访问,Amazon FSx for Windows File Server可以与您的本地 Microsoft Active Directory (AD) 或者 AWS Microsoft Managed AD 集成。
多操作系统支持
通过标准的SMB协议,Amazon FSx for Windows File Server可为Amazon EC2、VMware Cloud on AWS、Amazon WorkSpaces 和 Amazon AppStream 2.0 实例提供共享文件存储服务。Amazon FSx for Windows File Server 支持所有的 Windows 版本包括 Windows Server 2008 和 Windows 7,以及当前的 Linux 和 MacOS 版本。客户本地机房的设备也可以通过 AWS Direct Connect 或 AWS VPN 等服务访问 Amazon FSx for Windows File Server。
方案使用
- 上传计算任务
- 开始计算
- 查看计算结果
- 计算核数
性能比较
本地服务器
1.为共享集群,不同的作业任务之间资源 争用可导致任务排队; 测试中部分 job在任务提交后4个多小时 才进入计算状态;
2.服务器配置及数量是固定的,无法根据应用需要灵活选择最适合的机型 /配置,机器型号为高配,不是针对bladed软件的最佳配置;
3.现有任务处理方式加剧了存储资源争用 情况,共享存储( GPFS)性能瓶颈进一 步导致整体性能不足;
AWS 云上资源
AWS 平台上可为每个任务灵活、快速的 创建专用集群,任务无需排队、可并行处 理,按需使用,按量付费。
AWS 提供一百余种EC2计算实例型号,可 按需提供最优机型和数量; 本次配置的 2CPU / 8G内存的计算节点能 提供优化的 Bladed集群性能; 通过优化任务存储处理方式解决共享存储 写入问题,同时可提供EBS,FSx等服务满足高性能存储需求,提供自动化备份归档方案。
方案优点
DNVGL Bladed 官方宣传支持 AWS
https://www.dnvgl.com/cn/news/page-77122
增强版 Bladed 软件现可利用 Amazon Web Services的云计算资源,不但可以节省昂贵的 IT 基础架构升级成本,还可以减少设计耗时。新版软件能以 360 度视角全方位观察风力机在仿真工况中的结构性能结果。
在风力发电机组的各个设计阶段,优化设计都是重中之重。如果不能正确地对载荷、恶劣环境和结构完整性进行建模,或不能执行准确试验,都可能会极大地危害机组长期的安全性、功能性和盈利能力。因此,风力机设计分析软件的改进可以让我们以更低的建模成本和更短的工期设计出更好的风力机。
DNV GL 的 Bladed 风力发电机组仿真软件早已是风力机设计的首选建模工具,全球大型风力机制造商约有半数采用该软件。如今该软件经过一次大改版,进一步提高了功能和用户体验。Bladed 4.8 的新功能包括 Bladed Cloud云计算、Multipart Blade叶片分段计算技术和 Result Animation结果动画演示。本次新版历经 18 个月的开发改进,具有业界领先的技术特性,从而能服务于制造商的下一代风力机开发计划,同时可降低成本和设计周期。
风力机设计项目经常需要进行大量仿真计算,一组仿真计算耗费数千小时的计算机时。全新Bladed Cloud云计算服务为风力机设计师带来 Amazon Web Services无穷的虚拟计算资源用于优化设计工作。该按需使用的云平台意味着风力机设计师不再需要自备高性能计算机。用户只需在 Bladed 中单击按钮将计算任务发送到云计算平台处理。这既节约了昂贵的 IT 升级成本,又减少了风力机设计耗时。
风力机叶片的精准数值建模对设计工作至关重要。数值建模精确度的不确定性会导致有可能在风力机装机运转后才发现设计缺陷的技术风险。全新的 Multipart Blade 非线性结构模型可降低叶片振动预测计算的不确定性。该新特性加强了 Bladed 对风力机性能建模的能力,为大型风力机建模带来更高的精准度,从而降低了设计的不确定性和技术风险。
在 Bladed 全新的三维动画图形界面中用户可“转动”三维模型并从任何角度观察结构的运动从而查看风力机性能仿真结果。Bladed 的 Result Animation 结果动画演示功能可以让用户更深入了解仿真工况中风力机的性能。
DNV GL 能源部 Bladed 产品经理 Patrick Rainey 说:“本次新版是 Bladed 软件的重要提升,可以帮助制造商规避风险和不确定性,同时加速设计建模工作并降低成本。设计阶段的风力机建模极其重要。如果设计没有经过准确试验而未能预测到失效模式,那么将设计应用在实际运营中可能会遇到严重质量问题,从而使制造商的声誉、收入双双受损,并且需要耗费时间解决问题。
Bladed 是风力机设计领域最具技术实力和最完善的工程软件。Bladed 开发历史长达 30 余年,在风力机技术设计方面一路领先,并将继续帮助全球风力机制造商开发新机型设计。”
有关 Bladed 的更多信息,请访问:www.dnvgl.com/bladed
安全性及保密性
计算结果的自动备份和归档
Gartner 表示,“首席信息官(CIO) 和首席信息安全官(CISO) 无需因无事实根据的云安全隐患而感到困扰,取而代之的应该是发挥想象和能量去开发新的云控制方式,以便让他们安全地、合规地且可靠地利用这些无处不在的计算模式优势。
为什么说云比本地数据中心更加安全
安全对于AWS而言,是一切业务的基础。AWS负责管理底层基础设施,而客户则负责部署于AWS之上各项应用的安全保障。所有AWS客户都能够从现有数据中心以及网络架构当中受益。同时,AWS提供了多种安全专用产品与功能,其中涵盖网络安全、配置管理、访问控制以及数据加密等多个范畴。从而满足最为严苛的安全敏感性组织的要求。 AWS环境还提供持续性审计机制,且面向多个地域及垂直行业获得了安全认证。在AWS环境下,大家能够充分发挥自动化工具优势。将AWS多种经过实践验证的可靠、自动化工具与运营流程结合,以此实现自动化审计控制。这套云环境极大简化了管理员需要承担的系统管理及IT运营任务,并意味着客户的AWS环境将更易于进行审计样本测试。
-
首先公有云的厂商的资质合规方面已经遵守了严格的法规标准,因为法规要求越高,安全性解决方案越好。
-
云提供了更多的安全工具,例如 身份管理,检测性控制,基础架构安全,数据包含及事件响应。 3.第三方认证 AWS提供针对客户设计的IT基础设施,其中囊括各类最佳安全实践以及一系列IT安全标准。AWS还提供多种与其IT控制环境相关的信息,并以白皮书、报告、证书、客户审查以及其它多种第三方机制帮助客户对此加以运用。以下几项为AWS在全球所遵循的部分认证与标准:
- SOC 1/ISAE 3402, SOC 2, SOC 3
- FISMA,DIACAP以及FedRAMP
- PCI DSS Level 1
- ISO 9001, ISO 27001, ISO 27018
- MLPS L3
4.云已经将安全引入一切层面:相较本地数据中仅在基础设施边界处运行安全设备(例如防火墙),而在云端的资源(虚拟服务器、负载均衡器 以及网络子网),都已配备防火墙及网络访问控制列表等措施实现了安全控制。在AWS 当中,您可以实现有状态及无状态数据包检测,具体利用AWS 原生技 术或者AWS Marketplace 提供的第三方合作伙伴产品及服务实现。您亦可利用Amazon 虚拟私有云(Amazon Virtual Private Cloud,简称VPC)创建起一套私有、 安全且具备可扩展能力的环境。您可以在其中定义您的拓扑结构——包括网关、 路由表以及公开与/或私有子网。 5.自动化机制:基于软件的安全机制能够改善您以安全、快速且具备成本效益的方式实现规模扩展的能力。建立并保有一套经过修复补 丁安装及镜像强化的虚拟服务器,而后在您启动的各套新服务器上自动 使用此镜像。另外,建立一套完整的可信架构,并通过版本控制机制利 用模板对其进行定义及管理。最后,以自动化方式响应例行与异常安全 活动。 6.操作的可追溯性:对于云端环境环境当中的一切操作与变更都会被记录。 7.物理与环境安全:AWS的数据中心拥有最为先进的规划与设计,其采用创新型的建造与工程实现方法。AWS在建造及运营大型数据中心领域拥有多年经验,而这一经验已经在Amazon平台与基础设施当中得到全面应用。AWS数据中心皆位于保密位置,且由专业保安人员与建筑入口处的视频监控装置、入侵检测系统及其它电子设备严格控制物理访问。授权人员必须经过至少两次双因素验证方可进入数据中心。另外,所有访客与承包商都需要出示身份证,签署责任协议并由经过授权的工作人员全程陪同。
参考案例
金风科技
成立于1998年的金风科技作为风电行业的领军者,成立至今已经实现全球风电装机容量超过44GW,超过28000台风电机组在全球6大洲、近20个国家稳定运行。
金风科技通过大数据、云计算、物联网等新技术的应用,大大推动了产品的数字化设计和仿真;与此同时,金风科技也在积极去中心化、打破信息孤岛,更好地推动企业内部管理的数字化,为企业整体的数字化转型赋能。目前,金风科技建立起的一整套完整的数字化风电厂解决方案,已经涵盖了从风电厂的规划设计到工程建设再到后期运营的全生命周期,其中有许多的数字化产品和解决方案都是建立在AWS云原生的开发模式之上。
以风机的设计校验仿真为例,以往金风科技是通过本地机群进行风机的校验仿真,但这种方式不仅成本高效力还低,而通过AWS EC2的弹性计算和并行计算的应用,则大大提高了效能,只需要几分钟就能够完成对仿真数据的统计,成本也降到了原来的60%。
金风科技已使用AWS的服务有:存储服务(S3,EBS),计算服务(EC2,ECS, Spot Instance, Lambda),数据分析服务(EMR),数据库服务(RDS,DynamoDB),网络服务(VPC,ELB,DirectConnect)及其他服务。
金风科技之所以与AWS达成合作,主要原因有以下三点:
- 1、AWS相比较其他的高科技企业,技术更加领先;
- 2、AWS有非常完整的生态,包括咨询和技术等多个层面的合作伙伴,能够支撑企业做进一步的开发;
- 3、AWS是一家专注于做云、做平台的中立云计算企业,不会涉足到某些垂直行业,这也让我们更加放心的进行深入合作。
远景能源
2012年远景能源开始创建智慧能源云平台的时候,在希望能找到一个服务提供商能够满足其中国总部的管理需求,又能满足其在各个海外市场开展业务而带来的具体业务需求。当时,在中国市场,缺乏具备丰富经验和完备技术的云服务提供商,难以满足远景能源实现智慧能源云平台要求的高可靠性与高业务弹性。而在海外市场,远景能源缺少对IDC运营商的了解和运作经验。另一方面,远景能源还在成本控制方面有着较高的要求,同时还对云平台服务提供商的灵活性、便利性与性价比提出了非常高的要求。
远景能源在进行评估的时候主要考虑的因素包括:平台的可靠性和安全性、业务覆盖范围(针对远景可能需要的服务范围)、成本因素,服务质量以及综合的企业口碑、信誉等。从业务角度,公司考虑最为重要的因素是成本和可靠性/安全性;而从技术的角度,公司认为最关键的是全面的服务内容和高质量的支持服务。
通过严格和科学的考量,远景能源决定采用AWS所提供的服务,主要包括Amazon Elastic Compute Cloud (EC2) 、Amazon Virtual Private Cloud (VPC)、Amazon Elastic Mapreduce (EMR)、Amazon Relational Database Service (RDS)、Amazon Simple Storage Service (S3)、Amazon Glacier、Amazon Simple Notification Service (SNS)