Azure 解决方案:Azcopy和CRON使用场景

51CTO 博客地址:https://blog.51cto.com/14669127

客户需求:作为Azure admin,你正在review如下的Azure体系结构:

image.png

估算的体系结构每月成本显示在如下的成本表中:
image.png

日志文件是由用户活动生成到Apache Web服务器的,日志文件格式一致,每天大约产生1GB的日志,Microsoft Power BI用于显示每周的用户活动报告,你需要提供一个解决方案,以在维护结构功能的同时最小化成本。

解决方案解析:

Azure Data Factory可以使用数据流活动来转换Azure Blob存储中的数据,而Azcopy是一个命令行工具,可以借助该工具,使用简单的命令将数据复制到Azure Blob StorageAzure文件或者从其中复制出数据,这些命令旨在实现最佳性能,同时使用Azcopy可以在文件系统和存储账户之间或者在存储中户之间复制数据,Azcopy可以用来将数据从本地复制到存储账户。

如果定期执行数据复制,那么需要创建一个复制的计划任务,比如创建用于运行Azcopy的命令脚本的计划任务或者Cron作业,用来标识新的本地数据,并按特定时间间隔将其上传到云存储中。

所以为了维护结构功能的同时最小化成本,可以在现有的架构上使用Azcopy+CRON计划作业的方式取代Azure Data Factory

相关资料说明:

·       Synchronize with Azure Blob Storage by using Azcopy

·       Configure, Optimize and troubleshoot Azcopy

·       Copy and transform data in Azure Blob storage by using Azure Data Factory


猜你喜欢

转载自blog.51cto.com/14669127/2679014