博客随着COVID-19病毒的不断传播，医疗集团和各类公司都面临着在不断增长的需求面前提供医疗服务的压力。健康数据是您了解数据如何帮助组织解决危机的窗口。随着COVID-19病毒的迅速传播，世界各地的数据管理人员正在汇集各种各样的全球数据源，向各国政府、私营部门和公众通报这一疾病传播的最新情况。在本文中，我们将讨论如何访问这些数据、一个用于数据处理的示例环境和设置、Python代码的示例行，以展示使用Pandas进行数据转换的简单性，以及这个简单的体系结构如何使您能够自己从这些数据中获得新的见解。让我们开始吧。可靠数据的重要性和影响这种规模的可靠数据有助于促进世界各地工作场所和社区的负责任决策，包括围绕国际旅行采取立法行动、提供紧急医疗资源、支持金融市场、支持小企业主和业主，以及对感染者的药物和治疗家庭和家庭也在利用这些数据来准备日常生活中因病毒而发生的细微变化，无论是获得收入、购买日用品和必需品、与孩子玩耍、邀请邻居来烧烤或遛狗妥善准备数据的重要性对于我们缓解和遏制病毒传播的努力的成功至关重要，而在这一层面上分享信息的影响确实具有变革性。但这种全球聚合的数据并不仅仅是单独出现的，可靠的数据源需要首先被发现、检索、解析和聚合在一起，然后才能分布到世界各地。到目前为止，我们还没有准备好在这么短的时间内做好准备。冠状病毒相关数据的具体挑战对于实时发生的全球事件，获取可靠的传染数据源并不容易发现。包含公共卫生问题或疾病爆发数据的主要存储库可以通过API访问。通常，数据在生成后需要如此迅速地与公众进行通信，以便首先通过更易访问的方法提供数据，风控大数据，然后通过API进行编程访问，以便将来进行历史分析。这些方法（PDF或HTML表）在大量示例中正确地、一致地解析和抓取是非常耗时的，但这还不足以阻止开发人员社区开始工作。从那时起，约翰霍普金斯大学下属的一个研究小组一直在通过编程方法检索这些组织网站上发布的PDF文件，并将其内容解析为存储在GitHub公共存储库中的CSV文件。这个存储库已经被星号化了1.5万次，分叉了7千多次。它正被用作世界各地工程师的源数据，以将其输入到他们的数据管道中。在提供一个全球有用的数据集时，他们连接了来自世界各地的14个数据源，并将这些数据源聚合到自己的数据模型中。并非所有这些数据源都应以同样的方式对待，它们各自都有特定的需要。一些数据源包括已确认的案例，而另一些则包含假定案例。一些数据源是Excel电子表格或HTML表格，而其他则是谷歌地图上的定位针。有些语言和英语完全不同JHU的团队为我们完成了大量棘手的标准化工作，但他们仍然每天都面临着适应新形状、新尺寸的挑战，在下一节中，我们将提供访问这些数据的链接，并使用Python和Pandas执行一些数据清理和规范化操作！如何设置自己的数据环境来分析COVID-19数据数据存取数据访问由约翰霍普金斯大学提供。他们已经建立了一个管道，接收来自世界卫生组织的全球形势报告，将来自韩国、中国和台湾的数据翻译成英语，并且可以访问10多个其他的全球资源，这些资源的检索工作似乎相当耗费人力（大量的网络抓取）虽然已经对该数据集进行了一些清理和规范化工作，例如将所有时间戳转换为UTC时区，并解决了与更新频率相关的一些不一致问题，但我们仍然有很多机会深入研究并集中精力进行清理和规范化活动，以发掘真正的见解。#数据发布者ScopeSourceFormatUpdate CycleLocationJohns Hopkins University*USAGitHubJSOND网址：github.com/CSSEGISandData/COVID-19*约翰·霍普金斯大学正在积极分析世卫组织的每日情况报告，并将其整合到其数据模型中，供开放源码社区访问数据基础设施下面是一个简单的、基于云的架构，适合快速部署数据管道，在为本文创建的环境中，一个虚拟私有云（VPC）包含一个Linux EC2实例，一个PostgreSQL数据库，在Amazon Web服务上启动了一个internet网关，然后连接到一个外部的BI仪表板工具。pipeline manager托管一个Python安装和Apache Airflow任务调度器（由Airbnb开发）来操作数据管道。在简单配置后，轻云，Airflow启动并运行，并自行执行Python脚本，每次源数据更新时都将数据写入数据库同时，internet网关允许外部BI工具使用可信连接连接连接到数据，以便可以直观地浏览数据，并生成报告，以便与其他人进行信息通信。这不需要下载数据的本地副本。这种架构允许数据库和下游报告中的数据自动保持最新。使用Python和Pandas处理和清理数据，写入SQL数据库最后，我们将通过几个简单的例子来说明在Python中执行的数据清理和规范化，这些可以用于这个数据集，以便插入到SQL表中并查询有价值的见解。这里的目标是将数据源格式化为一个通用结构，以便进行有效的批量处理1合并来自多个.csv文件的数据并删除可能存在的重复项。将熊猫作为pd导入导入操作系统df=pd数据帧()对于文件中的文件名：filepath=f'csse_covid_19_daily_reports/{filename}'open（filepath）为f:da=pd.read_csv文件（六）df=数据框追加（da，ignore_index=True，sort=False）数据删除重复项（就地=正确）2用空字符串填充空值，以防止从后续的表转换中删除行。df['Province/State'].fillna（''，inplace=True）df['Country/Region'].fillna（''，inplace=True）三。按降序排列日期，最近的日期在顶部。df.sort_值（['Last Update']，升序=False，inplace=True）4将日期时间转换为日期，并准备对每个日期中的最新记录进行分组和检索。df['Last Update'].应用（lambda x:pd.to_日期时间（x） .strftime（"%Y-%m-%d"））5分组和聚合以检索每天的最新报告。数据框groupby（["国家/地区"，"省/州"，"上次更新"]）\.聚合({'省/州'：'第一'，'国家/地区'：'第一'，物联网断路器，'Confirmed'：'first'，"死亡"："第一个"，"已恢复"："第一个"，'纬度'：'第一'，'经度'：'第一'}）6将浮点十进制字段转换为"int"类型对于["已确认"、"死亡"、"已恢复"中的col：df[col]=df[col].astype（int）7将数据写入SQL数据库。数据框重置索引（就地=正确）数据框到sql（'cssc_daily_reports'，con=connection，index=False，if\u exists='replace'）8连接到SQL数据库并可视化新写入的数据。在这张图中，我们可以看到，中国的病例在3-4周后基本持平，而其他国家的病例增长仍在继续截至2020年4月10日在这张图中，数据挖掘和大数据，我们可以看到美国、德国、意大利和西班牙每天新病例的差异截至2020年4月10日用数据灭火当我们继续面临如此规模的全球挑战时，大数据精准，无论是冠状病毒还是另一种阻止危机的文明，不应低估跨国家和州际数据协作的重要性。不仅因为数据能赢得争论，而且因为好的数据能将谈话转化为共识和行动。Govind Rajagopalan是Sisense的高级工程经理。他在不同公司、领域、团队和技术领域拥有超过15年的工程和管理经验。他很乐意教书，帮助队友茁壮成长，并乐于改进自己的技艺。标签：coronavirus | COVID-19 |数据准备|数据可视化| Python | SQL