将社交媒体数据导入Azure SQL数据仓库的架构

本文介绍了将社交媒体数据导入Azure SQL数据仓库的架构的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述

大家好

我是第一次使用Azure SQL数据仓库。

Im working with Azure SQL Data Warehouse for the first time.

我想将一些社交媒体数据从facebook，twitter，linkedin，instagram导入Azure数据仓库。

I want to import some social media data from facebook, twitter, linkedin, instagram into a Azure Data Warehouse.

最好的方式是什么？去做这个？我需要哪些工具和架构？有没有办法连接来自twitter，facebook，...的API？

what would be the best way to do this? which tools and architectures do I need? Is there a way to connect with APIs from twitter, facebook,..?

我阅读了很多文档，但仍然不知道如何继续。

I read many documentations but still doesnt know how to proceed.

非常感谢你的帮助！

推荐答案

嗨汤姆，

您是否需要以Azure SQL数据仓库为基础？根据您对数据的处理方式，您有三种选择：

Are you needing to base this on Azure SQL Data Warehouse? There are really three options available to you based upon what you want to do with the data:

Azure数据资源管理器： Azure数据资源管理器流程

Azure Data Explorer提供了一种通过多个提取点以更直接的方式提取数据的方法。

Azure Data Explorer provides a means to ingest data via multiple ingestion points and in a more direct manner.

Azure Cosmos DB Gremlin API ： Azure Cosmos DB简介：Gremlin API

Gremlin API比传统的SQL数据库更自然地显示人，地点和事物之间的关系。

The Gremlin API shows relationships between people, places, and things more naturally than a traditional SQL database.

Azure SQL数据仓库： 将数据加载到Azure SQL数据仓库中更容易

进入数据仓库路线需要一个加载策略来拉入和分级数据，然后运行数据加载。

Going the Data Warehouse route will require a loading strategy to pull-in and stage the data and then run data loads.

Azure数据资源管理器路由将使用Azure事件中心流入数据入站，具有最无缝和自动的数据加载：

The Azure Data Explorer route will have the most seamless and automated data load with regard to using Azure Event Hubs to stream the data inbound:

Azure事件中心

"Azure事件中心是一个很大的事件数据流平台和事件提取服务，能够每秒接收和处理数百万个事件。事件中心可以处理和存储由分布式软件和设备生成的事件，数据或遥测。 发送到事件中心的数据可以使用任何实时分析提供程序或批处理/存储适配器进行转换和存储。 Apache Kafka的事件中心使本机Kafka客户端，工具和应用程序（如Mirror Maker，Apache Flink和Akka Streams ）能够与仅使用配置更改的事件中心无缝协作。"

"Azure Event Hubs is a Big Data streaming platform and event ingestion service, capable of receiving and processing millions of events per second. Event Hubs can process and store events, data, or telemetry produced by distributed software and devices. Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters. Event Hubs for Apache Kafka enables native Kafka clients, tools, and applications such as Mirror Maker, Apache Flink, and Akka Streams to work seamlessly with Event Hubs with only configuration changes."

我希望这些信息有用，

问候，

Mike