Ssis создание пакетов: Службы SSIS: создание пакета ETL — SQL Server Integration Services (SSIS)

Службы SSIS: создание пакета ETL — SQL Server Integration Services (SSIS)

Twitter




LinkedIn




Facebook




Адрес электронной почты

• 
  Статья




• 
  05/23/2023
• 
  

Применимо к: SQL Server Integration Runtime служб SSIS в Фабрика данных Azure

Из этого руководства вы узнаете, как использовать конструктор Integration Services для создания пакета служб Microsoft SQL Server Службы Integration Services. Этот пакет получает данные из неструктурированного файла, преобразует их, а затем вставляет преобразованные данные в таблицу фактов. На следующих занятиях пакет будет расширен, чтобы продемонстрировать циклическую обработку, конфигурацию пакетов, ведение журнала и поток ошибок.

При установке примера данных, используемых в этом учебнике, также устанавливаются полные версии пакетов, которые вы создаете на занятиях. Используя завершенные пакеты, пользователь может при желании пропустить начало учебника и приступить к работе с более позднего занятия. Если вы впервые работаете с пакетами или новой средой разработки, мы рекомендуем начать с занятия 1.

Что представляют собой службы SQL Server Integration Services (SSIS)?

Microsoft SQL Server Integration Services (SSIS) — это платформа для создания высокопроизводительных решений интеграции данных, включая пакеты извлечения, преобразования и загрузки (ETL) для хранения данных. Службы SSIS содержат графические инструменты и мастера для построения и отладки пакетов; задачи для выполнения функций рабочего процесса, таких как операции FTP, выполнение инструкций SQL и отправка сообщений электронной почты; источники данных и назначения для извлечения и загрузки данных; преобразования для очистки, статистической обработки, слияния и копирования данных; базу данных управления, SSISDB для администрирования выполнения и хранения пакетов, а также API для программирования объектной модели Службы Integration Services.

Новые знания

Новые средства, элементы управления и возможности служб Microsoft SQL Server Службы Integration Services лучше всего изучать на практике. В этом учебнике с помощью конструктора SSIS вы создадите пакет ETL, который включает циклическую обработку, конфигурации, логику потока ошибок и ведение журнала.

Предварительные требования

Этот учебник предназначен для пользователей, знакомых с основными операциями с базами данных, но имеющих ограниченное представление о новых функциях служб SQL Server Службы Integration Services.

Для работы с этим руководством необходимо наличие следующих компонентов:

• SQL Server и Службы Integration Services. Чтобы установить SQL Server и служб SSIS, см. руководство по установке Integration Services.

• Пример базы данных AdventureWorksDW2012. Чтобы скачать базу данных AdventureWorksDW2012, скачайте файл AdventureWorksDW2012.bak со страницы с образцами баз данных AdventureWorks и выполните восстановление из резервной копии.

• Файлы с примерами данных. Образцы данных включаются в состав с пакетами занятий по службам Integration Services . Чтобы скачать образец данных и пакеты занятий в виде ZIP-файла, перейдите к файлам учебника в составе документации по SQL Server Integration Services.

  • Большая часть файлов в ZIP-файле доступна только для чтения во избежание непреднамеренных изменений. Для записи выходных данных в файл или его изменении может потребоваться отключить атрибут «только для чтения» в свойствах файла.
  • При использовании пакетов примеров предполагается, что файлы данных находятся в папке C:\Program Files\Microsoft SQL Server\100\Samples\Integration Services\Tutorial\Creating a Simple ETL Package. Если распаковать скачанные файлы в другое расположение, может потребоваться обновить путь к файлу в нескольких местах в пакетах с примерами.

Занятия этого учебника

Занятие 1. Создание проекта и основного пакета с помощью служб SSIS
На этом занятии вы создадите простой пакет ETL, который получает данные из неструктурированного файла, преобразует их с использованием преобразования «Уточняющий запрос» и загружает результат в целевую таблицу фактов.

Занятие 2. Добавление циклов с помощью служб SSIS
На этом занятии будет расширен пакет, созданный на занятии 1, чтобы использовать новые возможности циклической обработки для извлечения нескольких неструктурированных файлов в едином процессе потока данных.

Занятие 3. Добавление журналов с помощью служб SSIS
На этом занятии вы расширите пакет, созданный на занятии 2, чтобы использовать новые возможности ведения журнала.

Занятие 4. Добавление перенаправления потока ошибок с помощью служб SSIS
На этом занятии вы расширите пакет, созданный на занятии 3, чтобы использовать новые конфигурации вывода ошибок.

Занятие 5. Добавление конфигураций пакетов SSIS в модель развертывания пакетов
На этом занятии вы расширите пакет, созданный на занятии 4, чтобы использовать новые параметры конфигурации пакета.

Занятие 6. Использование параметров в модели развертывания проекта в службах SSIS
На этом занятии вы расширите пакет, созданный на занятии 5, чтобы воспользоваться преимуществами новых параметров в модели развертывания проекта.

Следующие шаги

Начните работу с учебником, открыв Занятие 1. Создание проекта и основного пакета с помощью служб SSIS.

Урок 1. Создание проекта и простого пакета с помощью служб SSIS — SQL Server Integration Services (SSIS)

Twitter




LinkedIn




Facebook




Адрес электронной почты

• 
  Статья




• 
  05/23/2023
• 
  

Применимо к: SQL Server Integration Runtime служб SSIS в Фабрика данных Azure

На этом занятии вы создадите простой пакет для извлечения, преобразования и загрузки, который будет извлекать данные из отдельного источника неструктурированных файлов, преобразовывать их с помощью двух преобразований типа «уточняющий запрос», а затем записывать преобразованные данные в копию таблицы фактов FactCurrencyRate, находящуюся в образце базы данных AdventureWorksDW2012. На этом занятии вы узнаете, как создавать пакеты, добавлять и настраивать подключения к источникам данных и назначениям, а также работать с новыми компонентами потока управления и потока данных.

Перед созданием пакета необходимо ознакомиться с форматированием в источнике данных и назначении. После этого можно определить преобразования, необходимые для сопоставления источника данных с назначением.

Предварительные требования

Для выполнения упражнений в этом учебнике требуются средства Microsoft SQL Server Data Tools, набор примеров пакетов и образец базы данных.

• Инструкции по установке SQL Server Data Tools см. на странице Скачать SQL Server Data Tools.

• Чтобы скачать все пакеты занятий этого учебника, выполните указанные ниже действия.

  1. Перейдите к учебным файлам для служб Integration Services.

  2. Нажмите кнопку Скачать.

  3. Выберите файл Creating a Simple ETL Package.zip и нажмите кнопку Далее.

  4. Когда файл скачается, распакуйте его содержимое в локальный каталог.

• Чтобы установить и развернуть образец базы данных AdventureWorksDW2012, см. страницу Установка и настройка образца базы данных AdventureWorks — SQL.

Обзор исходных данных

Для этого учебника исходные данные представлены в виде набора курсов валют, содержащегося в неструктурированном файле SampleCurrencyData.txt. Данные источника в этом файле имеют четыре столбца: средний курс валюты, ключ валюты, ключ даты и курс на конец дня.

Вот пример исходных данных в файле SampleCurrencyData.txt:

1.00070049USD9/3/05 0:001.001201442  
1.00020004USD9/4/05 0:001  
1.00020004USD9/5/05 0:001.001201442  
1.00020004USD9/6/05 0:001  
1.00020004USD9/7/05 0:001.00070049  
1.00070049USD9/8/05 0:000.99980004  
1.00070049USD9/9/05 0:001.001502253  
1.00070049USD9/10/05 0:000.99990001  
1.00020004USD9/11/05 0:001.001101211  
1. 00020004USD9/12/05 0:000.99970009

При работе с исходными данными неструктурированных файлов важно понимать, как диспетчер подключений к неструктурированным файлам интерпретирует их. Если неструктурированный файл является документом в Юникоде, диспетчер соединений с неструктурированными файлами определяет все столбцы как [DT_WSTR] с шириной, по умолчанию равной 50. Если неструктурированный файл является документом в кодировке ANSI, столбцы определяются как [DT_STR] с шириной по умолчанию, равной 50. Возможно, потребуется изменить эти настройки, чтобы оптимизировать столбцы для конкретных данных. Необходимо узнать тип данных в назначении, а затем выбрать этот тип в диспетчере подключений к неструктурированным файлам.

Обзор данных назначения

Назначением исходных данных является копия таблицы фактов FactCurrencyRate в базе данных AdventureWorksDW. Таблица фактов FactCurrencyRate имеет четыре столбца и связи с двумя таблицами измерений, как показано в следующей таблице.

Сопоставление исходных данных с назначением

Анализ форматов данных источника и назначения показывает, что для значений CurrencyKey и DateKey требуются уточняющие запросы. Преобразования, которые выполняют эти уточняющие запросы, получают эти значения из таблиц измерений DimCurrency и DimDate.

Задачи занятия

Это занятие содержит следующие задачи.

• Шаг 1. Создание проекта служб Integration Services

• Шаг 2. Добавление и настройка диспетчера соединений с неструктурированными файлами

• Шаг 3. Добавление и настройка диспетчера подключений OLE DB

• Шаг 4. Добавление задачи потока данных к пакету

• Шаг 5. Добавление и настройка источника «Неструктурированный файл»

• Шаг 6. Добавление и настройка преобразований «Уточняющий запрос»

• Шаг 7. Добавление и настройка назначения OLE DB

• Шаг 8. Добавление заметок и форматирование пакета занятия 1

• Шаг 9. Тестирование пакета занятия 1

Начало занятия

Шаг 1. Создание проекта служб Integration Services

Шаг 1: Создайте новый проект служб Integration Services — Службы интеграции SQL Server (SSIS)

Редактировать

Твиттер

LinkedIn

Фейсбук

Электронная почта

• Статья
• 28. 02.2023

Применяется к: SQL Server
Среда выполнения интеграции SSIS в фабрике данных Azure

Первым шагом в создании пакета в службах Integration Services является создание проекта служб Integration Services. Этот пример проекта включает шаблоны для источников данных, представлений источников данных и пакетов, составляющих решение для преобразования данных.

Пакеты, которые вы создаете в этом руководстве по службам Integration Services, интерпретируют значения данных, зависящих от языкового стандарта. Если ваш компьютер не настроен на использование региональной опции Английский (США) , вам необходимо установить дополнительные свойства в пакете.

Пакеты, которые вы используете на уроках со 2 по 6, скопированы из пакета, созданного вами на этом уроке.

Примечание

Если вы еще этого не сделали, ознакомьтесь с предварительными требованиями урока 1.

Создать новый проект служб Integration Services

1. В меню Windows Start найдите и выберите Visual Studio (SSDT) ​​ .

2. В Visual Studio выберите Файл > Новый > Проект , чтобы создать новый проект служб Integration Services.

3. В диалоговом окне New Project разверните узел Business Intelligence в разделе Installed и выберите Integration Services Project в Панель шаблонов .

4. В поле Name измените имя по умолчанию на SSIS Tutorial . Чтобы использовать уже существующую папку, снимите флажок Создать каталог для решения .

5. Примите расположение по умолчанию или выберите Browse , чтобы найти нужную папку. В диалоговом окне Расположение проекта выберите папку, а затем Выберите папку .

6. Выберите OK .

   По умолчанию пустой пакет с именем Package. dtsx создается и добавляется в ваш проект в разделе Пакеты служб SSIS .

7. В обозревателе решений щелкните правой кнопкой мыши Package.dtsx , выберите Переименовать и переименуйте пакет по умолчанию в Lesson 1.dtsx .

Перейти к следующей задаче

Шаг 2. Добавление и настройка диспетчера соединений с плоскими файлами

Урок 1. Создание проекта и базового пакета с помощью служб SSIS — SQL Server Integration Services (SSIS)

Редактировать

Твиттер

LinkedIn

Фейсбук

Электронная почта

• Статья
• 28.02.2023

Применяется к: SQL Server
Среда выполнения интеграции SSIS в фабрике данных Azure

На этом уроке вы создадите простой пакет ETL, который извлекает данные из одного источника плоского файла, преобразует данные с помощью двух преобразований поиска и записывает преобразованные данные в копию Таблица фактов FactCurrencyRate в образце базы данных AdventureWorksDW2012 . В рамках этого урока вы узнаете, как создавать новые пакеты, добавлять и настраивать соединения источника и назначения данных, а также работать с новыми компонентами потока управления и потока данных.

Перед созданием пакета необходимо понять форматирование, используемое как в исходных данных, так и в целевом. Затем вы будете готовы определить преобразования, необходимые для сопоставления исходных данных с целевыми.

Предварительные требования

В этом руководстве используются инструменты данных Microsoft SQL Server, набор примеров пакетов и пример базы данных.

• Сведения об установке инструментов данных SQL Server см. в разделе Загрузка инструментов данных SQL Server.

• Чтобы загрузить все пакеты уроков для этого урока:

  1. Перейдите к учебным файлам служб Integration Services.

  2. Нажмите кнопку ЗАГРУЗИТЬ .

  3. Выберите файл Создание простого ETL Package. zip , затем выберите Далее .

  4. После загрузки файла разархивируйте его содержимое в локальный каталог.

• Сведения об установке и развертывании образца базы данных AdventureWorksDW2012 см. в разделе Установка и настройка образца базы данных AdventureWorks — SQL.

Посмотрите на исходные данные

Для этого руководства исходные данные представляют собой набор исторических данных о валюте в плоском файле с именем SampleCurrencyData.txt . Исходные данные имеют следующие четыре столбца: средний курс валюты, ключ валюты, ключ даты и курс на конец дня.

Вот пример исходных данных в файле SampleCurrencyData.txt:

 1.00070049USD9/3/05 0:001.001201442
1.00020004USD9/4/05 0:001
1.00020004USD 05.09.05 0:001.001201442
1.00020004USD06.09.05 0:001
1.00020004USD 07.09.05 0:001.00070049
1.00070049USD 08.09.05 0:000.99980004
1.00070049USD9/9/05 0:001. 001502253
1.00070049USD9/10/05 0:000.999
1.00020004USD11.09.05 0:001.001101211
1.00020004USD9/12/05 0:000.99970009
 

При работе с исходными данными плоского файла важно понимать, как диспетчер соединений с плоским файлом интерпретирует данные плоского файла. Если источником плоского файла является Unicode, диспетчер соединений с неструктурированным файлом определяет все столбцы как [DT_WSTR] с шириной столбца по умолчанию, равной 50. Если источник плоского файла имеет кодировку ANSI, столбцы определяются как [DT_STR] со столбцом по умолчанию. ширина 50. Вероятно, вам придется изменить эти значения по умолчанию, чтобы сделать строковые типы столбцов более подходящими для ваших данных. Вам нужно посмотреть тип данных места назначения, а затем выбрать этот тип в диспетчере соединений с плоскими файлами.

Посмотрите на целевые данные

Местом назначения для исходных данных является копия таблицы фактов FactCurrencyRate в AdventureWorksDW . Таблица фактов FactCurrencyRate имеет четыре столбца и взаимосвязи с двумя таблицами измерений, как показано в следующей таблице.

Сопоставление исходных данных с целевыми

Наш анализ форматов исходных и целевых данных показывает, что поиск необходим для CurrencyKey и DateKey значений. Преобразования, которые выполняют этот поиск, получают эти значения с помощью альтернативных ключей из таблиц измерений DimCurrency и DimDate .

Задания урока

Этот урок содержит следующие задания:

• Шаг 1. Создание нового проекта служб Integration Services

• Шаг 2. Добавьте и настройте диспетчер соединений с плоскими файлами

• Шаг 3. Добавьте и настройте диспетчер соединений OLE DB

• Шаг 4. Добавьте задачу потока данных в пакет

• Шаг 5. Добавьте и настройте источник плоского файла

• Шаг 6.