|
ИнфоВизорСистема организации сбора информации для хранилища данных ИнфоВизор Интегратор |
Система ИнфоВизор Интегратор предназначена для подготовки и выполнения сценариев наполнения и обновления баз данных из внешних источников. Этими источниками могут быть базы данных, ведущиеся с помощью существующих (унаследованных) программ ввода информации. Источниками могут являться:
Проектировщики и администраторы информационных систем знают, каким кропотливым и утомительным является процесс перенесения информации между базами данных с отличающимися структурами. Система ИнфоВизор Интегратор позволяет облегчить эту работу с помощью удобного редактора, позволяющего готовить и сохранять сценарии загрузки и обновления целевой базы данных из одной или нескольких исходных.
Но более того, необходимо учесть, что для поддержания интегрированной базы данных, такой как централизованное хранилище данных организации, недостаточно однажды наполнить его информацией из нескольких мест. После первоначальной загрузки требуются постоянные пополнения и обновления из разных источников с определенной периодичностью. Система ИнфоВизор Интегратор позволяет автоматизировать этот процесс. В отличие от простых интерактивных программ перекачки данных, она позволяет сохранять последовательность требуемых действий в файлах сценариев и задавать временной регламент их выполнения. Резидентный модуль Интегратор-Агент в нужный момент запускает процесс, для которого наступает время активизации, и обеспечивает загрузку поступившей информации в хранилище. Отчет о результатах выполнения всех действий накапливается в системном журнале, который в любой момент может быть исследован администратором базы данных.
С точки зрения хранилища данных, ИнфоВизор Интегратор полностью охватывает процесс извлечения данных из источников и процесс их загрузки в хранилище, а также содержит некоторые элементы согласования данных. При этом данные могут не только непосредственно попадать из источников в хранилище, но и собираться в промежуточный буферный накопитель для дополнительного преобразования и очистки.
Система состоит из двух приложений - программы формирования сценариев (собственно Интегратор) и программы интерпретации сценариев (Интегратор-Агент).
ПРИМЕЧАНИЕ. Интегратор-Агент является резидентным модулем, поэтому, если система используется для автоматического выполнения сценариев, он должен запускаться всегда при загрузке операционной системы (для этого соответствующий ярлык необходимо поместить в группу Start Up - Автозагрузка). При этом также рекомендуется эксплуатировать компьютер, на котором выполняются периодические обновления, в режиме сервера (работающего непрерывно), чтобы иметь возможность обновлять базы данных в ночное время, когда нагрузка на вычислительную сеть минимальна.
Программа формирования сценариев Интегратор позволяет выполнять следующие действия.
Программа интерпретации сценариев Интегратор-Агент позволяет выполнять следующие действия.
В текущем разделе рассматривается последовательность шагов, типичная для процесса перекачки данных из одной базы в другую. Будем считать, что как исходная, так и целевая база прописаны в ODBC и BDE, то есть к каждой из них можно обращаться по уникальному псевдониму. Требуется выполнить следующие действия.
Для разовой загрузки данных можно упростить эту последовательность, заменив второй и третий шаги непосредственным запуском сценария из программы формирования сценариев. То есть в случаях, когда автоматическое периодическое обновление базы данных не требуется, можно вообще не использовать Интегратор-Агент, а все действия выполнять из интерактивного модуля Интегратора.
Для создания нового файла сценария необходимо запустить программу Интегратор и выбрать пункт меню "Файл/Создать".
Главное окно программы Интегратор.
Процесс создания нового файла сценария состоит из нескольких последовательных шагов. Сначала выбираются псевдонимы исходной и целевой баз данных. В одном сценарии возможен выбор нескольких исходных баз данных, тогда как целевая база должна быть одна. Выбор осуществляется из списка зарегистрированных имен баз данных.
Первый шаг создания сценария.
После нажатия кнопки "Далее" может быть предложено ввести имена и пароли для доступа к выбранным базам данных. Затем выводится список таблиц, хранящихся в выбранных базах. Из этого списка необходимо выбрать одну или несколько таблиц исходной и целевой баз данных. Если в дальнейшем предполагается копировать данные во вновь создаваемую таблицу, то целевую таблицу можно не выбирать - она будет создана автоматически при выборе соответствющего пункта в редакторе файла сценария. При отметке индикатора "Показать отображения таблиц (views)" вместе с именами таблиц будут показаны и имеющиеся в базе данных виды.
Второй шаг создания сценария.
После выбора задействованных в сценарии таблиц можно нажать на кнопку "Далее". После этого открывается окно редактирования файла сценария. Каждый сценарий состоит из набора последовательно выполняемых независимых секций. В этой форме имеется возможность, во-первых, добавлять, редактировать и удалять секции, а во-вторых - задавать регламент запуска сценария ("Время старта").
Третий шаг создания сценария.
Добавление новой секции может осуществляться одним из нескольких способов, которые перечислены в группе радиокнопок "Способ добавления секции".
Формирование структуры целевой таблицы.
Добавление секции по индексам полей.
Редактор секции файла сценария.
В редакторе секции файла сценария для каждого табличного поля целевой базы данных выбирается исходное поле. В качестве исходного поля может использоваться:
Установление связи между целевым и исходным полями.
Установление связи между целевым полем и результатом выражения.
При выборе полей необходимо обращать внимание на соответствие их типов. Также следует учитывать, что для правильной интерпретации имен полей каждому имени поля должно предшествовать имя таблицы, отделенное точкой.
В окне редактирования секции помимо добавления, редактирования и удаления связей между полями возможно задание таблицы перекодировки для каждого поля исходной базы данных (кнопка "Перекодировка"). Эта функция особенно важна для тех часто встречающихся ситуаций, когда в исходной и целевой базах существуют ссылки на близкие по смыслу таблицы-справочники, одинаковые записи в которых пронумерованы по-разному (например, справочник регионов страны может в одной базе опираться на коды ГИБДД, в другой - на статистические коды, в третьей - на собственные буквенные сокращения). Таблица перекодировки - это реляционная таблица, хранящаяся в одной из задействованных в сценарии баз данных и содержащая как минимум два поля, сочетания которых согласовывают коды таких справочников.
Перекодировка ссылок на таблицы-справочники.
Возможно задание условий выбора записей из таблиц исходной БД. Оно задается в виде SQL-условия (части SQL-выражения, начинающейся с ключевого слова "where"). Таким образом можно выбрать для копирования только необходимые записи или связать условием несколько исходных таблиц.
Также для каждой целевой таблицы возможно задание условия модификации записей. Если условие модификации для текущей записи выполняется, то запись модифицируется; иначе запись добавляется в таблицу. Условие модификации записи также является частью SQL-выражения, следующей за ключевым словом "where" (оно вставляется автоматически). Именам полей должны предшествовать имена их таблиц, отделенные точкой.
ПРИМЕЧАНИЕ. При оформлении условий в операциях сравнения ('=', '<=', '>=' и т. п.) первым должно указываться имя поля таблицы целевой базы данных (например, ":Ivorders_Server:YEARS"."YEAR_ID" = ":Ivorders_Dbf:Years.dbf"."YEAR_ID"). Это необходимо для правильного синтаксического разбора строки.
На добавление и обновление записей влияет состояние флагов в нижнем правом углу редактора секции файла сценария.
После внесения необходимых изменений следует нажать кнопку "OK". Если для секции был установлен индикатор "Проверять выборки", произойдет запуск процедуры проверки правильности составленной секции. Будет сформирован SQL-запрос для таблиц исходной базы данных в соответствии с выбранными полями и заданным условием и для таблиц целевой базы данных. После этого произойдет проверка соответствия типов полей исходной и целевой выборки. Если процедура проверки выполнится успешно, то произойдет возврат в редактор файла сценария.
Редактор файла сценария.
При необходимости можно аналогичным способом добавить новые секции в создаваемый сценарий. Затем для составленного сценария необходимо задать время старта, то есть расписание его автоматического выполнения в модуле Интегратор-Агент. Для этого необходимо нажать кнопку "Добавить" в секции редактора "Время старта". Откроется редактор стартового времени сценария.
Определение регламента автоматического выполнения сценария.
Путем выбора соответствующих кнопок задается переодичность запуска файла сценария. Так, если выбрана строка "12" в списке "Час", то файл сценария будет выполняться один раз в день в 12 часов. Если при этом выбраны все кнопки в списке "День недели" и все кнопки в списке "Месяц", то он будет выполняться в 12 часов каждого дня каждого месяца. Если кроме дня недели задать число месяца (список "День"), то файл сценария будет выполняться только в тот день, когда одно из выбранных чисел месяца попадет на один из выбранных дней недели (например, "Пятница 13"). Один из списков "День" и "День недели" может быть пустым, то есть содержать только очищенные строки. При этом определяющим будет список, который не пуст. Например, если не выбраны строки в списке "День", то файл сценария будет стартовать в выбранные дни недели без учета числа месяца, и наоборот.
После выполнения описанных действий сценарий может быть сохранен в виде файла. Для этого следует нажать кнопку "Сохранить" и ввести имя сохраняемого файла в стандартном диалоговом окне. По умолчанию сохраняемый файл имеет расширение SCR.
Для редактирования ранее сохраненного файла сценария необходимо запустить программу Интегратор и выбрать пункт меню "Файл/Открыть". В открывшемся диалоговом окне нужно выбрать имя файла сценария. Если сервер одной из включенных в сценарий баз данных потребует авторизации пользователя, будет предложено ввести имя и пароль доступа к этой базе данных. Затем откроется редактор файла сценария, все действия в котором аналогичны рассмотренным выше.
Конфигурационный файл COMPILE.CFG содержит имена файлов сценариев, загружаемых модулем Интегратор-Агент для автоматического запуска. Для редактирования конфигурационного файла служит специальный редактор, который доступен через пункт меню "Инструменты/Редактор конфигурационного файла" программы формирования сценариев Интегратор.
Редактор конфигурационного файла.
Кроме того, редактирование конфигурации может производиться непосредственно из программы Интегратор-Агент (см. следующий раздел).
Для выполнения подготовленный сценариев загрузки данных предназначена программа Интегратор-Агент. При старте она открывает конфигурационный файл COMPILE.CFG и загружает занесенные в него файлы сценариев. Программа Интегратор-Агент является резидентной, она запоминает расписание старта каждого сценария и ожидает наступления подходящего момента для его запуска - когда ближайшее время старта сценария станет меньше текущего показания системных часов. Расписание запуска сценария записано в самом файле сценария и может быть изменено при его редактировании. Если при наступлении времени старта сценария выполняется другой сценарий, формируется очередь, в которой каждый последующий сценарий ожидает завершения предшествующего. Отчет о выполненных операциях и обнаруженных в процессе работы программы ошибках отражается в системном журнале (файл COMPILE.LOG).
После запуска Интегратор-Агента его пиктограмма оказывается в правом нижнем углу экрана (рядом со значком системных часов). При нажатии на нее правой кнопкой мыши открывается всплывающее меню, содержащее две команды - "Свойства..." и "Выгрузить". При выборе команды "Свойства..." открывается диалоговое окно администратора.
Диалоговое окно администратора программы Интегратор-Агент.
В окне администратора выводится содержимое текущего конфигурационного файла (список имен загруженных в настоящий момент сценариев). Информацию о деятельности этих сценариев можно получить по команде меню "Опции/Показать информационное окно". Здесь указывается имя файла сценария, время и дата запуска, время и дата последнего запуска сценария и его текущее состояние.
Информация о загруженных сценариях.
Возможны следующие состояния.
Выполняющийся сценарий может быть принудительно остановлен. Для этого необходимо выделить в списке имя нужного файла сценария и выбрать пункт меню "Опции/Остановить выбранный сценарий". Если необходимо немедленно запустить на выполнение сценарий, не дожидаясь времени его старта по расписанию, то это можно сделать, выбрав пункт меню "Опции/Выполнить выбранный сценарий".
Программа Интегратор-Агент периодически перезагружает файлы сценария. Периодичность такой перезагрузки задается администратором информационной системы. При выборе пункта меню "Опции/Изменить интервал перезагрузки" открывается диалоговое окно для ввода нового значения в минутах. По умолчанию при запуске программы берется значение 60 мин. Если задать значение интервала 0 или меньше 0, то файлы сценария автоматически перезагружаться не будут.
Окно изменения интервала перезагрузки сценариев.
Перезагрузка нужна для постоянного обновления информации об изменениях в конфигурационном файле и файлах сценариев. Для немедленной перезагрузки всех сценариев можно воспользоваться пунктом меню "Файл/Перезагрузить".
Основные процессы и возможные ошибки, происходящие в процессе работы Интегратор-Агента, отражаются в системном журнале (файл COMPILE.LOG). Его просмотр возможен при вызове команды меню "Опции/Открыть 'Log' файл".
Окно просмотра системного журнала.
В данном разделе рассматриваются команды главного меню программы формирования сценариев ИнфоВизор Интегратор.
Команды этого подменю используются для манипулирования файлами сценариев.
При выборе этой команды открывается мастер создания нового сценария. Он организован в виде последовательности диалоговых окон для выбора баз данных, выбора используемых в сценарии таблиц и формирования секций сценария. Перемещение между окнами выполняется с помощью кнопок "Далее" и "Назад".
При вызове этой команды появляется стандартное окно открытия файла. В нем следует выбрать имя требуемого файла сценария. Если сервер одной из включенных в сценарий баз данных потребует авторизации пользователя, будет предложено ввести имя и пароль доступа к этой базе данных. Затем откроется редактор файла сценария, где доступны действия по модификации секций сценария и изменению расписания его выполнения.
Эта команда используется для закрытия программы.
Это подменю зарезервировано для дополнительных команд администрирования системы ИнфоВизор Интегратор.
С помощью этой команды можно открыть редактор конфигурационного файла резидентного модуля Интегратор-Агент. Конфигурационный файл COMPILE.CFG содержит имена файлов сценариев, загружаемых модулем Интегратор-Агент для автоматического запуска.
В этом разделе рассматриваются команды меню программы интерпретации сценариев Интегратор-Агент.
Всплывающее меню появляется при нажатии правой кнопки мыши на пиктограмме ИнфоВизор-Агента в панели задач.
При выборе этой команды открывается диалоговое окно администратора. В нем показаны имена файлов сценариев, загружаемых в текущей конфигурации модуля Интегратор-Агент для автоматического запуска. Кроме того, окно администратора имеет меню, с помощью которого может контролироваться выполнение загруженных сценариев.
При вызове этой команды программа Интегратор-Агент закрывается и выгружается из памяти. Если Интегратор-Агент используется на компьютере для реальной периодической загрузки данных, не рекомендуется выгружать его из памяти на долгое время, так как в выгруженном состоянии он не может вовремя запускать на выполнение сценарии, время старта которых наступило.
Эта команда позволяет немедленно перезагрузить входящие в текущую конфигурацию файлы сценариев. Не будут перезагружены те сценарии, которые выполняются в данный момент или стоят в очереди на выполнение.
Если после внесения изменений в какой-то из загруженных сценариев эта команда не была выполнена, изменения вступят в силу только после очередной автоматической перезагрузки. Она производится периодически с интервалом, который можно указать с помощью команды "Опции/Изменить интервал перезагрузки".
Эта команда закрывает диалоговое окно администратора. При этом программа Интегратор-Агент не выгружается из памяти.
Эта команда используется для получения информации о состоянии сценариев, загруженных в текущей конфигурации. Для каждого сценария здесь указывается имя файла, время и дата запуска, время и дата предыдущего запуска, текущее состояние.
Возможны следующие состояния.
Эта команда позволяет открыть для просмотра системный журнал (файл COMPILE.LOG), в котором сохраняются отчеты о выполненных действиях и обнаруженных в процессе работы ошибках.
С помощью этой команды можно изменить интервал перезагрузки Интегратор-Агентом файла конфигурации и перечисленных в нем сценариев. Это делается для того, чтобы вступало в силу каждое внесение изменений в файлы сценариев, сделанное в период между моментами их активизации. Интервал перезагрузки определяется в минутах. Если установить его значение в число, меньшее или равное нулю, автоматическая перезагрузка производиться не будет.
В любом случае, после редактирования каждого из загруженных сценариев текущую конфигурацию можно перезагрузить вручную по команде "Файл/Перезагрузить".
Эта команда принудительно останавливает отмеченный в окне администратора сценарий, если он в настоящий момент выполняется.
Эта команда позволяет немедленно запустить отмеченный в окне администратора сценарий на выполнение, не дожидаясь времени его старта по заданному регламенту.
Эта команда предназначена для добавления подготовленного сценария к текущей конфигурации. При ее вызове активизируется стандартное окно открытия файла, где можно выбрать нужный файл *.SCR. В результате его имя будет добавлено в список сценариев окна администратора.
Эта команда предназначена для удаления отмеченного в окне администратора сценария из текущей конфигурации. Удаление имени сценария из файла конфигурации не означает удаления соответствующего файла с диска.
При работе с системой ИнфоВизор Интегратор могут возникать критические ситуации, которые могут быть разрешены без особых усилий. В этом разделе перечислены и объяснены некоторые такие случаи.
| Описание проблемы | Возможная причина | Способ устранения |
| Не открывается для редактирования файл сценария | В исходной или целевой базе данных отсутствует или повреждена одна из использующихся в файле сценария таблиц | Проверьте наличие и целостность таблиц, попробуйте восстановить БД, если она была повреждена |
| -''- | С таблицей работает какая-то программа, блокирующая ее (например, просмотрщик таблиц DBVIEW.EXE) | Закройте таблицу или выйдите из конфликтующей программы |
| Не открывается редактор конфигурационного файла | Конфигурационный файл COMPILE.CFG отсутствует в установочном каталоге или открыт для просмотра в какой-то блокируюущей его программе | Закройте программу, блокируюшую конфигурационный файл. |