Анализ и разбор данных от АТС

Описание проблемы:

Я не могу записать лог файлы от нашей АТС в базу данных MS SQL 2014. Я установил модуль "ODBC database" и протестировал ODBC соединение с помощью ODBC администратора и все выглядит работающим. Теперь, я хочу записывать данные в файл и базу данных одновременно.

Рис.1. Данные от АТС, полученные с помощью программы-логгера

Требования:

• Advanced Serial Data Logger Professional, Enterprise, или пробная версия;
• ASCII data parser and query, DDE server, ODBC database

Подразумевается что:

Вы настроили параметры связи с устройством (скорость, количество бит данных, контроль передачи и т.п.) в логгере и можете принимать данные без каких либо ошибок.

Решение:

На рисунке выше видно, что данные имеют простой формат. Каждая запись имеет фиксированную длину и фиксированную позицию каждого элемента в ней. Данные не содержат непечатных символов в строке. Теперь, необходимо определить символы окончания пакета данных, по которым программа сможет выделять пакет данных из общего потока. Пожалуйста, включите вывод на экран непечатных символов, у которых код символа меньше 0x20h. Пожалуйста, установите опции с рисунка ниже. Вам необходимо создать конфигурацию для порта, если вы не сделали этого ранее, с помощью кнопки "Плюс" в главном окне программы.

Рис.2. Логгер данных от АТС. Настройка вида данных

Если ваш поток данных слишком быстрый, то программа может не разбивать пакеты данных на строки, и они будут отображаться как одна длинная строка. Чтобы избежать этого, необходимо включить опцию "Переносить слова". В этом случае длина строки на экране будет равна ширине экрана (рис.3, поз. #1).

Рис.3. Логгер данных от АТС. Перенос слов

Затем кликните по кнопке "OK" и попробуйте принять данных из порта. Вы должны получить данные, как на рисунке ниже.

Рис.4. Логгер данных от АТС. Принятые данные.

Это другой вид принятых данных. Все непечатные символы были заменены на их код вида #0D. Теперь очевидно, что пакет данных (в зеленом прямоугольнике) заканчивается на #0A#0D#0A (подчеркнуто красным). У пакета данных нет признака начала пакета. В нашем случае пакет данных на экране был разбит на 2 строки, но при настройке парсера следует трактовать эти две строки как единое целое.

Теперь мы готовы к настройке модулей. Сначала, пожалуйста, выберите модуль "ASCII data parser and query" (рис.5, поз.1) из выпадающего списка. Затем, включите анализ и экспорт для принимаемых данных (рис. 5, поз. 2). Модуль "DDE server" (рис.6, поз.3) поможет нам проверить, что парсер правильно разбирает пакет данных. После окончания настройки его можно будет отключить для экономии ресурсов. Модуль "ODBC database" будет экспортировать данные в базу данных Microsoft SQL Server 2014 (рис.6, поз.4).

Замечание: Прежде чем настраивать парсер, попробуйте нашу программу Advanced PBX Data Logger, в которой уже настроены и протестированы парсеры для множества АТС. Достаточно выбрать соответствующий парсер для вашей АТС.

Рис.5. Логгер данных от АТС. Активация парсера.

Рис.6. Логгер данных от АТС. Выбор модулей экспорта данных.

Сейчас, пожалуйста, откройте окно настройки модуля "ASCII parser and query" (кликните на кнопке "Настроить" рядом с выпадающим списком рис.5, поз.1). Окно настройки появится на экране (рис.7).

Рис.7. Логгер данных от АТС. Окно настройки парсера.

Процесс настройки должен быть простым, если предварительно был выяснен формат данных в главном окне логгера данных (рис.4). Вы должны ввести данные в том же виде, что и в главном окне программы в поле №2. Поле №2 задает окончание блока данных и в нашем случае должно содержать #0A#0D#0A. Вы должны ввести значения с рис. 3, подчеркнутые красным. Поле №1 оставляем пустым, поскольку у нас нет признака начала пакета данных.

Следующая закладка является очень важной частью конфигурации (рис.8). Парсер использует эти данные для того, чтобы выделить переменные из пакета данных. Наш пакет данных содержит четыре элемента (рис.1) дату и время, номер вызывающей стороны, номер вызываемого абонента и длительность звонка в секундах, которые должны быть помещены в различные переменные. Далее эти переменные будут использоваться в модулях фильтрации и экспорта данных. В нашем примере значения этих переменных будут записываться в разные колонки БД MS SQL2014.

Рис.8. Логгер данных от АТС. Переменные парсера.

Необходимо добавить все необходимые переменные, кликнув по кнопке "Добавить" (рис.8, поз.7). Перед добавлением переменной программа попросит ввести описание переменной. Вы можете ввести любое описание, которое поможет вам запомнить содержимое этой переменной. Мы добавили все переменные с соответствующими описаниями на рис.8.

Каждая переменная парсера имеет несколько свойств:

1. Имя переменной - это имя будет связано с колонкой в модуле экспорта данных. Это имя должно состоять только из латинских букв и цифр;
2. Тип обработки данных - это метод, который программа будет использовать для выделения данных из пакета данных. Парсер поддерживает несколько методов от наиболее простого способа, до самого универсального и мощного. В нашем случае, когда все данные располагаются в фиксированной позиции, мы можем использовать простой метод "Фиксированная позиция". Этот метод позволяет получить любое количество символов, начиная с любой позиции в пакете данных;
3. Тип данных - тип данных переменной. В нашем примере будут использоваться типы данных INTEGER, DATETIME и STRING. Модуль позволяет определить некоторые опции, которые будут использоваться для преобразования (см. закладку "Формат данных");
4. Значение по умолчанию - это значение будет использоваться, когда данные не могут быть извлечены из указанной позиции и преобразованы в указанный тип данных;
5. Фиксированная позиция - это позиция в пакете данных первого символа того значения, которое нужно извлечь и поместить в переменную. Минимальное значение равно 1;
6. Фиксированная длина - это количество символов (включая все непечатные символы) которые необходимо извлечь и поместить в переменную. Минимальное значение равно 1.

На следующей закладке (рис.9) вы можете определить основные опции форматирования и преобразования значений. Поскольку мы определили тип данных "String" для некоторых переменных, поэтому первые две опции позволяют удалять пробелы в начале и конце значения. В этом примере у нас есть переменная с типом "datetime". Поэтому вторая опция позволяет определить маску, по которой строковое значение даты будет преобразовано в переменную с типом данных "date". Мы указали MMDDYY HHNN здесь, в соответствии с форматом данных на рис. 4. Для более подробного описания символов, которые могут использоваться в маске, пожалуйста, обратитесь к файлу справки.

Рис.9. Логгер данных от АТС. Форматирование переменных.

Другие опции не требуется настраивать, поскольку у нас не заданы переменные с типом "datetime" или "string".

Пожалуйста, кликните на кнопке "OK" в окне настройки парсера и затем на кнопке "OK" в окне настройки конфигурации.

Теперь наш парсер настроен и пришло время проверить его. Подсоедините ваше устройство или включите его, если это необходимо. Попробуйте принять пакет данных от устройства. Если парсер был верно настроен, то в окне DDE сервера будут отображены наши переменные и их значения (рис.10).

Рис.10. Логгер данных от АТС. Окно сервера DDE.

Теперь все переменные готовы для экспорта в базу данных SQL2014. Как это сделать, описано во второй части.

Сопутствующие статьи: Анализ и разбор данных от АТС

• Прием и обработка GPS данных на примере Garmin Geko301
• Анализ и разбор данных от фасовочной машины
• Логгер данных измерителя давления