19.12.2005 С.М.А.Р.Т. удивляет новой функциональностью!

В новом релизе С.М.А.Р.Т. впервые объединены все варианты работы многомерных OLAP-кубов! В системе появилась возможность поиска типичного представителя группы объектов, реализовано создание структуры любого порядка на основе плоского списка (удвоение размерностей), добавлен вызов двух систем принятия решений непосредственно из OLAP-куба, решена задача минимакса, в десятки раз ускорена выгрузка в Excel и реализована масса улучшений интерфейса!

В Эконометрике появились предсказательные фильтры Калмана, обеспечивающие 95% точность прогнозирования на следующий шаг!

Большинство новых функций добавлены в рамках планового развития продукта.

Ниже приводится список изменений и добавлений, упорядоченный по модулям С.М.А.Р.Т.

OLAP-кубы

1.      Выбор режима сохранения объектов многомерной базы данных и оптимизация использования оперативной памяти. Внимание! В связи с этим изменился формат хранения кубов. Все кубы следует переформировать.
    • В форме Описание куба появилась закладка Оптимизация, в которой можно указать, где располагаются массивы размерностей и фактов (группа настроек Расположение):
      • Собственная – массивы хранятся в памяти одного процесса вместе с многомерной базой;
      • AWE – для хранения массивов выделяется физическая область памяти за пределами доступной памяти для других приложений Windows;
      • За границей – массивы размерностей и фактов хранятся за границей основного процесса. При этом используется специальный процесс small.exe.
      • На диске – массивы размерностей и фактов хранятся во временных файлах на жестком диске. Это самый экономичный режим работы системы с точки зрения использования памяти компьютера!
    • В группе настроек Размер колонки плоской таблицы определяется, сколько памяти будет отведено для хранения типичных записей типа дата/время, сумма и количество, а также текстовых полей:
      • Не учитывать – память выделяется по стандартной процедуре операционной системы;
      • С учетом предыдущего запуска – оперативная память выделяется пропорционально памяти, выделенной под элемент размерности в прошлый раз. Рекомендуется использовать этот режим.
      • Изначально минимальный – память выделяется в минимальном объеме. Этот режим рекомендуется использовать в случае «равномерных» по размеру значений.
2.       Выбор размерностей и фактов при загрузке куба из файла.

o        Реализован новый режим загрузки куба из файла с выбором размерностей и фактов. Это позволяет пользователю выбирать только нужные ему в данном сеансе размерности и факты и экономить время загрузки и пересчета. Опция доступна при нажатии правой кнопки мыши на описании куба – пункт Загрузить куб из файла с выбором размерностей.

3.       Удвоение размерностей в кубе.

o        Появилась уникальная возможность удваивать размерности «на лету»! Эта возможность доступна при выборе пункта контекстного меню размерности Удвоить. Если элементы размерности были сгруппированы, то таким образом можно получить структуру любого уровня на основе обычного списка элементов.

4.       Арифметика в кубе – ряды и колонки для вычислений.

o        Теперь в С.М.А.Р.Т. появился свой арифметический «калькулятор»! Вы сможете использовать Ряды для вычислений и Колонки для вычислений непосредственно в окне куба для проведения арифметических операций над строками и столбцами OLAP-куба!

o        Для добавления ряда/колонки для вычислений нужно выбрать из контекстного меню ячейки пункт Арифметика – Добавить ряд/колонку для вычислений. При добавлении ряда он появится вверху и будет оставаться всегда видимым (нескроллируемым), нескроллируемая колонка появится слева.

o        Для проведения арифметических операций, находясь в ячейке, можно проводить операции Добавить ряд/колонку или Вычесть ряд/колонку из того же контекстного меню ячейки. При этом в строке/столбце Вычисления будет отображаться текущий результат этих вычислений подобно функции калькулятора М+ и М-.

5.       Аналоговый (нечеткий) поиск элементов размерностей.

o        Сейчас можно найти элементы размерностей, написание которых точно неизвестно, или которые написаны с ошибками. При выборе пункта контекстного меню элемента размерности Поиск – Аналоговый можно указать приблизительное написание нужных объектов, выбрать алгоритмы поиска (по умолчанию будут использованы все) и указать требуемое действие.

o        Например, при указании текста «горошек» будут найдены слова «гарошек», «горошк» и т.д. Система может сравнить текст со словами, с целой фразой, а найденные элементы отметить или перейти к первому из них.

6.       Информационный факт в кубе.

o        Теперь OLAP-куб может обрабатывать тексты! Для любой размерности в Параметрах отображения куба можно указать несколько т.н. информационных полей. Это могут быть любые поля из SQL-запроса, связанные с размерностью связью «один-к-одному». Если Вы для выбранной записи поставите галочку в окне Информационные поля, то эта запись сможет стать информационным фактом (например, параметры товара или клиента).

o        После этого в рабочем окне куба следует выбрать пункт Информационный факт в контекстном меню фактов и указать имя факта. Содержимое поля отобразится в кубе, и его можно использовать в формулах, сортировках и выборках.

7.       Новые виды фактов по отмеченным элементам

o        Появились новые виды фактов, работающие по отмеченным элементам: Сумма по отметкам и Среднее по отметкам. Они показывают соответственно сумму и среднее значение отмеченных элементов в поле Всего.

8.       Условные выборки значений в кубе.

o        Вы можете отобрать те ячейки активной области куба, которые удовлетворяют определенным условиям (например, значение факта Количество больше 0 и Сумма меньше 1000).

o        Используйте для этого контекстное меню ячейки Выборка – Условие. В появившемся окне Построителя выражений Вам нужно ввести формулу с использованием всех доступных функций и переменных куба (факты тоже являются переменными). После этого выберите действие и направление – и результат перед Вами.

9.       Создание OLAP-куба на основании активной области куба (OLAP-2).

o        Вы можете легко преобразовать факт в размерность и наоборот! С.М.А.Р.Т. позволяет Вам создать новый OLAP-куб на основе существующего, как будто активная область куба – это исходный набор записей из базы данных.

o        Для этого в контекстном меню ячейки следует выбрать пункт Аналитика – и далее один из трех вариантов: Куб факта, Куб фактов и Куб отмеченных.

      • Куб факта – в качестве размерностей и/или фактов нового куба можно выбрать все элементы левой размерности и все значения текущего факта;
      • Куб фактов – все элементы левой размерности и все значения всех фактов;
      • Куб отмеченных – все элементы левой размерности и отмеченных элементов верхней размерности, причем только текущего факта.
10.    Расширенные возможности окна Статистики (ранее – Информационное окно).

o        Находясь в ячейке, Вы можете получить полную статистическую и графическую информацию по текущему столбцу или строке, если откроете Окно статистики (кнопка Статистика на панели инструментов).

o        Вы можете изменить прозрачность окна, просмотреть цифровую информацию или график. Окно Статистики располагается сверху окна куба, поэтому оно удобно для быстрого получения отчета.

11.   Новые возможности графики

o        В С.М.А.Р.Т. появились новые типы графиков – Распределение по горизонтали/вертикали (вызывается из контекстного меню ячейки Графики), а также Гистограмма по горизонтали/вертикали.

12.    Задача минимакса (задача о рюкзаке)

o        Сейчас Вы можете быстро найти набор значений, обеспечивающий максимум одного факта при ограничении другого! Например, какие товары обеспечили максимальную прибыль, если сумма их продаж не более 1.000.000 рублей?

o        Просто вызовите из контекстного меню ячейки пункт Аналитика – Задача о рюкзаке, в качестве ограничения укажите значение по одному из фактов и задайте, максимум какого факта Вам нужен – и система выделит Вам те элементы ряда или колонки, которые обеспечивают максимум требуемого факта.

13.    Ускоренная выгрузка в Excel

o        При выгрузке больших объемов данных из С.М.А.Р.Т. в Excel иногда не хватает производительности Excel для обработки получившегося массива. Для этого случая, а также если MS Excel не установлен, на панель инструментов добавлен пункт Выгрузить, если не установлен Excel. Он доступен при нажатии на стрелку рядом с кнопкой Выгрузка в Excel.

Эконометрика

1.       Предсказательные фильтры Калмана

o        Для качественного предсказания значения на следующий шаг прогнозирования (следующий день, неделю, месяц…) сейчас можно использовать Фильтры Калмана на соответствующей закладке в модуле Эконометрика.

o        Фильтр Калмана – самообучающаяся система, анализирующая поведение графика из N точек на k первых точках, корректирующая свою формулу на каждой последующей точке (k+1, k+2 и т.д.) и дающая априорную оценку на N-ной точке. Эта априорная оценка и является прогнозом на N+1, т.е. на следующий шаг.

o        Качественный прогноз требует, чтобы система обучилась на половине точек, и количество точек в обучающей выборке должно быть не меньше 50.

o        В С.М.А.Р.Т. пользователю нужно задать параметры Фильтра Калмана – Размер окна усреднения (количество точек для обучения) и Порядок фильтра (степень полинома, который используется фильтром).

o        Вы можете выбрать два режима работы Фильтра Калмана:

      • Скользящее окно – для работы системы используются только последние k точек;
      • Рекурсивный – система делает прогноз с учетом всего количества точек на графике.
2.       Фильтр нижних частот

o        Часто бывает нужно оценить, с какой периодичностью повторяется бизнес-процесс или данные графика. Предварительно данные следует очистить от шумов.

o        Для этого в Эконометрике появился Фильтр нижних частот, позволяющий найти основные гармонические составляющие сигнала.

o        Для запуска Фильтра нижних частот на соответствующей закладке окна Эконометрики пользователю следует установить параметры его работы, а также режим вывода информации на экран:

      • Выключен – не выводится новый график;
      • Нижних частот – выводится новый график, являющийся основным гармоническим приближением исходного;
      • Вычитание шума – выводится график исходного сигнала, очищенного от шумов.

o        При любом режиме работы Фильтра нижних частот в поле Осн. гармоники выводится список периодов основных гармоник, выявленных в сигнале, по убыванию амплитуды.

o        Таким образом, верхние значения в этом списке и есть основные периоды повторения процесса, отображенного на графике!

3.       Перенос графика в OLAP-куб

o        Теперь любой график можно перенести обратно в OLAP-куб в виде строки или столбца значений!

o        Если из куба построен график по горизонтали или вертикали, то в окне Эконометрики можно добавить выбранный график в куб при нажатии кнопки Добавить график в куб. После этого нужно выбрать требуемый график для переноса и нажать ОК.

o        В кубе создастся новая строка (или столбец) под исходным элементом (или справа от него), в ячейках которого будут значения графика. Если график был построен по строке или столбцу Всего, то график в куб не добавится.

o        В результате можно сравнивать цифры в кубе с их сглаженными и обработанными в эконометрике значениями!

Правила сочетаний

1.      Вывод поддержки единичного объекта

o       Сейчас каждое Правило формулируется так:

Правило 1 поддержка s% достоверность d%

Если

Объект 1 (n%) и

Объект 2 (m%)

то

Объект 3 (k%)

Здесь n%, m% и k% - это поддержка каждого объекта, т.е. частота, с которой данный объект встречается в группах (например, чеках) сам по себе. При этом s% - это поддержка, а d% - достоверность Правила целиком.

o        Из этой информации можно легко сделать выводы, насколько каждое сочетание объектов превышает статистическую вероятность их совместного нахождения в одной группе (например, совместной покупки).

2.       Перенос Правил сочетаний в OLAP-куб

o        В режиме просмотра Правил сочетаний как таблицы можно отметить любое Правило сочетаний (нажатием пробела или правой кнопкой мыши) и отметить элементы из этого Правила в кубе.

Карты Кохонена

Куб по кластерам – поиск типичного представителя группы

o        Появилась уникальная возможность создания нового OLAP-куба из Карты по кластерам: при получении Карты по нужному количеству кластеров просто нажмите кнопку Куб по кластерам!

o        Будет создан новый куб, где размерность Кластер соответствует номеру кластера (цвет значения также соответствует цвету кластера), а размерность Имя содержит имена всех исходных объектов. В этом кубе есть только один факт, а именно Расстояние до центра кластера.

o        Таким образом, чтобы узнать, какие объекты являются типичными для данного кластера, в получившемся кубе нужно вывести слева размерность Кластер, за ней – размерность Имя и отсортировать по факту Расстояние! Чем меньше расстояние до центра кластера, тем «типичнее» этот объект среди всех остальных членов группы.

Уважаемые пользователи системы С.М.А.Р.Т.! Если Вы хотите воспользоваться своим правом бесплатного обновления версий системы в течение календарного года со дня покупки, воспользуйтесь формой Обратная связь нашего сайта или пошлите запрос по адресу sales@smart.su.







Забудьте об ожидании при анализе данных!

    Алгоритм системы специально рассчитан на обработку больших массивов бизнес-данных. Поэтому С.М.А.Р.Т. позволяет "крутить" гипер-кубы из миллионов записей за доли секунды!

Web-интерфейс в С.М.А.Р.Т.
    Вы можете анализировать OLAP-кубы в Вашем браузере, используя web-интерфейс С.М.А.Р.Т.!
    Вы даже не заметите разницы в функциональности!
Rambler's Top100 Rambler's Top100