» i2: Analyst's Notebook, iBase, TextChart, etc.

Частный пример решения задачи массового импорта биллингов.

Народ, может быть кому-нибудь будет интересно описание реальной задачки массового импорта данных которую мне пришлось решать на днях. Итак, постановка задачи: Дано порядка 150 файлов биллингов от Билайн, 80 файлов биллингов от МЕГАФОН и порядка 200 файлов биллингов от МТС. Все исходные файлы в Excel формате. Нужно все данные загрузить в iBase в виде связей "Абонент А - Абонент Б"; "Абонент - Адрес базовой станции".

Задача осложняется тем, что
а) все файлов биллингов имеют свою собственную структуру (у разных операторов сотовой связи - разный порядок колонок и сами колонки различны)
б) у некоторых операторов биллинги в одном файле Excel представлены на нескольких листах (закладки в Excel).

Я решал эту задачу так (только на примере файлов Билайн, для других операторов все идентично):
1) Преобразовал все Excel файлы в текстовые файлы с разделителями (.csv). Для этого использовал утилиту ssconvert.exe из пакета GNUMERIC. Для этого написал маленький BAT файл:
-------------------
Set SSCONVERT="C:\Program Files (x86)\Gnumeric\1.12.17\bin\ssconvert.exe"

for /r %%i in (*.xls) do (
echo "%%i"
start "" %SSCONVERT% -S "%%i" "%%i.txt"
)
-------------------

Утилита ssconvert.exe конвертит Excel файл в .csv, причем если в исходном файле несколько листов - будут созданы отдельные файлы для каждого листа

2) Соединил все созданные текстовые файлы в один большой файл. Для этого использовал старую команду:
copy *.csv ALL_BEELINE.csv
В результате выполнения этой команды будет создан один большой файл ALL_BEELINE.csv

3) Импортил уже этот один большой текстовый файл в iBase.
=================================================

Почему такой сложный путь? (имею в виду переконвертацию всей информации из Excel в текстовый файл). Ибо я не разобрался как можно массово импортить в iBase информацию из Excel файлов если в исходных файлах может присутствовать по несколько листов с информацией (если строго один лист - тогда все намного проще)

Если кому будет полезна эта информация - хорошо
Если есть дополнительные вопросы - спрашивайте
Если можете посоветовать что-нибудь дополнительно - чудесно!

Всем привет!

Был в отпуске и не отвечал поэтому.

Сделал инструкцию по Analyst'у из .chm файлов. Полностью на русском языке, с оглавлением, метками для поиска и прочей лабудой.

Вообщем по запросу трудящихся.

Скачать можно здесь:

https://cloud.mail.ru/public/a5bf875af3c6/%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B0%D1%8F%20%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F%20ANB.pdf


Цитата:

Если можете посоветовать что-нибудь дополнительно - чудесно!

Не точно конечно, но вроде как массово изменять названия файлов можно в Total Commander.

Чтобы аналист кушал файлы, нужно изменить кодировку в вашей спецификации. На самой первой странице - слева внизу - "Кодировка" - можно поменять на UTF-8 , должно помочь.

Не поможет и ладно=)) Значит пока не хватило сил локализовать по-человечески!

Добавлено:
А если уж быть человеком сведущим, то посмотрите в сторону Bulk Import.
Если вы хотите держать данные в базе, строить запросы, формировать множества как вы говорили, делать пересечения, устанавливать Alert'ы то лучше тогда сюда

Цитата:

А если уж быть человеком сведущим, то посмотрите в сторону Bulk Import.

Gladstone
Не, не поможет (или я плохо разбирался). Объясню ПОЧЕМУ не подходит Bulk Import.

В BulkImport можно собрать только несколько подряд вызовов уже созданных спецификаций импорта. У меня порядка 150 файлов импорта - это мне придется создавать 150 отдельных спецификаций импорта на каждый файл. Плюс, как я уже писал ранее, в некоторых Excel файлах может быть по несколько листов с данными. Под каждый лист тоже надо создавать свою отдельную спецификацию импорта.


Простой пример:
У меня 3 входных файла импорта с одинаковой структурой:
File_1.xls
File_2.xls
File_3.xls

Я не могу создать одну спецификацию импорта и вызывать ее для разных файлов (меняя имя файла как входной параметр). Под каждый файл импорта надо будет создать свою спецификацию импорта. И потом уже в Bulk Import можно будет указать последовательный вызов этих трех спецификаций.

Может я не прав в моем понимании работы Bulk Import? У меня установлена версия iBase 8.9.5

Добавлено:
Gladstone

СПАСИБО БОЛЬШОЕ ЗА РУССКУЮ ИНСТРУКЦИЮ!!!


Цитата:

Сделал инструкцию по Analyst'у из .chm файлов. Полностью на русском языке, с оглавлением, метками для поиска и прочей лабудой.

Вообщем по запросу трудящихся.

Скачать можно здесь:

https://cloud.mail.ru/public/a5bf875af3c6/%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B0%D1%8F%20%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F%20ANB.pdf

Скачал, посмотрел. Реально очень удобно читать в одном файле PDF.
У меня планшет на Android, так и не смог подобрать удобных читалок CHM (у каждой из программ есть свои недостатки). PDF намного удобней читать.

P.S. Не разобрался про систему "плюсов" на этом форуме. А то бы с удовольствием поставил Вам плюсик

Цитата:

Может я не прав в моем понимании работы Bulk Import? У меня установлена версия iBase 8.9.5

Вы правы, я имел ввиду bulk import как удобный плагинчик, чтобы не запускать несколько окон iBase и импортировать одновременно в каждом окне по файлу. (Для скорости, если один файл настолько большой, что помещать в пакет не имеет смысла.)




Добавлено:
А вообще я думаю что iBase для того и придумали, чтобы не делать мозги кучей файлов с одними и теми же форматами данных, а подключаться к базе (ms sql), в который все цивилизованно складывается за день к примеру. Оттуда уже тянуть всю необходимую информацию через одну-две спецификации, запущенные через шедулер.

[ПОЛЕЗНЫЕ СОВЕТЫ: Как импортить файлы .xlsx в i2 ANB]

Вступление: За время интенсивной работы с продуктами i2 (Analyst's Notebook, iBase) набираются различные полезные советы. Думаю выкладывать их сюда по мере появления. Буду помечать такие советы заголовком "[ПОЛЕЗНЫЕ СОВЕТЫ]"

Столкнулся сам, получал отзывы от наших заказчиков по поводу данной проблемы. А именно:
- установлен i2 ANB
- установлен MS OFFICE 2010
- при попытке импортить файлы Excel с расширением .xlsx => ANB выдает такую ошибку:
=========
Не удается открыть файл данных 'D:\Биллинг_XLSX.xlsx'. Убедитесь, что Microsoft Excel правильно установлена.

Reported Error: Поставщик "Microsoft.ACE.OLEDB.12.0" не зарегистрирован на локальном компьютере.
=========

Засел за изучение этой проблемы, читал документацию на сайте Microsoft.
Проблема оказалась в том, что надо одновременно обеспечить поддержку драйверов OLE DB Providers одновременно для 32-х и 64-х разрядных версий.

На сайте тех.поддержки Microsoft решение этой проблемы описано так:
1)    Если уже установлен MS Office – удалить его (это, к сожалению, самая грустная часть решения проблемы)
2)    Установить 32-х разрядную библиотеку поддержки OLE DB Providers для MS Office.
Ссылка на сайт Microsoft для скачивания нужного файла:
http://www.microsoft.com/en-us/download/details.aspx?id=13255

По данной ссылке нужно скачать только один файл AccessDatabaseEngine.exe (это библиотека 32-х разрядных драйверов)

3)    Переустановить MS Office

К сожалению, на сайте тех.поддержки Microsoft сказано, что обратный порядок действий не возможен. То есть, нельзя сначала поставить MSOffice, а потом установить нужные 32-х разрядные библиотеки к нему.


Провел данный эксперимент на различных виртуальных машинах. В итоге, на всех моих виртуалках заработал импорт Excel файлов XLSX в i2 ANB!
Мои машины на которых все заработало:
1)    Win7x32; MS Office 2010;
2)    Win7x64; MS Office 2010;


Может кому данная информация будет полезна. Лично знаю, что данное решение позволило делать импорты XLSX файлов в i2 ANB (до этого импорт выдавал описанную мной ошибку) одному из наших заказчиков. Плюс импорт XLSX файлов в i2 ANB работает теперь и на моем компьютере

Инструкция класс! Четко и по существу. Спасибо что не пожалели личного времени!

Цитата:

Скачать можно здесь:

А у меня не открылась

Добавлено:
По биллингам:
Приходилось импортить более 200 тыс соединений из них 93 тыс были за три дня. Загвоздка была в том, что имелось три оператора, у каждого было по три четыре формата данных, надо было все свести в АНБ. Я настроил импорт в иБ для каждого формата, потом сделал одну конфигурацию в балк и загнал все. Теперь есть возможность все засосать в ИБ из папок. Это еще проще. Но все проблемы теперь забыты после работы на Mercure V.3. Там всасывается на раз-два, а на три-четыре ты делаешь анализ биллинга по многочисленным позициям. Проблема в том, что нет фирм, порядочных и желающих стать партнерами Меркурия. А сами они не в состоянии справиться с продажами и установками (за пять лет число стран-клиентов выросло с 3-х до 10) Но, ИМХО, разговоры о биллингах думаю тут лучше не вести.

Arbat

Цитата:

А у меня не открылась

См.ПМ

LIFA71
Спасибо.

Цитата:

См.ПМ

И от меня спасибо создателям и тем кто кинул мне))

Цитата:

Mercure V.3

Интересная штука. На одном из скриншотов есть значок для экспорта в ANB.

Такой некий Pattern Tracer по-французски!

Странно, а где скриншоты видели?... я в инете долго искал какую-либо инфу по меркури, но ничего не нашел..

[ПОЛЕЗНЫЕ СОВЕТЫ: Удаление "неправильных" телефонов со схемы i2 ANB с использованием регулярных выражений]

Вступление: На прошлой неделе столкнулся с такой интересной задачей.
Выложу здесь решение, может кому-нибудь будет интересно.

Постановка задачи: На схему i2 ANB произведен импорт данных биллинга сотового оператора.
Аналитика интересуют только номера относящиеся к звонкам между физическими лицами. Задача - убрать со схемы все "неправильные" номера (служебные номера сотового оператора, адреса интернет, услуги оператора и т.д.).

Чтоб было более понятно - приведу список телефонов присутствующих на схеме (реальные номера изменены):
=====================================
945
Dostup_k_011_031.01101.001501
MTC
MTS_gazeta
Payments
Vam_Zvonili:+74951112233
Ya_na_svyazi:+79851112233
79031111111
89052222222
4953333333
=====================================

Визуально видно, что последние 3 номера являются "правильными" номерами физических лиц,
остальные - служебные номера сотового оператора и номера услуг связи. Желательно удалить все "неправильные" номера со схемы, оставив только "правильные". После решения этой задачи на схеме должны остаться только такие номера:
=====================================
79031111111
89052222222
4953333333
=====================================

Примечания к постановке задачи:
а) точно известно, что на схеме не присутствуют международные номера.
б) лидирующий знак "+" был убран из всех номеров еще на этапе импорта
в) на схеме присутствует порядка 200 тысяч импортнутых телефонов, из них более 70% - служебный и технический мусор. Очистка схемы от "неправильных" телефонов существенно облегчит жизнь аналитика

Решение:
Для решения этой задачи я решил использовать поиск текста с использованием регулярных выражений.
Шаг 1. Выделить все объекты типа «Телефон».
Для этого можно использовать инструмент "Визуальный поиск...(F5)"

Шаг 2. Открыть диалог поиска текста (F3). Задать следующие параметры:
Найти: ^[7-8][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]$|^[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]$
Пометить: «Сложный поиск» «Регулярные выражения»
Пометить: «Область поиска», «Только выделенное»
Пометить: «Действие», «Удалить из выделенного»

Шаг 3. Выполнить поиск.
В результате поиска останутся выделенными только «неправильные» номера. Эти номера можно скопировать на отдельную схему для детального анализа, или сразу удалить

Примечание 1: В i2 ANB очень сильно ограничена поддержка регулярных выражений . Поэтому получается такая длинная строка для задания выражения для правильных номеров. К сожалению, нельзя задать количество искомых символов, типа [0-9]{10}. Чтоб не быть голословным - выдержка из файла справки i2 ANB по поводу поддержки регулярных выражений:
"Analyst's Notebook does not support extended regular expression combinations (), \(\), \>, \<, \{, \} and \digit"

Примечание 2: Если на схеме присутствуют международные имена - надо использовать более тяжелое регулярное выражение для учета возможных международных кодов. Как я уже сказал - поддержка регулярных выражений в i2 ANB чисто номинальна.
----------------------------------------------

Надеюсь, что данный пост может быть кому-нибудь полезным
Даже если и не стоит похожей задачи - все равно полезно напомнить про механизм регулярных выражений для поиска текста по сложным условиям.

Всем удачи!

Цитата:

Странно,  а где скриншоты видели?... я в инете долго искал какую-либо инфу по меркури,  но ничего не нашел..  

http://www.ockham-solutions.com/products/mercure/mercure.html

LIFA71
Весьма признателен за вариант решения. Оно вполне имеет право на жизнь.
Правда я предпочитал вырезать этот мусор из анализируемого массива при помощи Екселя.
ИМХО: избегал риска выйти за пределы возможности Ай-ту по количеству объектов+связей отображаемых на схеме.
А вообще... LIFA71, не хотели бы Вы более плотно пообщаться на форуме "Философия..." (окончание найдете).
Там эту практику можно обсудить более детально, причем, именно среди узких специалистов. Приглашаю.

Цитата:

Весьма признателен за вариант решения. Оно вполне имеет право на жизнь.

Гораздо удобнее пользоваться условным форматированием (в панеле задач шестеренка по-моему на вскидку). Надо найти формат по присвоению флагов страны импортным номерам и провести форматирования (иногда приходится чуть чуть отконфигурировать под ваш иконлист.
С условным форматированием можно делать целую кучу прибамбасов - я например окрашиваю и меняю толщину линий в зависимости от количества звонков, что весьма наглядно и намного более удобно чем настройка толщины и цвета во время импорта.
Кроме того можно определенной комбинации номеров присваивать свой шрифт с цветом. Ну и когда все отформатированно, через А5 достаточно выбрать те объекты и связикоторые Вы хотите оставить, а все остальное почикать парой кликов мышки.
Еще интересно при импорте сразу прописывать иконки у номера в Экселе или (!) что тоже интересно путем создания дополнительной колонки в момент настройки импорта и присовения ей иконки согласно первым трем цифрам слева по заранее подготовленному файлу, который может быть использован и в дальнейшем.
Также можно прописывать страну в атрибутах и фигачить все страны потом кроме номера с нужным вам атрибутом.
Ну и еще интересное наблюдение. Даже служебный номера и связи с ними (а также иностранные) номера могут быть весьма полезны, особенно при работе с хронологией.

А еще проще зайти в "список элементов" во вкладке фильтры и удалить все лишнее)

Цитата:

А еще проще зайти в "список элементов" во вкладке фильтры и удалить все лишнее)

Ну не совсем проще. Проще и удобней применять формат, потому что он остается постоянным при правильной настройке и может быть применен в остальных схемах. и удаляется все на дважды два.

Коллеги
следующие версии ПО канули в могилу.

iBridge User
V8.9.1 от 8 мая 2012 года

iBridge Designer
V8.9.1 от 8 мая 2012 года

Text Chart
V8.9 от 1 мая 2012 года

Pattern Tracer
V8.9 от 1 мая 2012 года

С этого года Текст Чарт -> Контент Аналитик
iBridge -> SDK или IBase+ORACLE
PT -> AN Premium


Добавлено:

Цитата:

"правильными" номерами физических лиц

Фото абонентов есть?

Цитата:

Коллеги
следующие версии ПО канули в могилу.

iBridge User
V8.9.1 от 8 мая 2012 года

iBridge Designer
V8.9.1 от 8 мая 2012 года

Bratec_Greem,

А что значит "канули в могилу"?

Прям по совпадению - только сегодня сам лично видел платежку на продажу лицензий на iBridge User и iBridge Designer одному из наших партнеров. Специально залез на сайт IBM - там на странице поддержки iBridge нет никакой информации о прекращении поддержки этих продуктов.

Можно немного поподробнее про это?

Для указанного ПО не предполагается расширение функционала и переход под новую линейку ПО IBM.

Остальное ПО предполагается расширять за счет дополнительных модулей. SPSS+Cognos и тд

Кстати кто не успел скачать инструкцию на русском и у вас анб 8.9.7, то можете не переживать... хэлп вам в помощь! ) он тоже на русском 1=1 =-)

А вот с хэлпом на русском для иБасе увы проблема...если есть у кого-нибудь что то подобное, будьте любезны

Просьба помочь понять идеологию i2 ANB Premium.

Народ, всем привет!

Есть кто-нибудь, кто реально работал на i2 ANB Premium? Хочу понять "идеологию" использования локального репозитория.

Для чего это нужно на практике? До сих пор я работал с обычными версиями i2 ANB (8.9.5; 8.9.7). Хочу придумать варианты использования i2 ANB Premium. Пусть даже это будут и надуманные (абстрактные) примеры.

Вопрос совсем не праздный. Цена Premium версии почти в 3 раза больше обычной версии i2 ANB. Мне нужно понять КАКИЕ реальные выгоды могут получить наши клиенты перейдя на Premium версию.

Большинство наших клиентов i2 ANB интересуют вопросы импорта и анализа телефонных биллингов. Как тут можно использовать новый функционал i2 ANB Premium - мне пока не очень понятно.

Если кто-нибудь что-нибудь подскажет/посоветует - буду благодарен!

А у Вас есть установки по АНБ Премиум?

Цитата:

А у Вас есть установки по АНБ Премиум?

У меня есть удаленный терминальный доступ к одному из клиентов с установленным i2 ANB Premium. Меня попросили изучить новые возможности данной системы и придумать варианты их использования.

Пока никаких преимуществ Premuim версии я понять не смог
Мне кажется, что iBase в связке с ANB выглядит более "гармонично", чем использование ANB Premium с локальным репозиторием.

Поэтому мне реально интересно было бы пообщаться с практическими пользователями ANB Premium.

Цитата:

Хочу понять "идеологию" использования локального репозитория.  
 
Для чего это нужно на практике?

Так узнайте у своего клиента которому вы его продали --->>


Цитата:

У меня есть удаленный терминальный доступ к одному из клиентов с установленным i2 ANB Premium.

Зачем то он ведь купил его в три дорога=))


На мой личный вкус:
1. Premium = ANB + iBase, причем так наскоряк слепленно, что часть жизненоважных функций iBase куда-то потерялось.

2. К локальному репозиторию подключаться кроме вас никто не может (используя сеть). Для этого теперь есть портал.
3. Дизайнер ANB напоминает iBase Designer, опять же корявенький.
4. Перевод настолько г..М...дрильский, что пугает.

Как активировать режим "Case Control" при создании новой базы данных в iBase?

Всем привет!

Знатоки iBase, подскажите, пожалуйста. Имею такую систему:
1) iBase 8.9.5
2) MS SQL Server Express 2008

Хочу попробовать создать базу данных в iBase с режимом "Case Control". В файле HELP для iBase Designer сказано так:
-----------------------
Notes
- Case control can only be applied to SQL Server databases.
- You cannot use both Standard (SCC) Control and Case Control in a database. You need to decide which of these security methods is the most suitable for your requirements.
- You cannot initialize a database for replication when you have activated case control. You cannot activate case control in a replicated database.

Activating case control in a new database
When you create a new database, you can set up case control in that database before any data has been added to it.
1. In the Create New Database dialog, click the Advanced tab to display the Advanced page.
2. Select the Case Control option.
-----------------------

Если коротко перевести на русский, то смысл такой:
- "Case Control" может быть активизирован только при создании базы под MS SQL Server (это условие выполняется)
- нельзя активировать режим "Case Control" на "replicated database"
- для активации "Case Control" при создании новой базы iBase надо пометить опцию "Case Control" на закладке "Advanced"

У меня на закладке "Advanced" НЕТ такой опции "Case Control"

Мои действия по шагам:
1) Меню File => New Database...
2) задаю имя новой БД: TEST_SQL_CASES
3) Закладка "Configuration". Выбираю Database Type: SQL Server
Задаю правильное имя сервера, выбираю опцию "Use Windows Authentication"
4) Закладка "Template". Выбираю "пустой" шаблон "<Blank>"
5) Закладка "Advanced". Там НЕТ нужной мне опции "Case Control"

В чем может быть дело?

Цитата:

У меня на закладке "Advanced" НЕТ такой опции "Case Control"

Переведите последнее словосочетание.

Gladstone


Цитата:

Переведите последнее словосочетание.

Я имею в виду, что у меня на закладке "Advanced" нет никаких опций похожих на "Case Control".
Перечислю доступные опции на моей вкладке "Advanced":
1) Текстовое поле "Database Identifier"
2) Текстовое поле "Extra Detail Field for Audit Log"
3) Чекбокс "Soft Delete"
4) Чекбокс "Read Only"
5) Чекбокс "Restrict SCC lists to accessible items only"
6) Список выбора "First Day of Week"

Все, больше никаких опций нет.


Добавлено:
По поводу "Case Control" я нашел еще такую информацию в файле справки:
----------------
Notes
Before you can create a case, you need to activate the database for case control; see Activating Case Control for details. You cannot use case control if IBM i2 iBase Database Replication is installed on your machine. You cannot use cases with Scheduler.
----------------

Основная мысль, что нельзя активировать "Case Control" если установлен IBM i2 iBase Database Replication или Scheduler.

Сейчас буду проверять это...

Цитата:

Сейчас буду проверять это...

Тормози. у меня и то и другое стоит и все нормально.

Попробуй переставить iBase, только установку не стандартную делай, а кастомную, указав все пункты включая платные функции.