Тормозит Экспорт/Импорт данных

[Serge Kotov]

Цитата:

Сообщение от st_msav

Хочу я, собственно, перевести БД на Оракл. И это есть цель, которая поставлена заказчиком. Единственное требование - вложиться в срок не более 2,5 суток, в самом крайнем случае - 3 суток.

Это действительно цель или один из способов решения некой задачи? Не будет ли "заказчик" потом разачарован результатами?

[db]

2 st_msav: идеями я делюсь; готовыми средствами, с помощью которых наша компания зарабатывает себе на жизнь - нет.

2 vadik: базы ФУНКЦИОНАЛЬНО один в один - никто все таблицы 1 в 1 не копирует. Процесс двухступенчатый - сначала развертывание другой БД с идентичной лицензией и конфигурационными ключами, потом перенос пользовательских данных. Но это не "подводные камни", а мой предыдущий пост не пошаговая инструкция по переносу.

2 komar: Использовать, не использовать, спорить, ругаться, доказывать - это личное дело каждого. Доказывать свою правоту или не правоту не собираюсь - наверное слишком старый стал

Успехов.

[Vadik]

Цитата:

Сообщение от db

2 vadik: базы ФУНКЦИОНАЛЬНО один в один - никто все таблицы 1 в 1 не копирует. Процесс двухступенчатый - сначала развертывание другой БД с идентичной лицензией и конфигурационными ключами, потом перенос пользовательских данных

Да, это я уже понял. А что, DTS некорректно экспорт делает, если приходится через linked server скриптом данные заливать?

[sukhanchik]

пусть меня подправит db (если я ошибаюсь, т.к. я такое не делал) - но как я понял из обсуждения - скрипт нужен для того чтобы пробежаться по сделанной таблице соответствий и программно сгенерировать запросы insert into ... select. Ибо DTS-ом - можно - но вручную окучить 2000 таблиц (ну пусть даже в 2 раза меньше) - дольше нежели сделать скрипт, генерирующий скрипт

[st_msav]

Цитата:

Сообщение от mazzy

Заказчиком?!
Забавно...

А что Вас в этом удивляет? У заказчика есть свой собственный IT-отдел, сотрудники которого ведут разработку своего собственного программного обеспечения. Они же поддерживают функционирование серверов. Там же и определяется все информационная политика. Я думаю, что никто тут не станет спорить, что Аксапта используется компаниями ради самой Аксапты...

[st_msav]

Цитата:

Сообщение от db

2 st_msav: идеями я делюсь; готовыми средствами, с помощью которых наша компания зарабатывает себе на жизнь - нет.

А я без претензий на эту тему. Наоборот, весьма благодарен за конструктивный ответ.

[glibs]

Цитата:

Сообщение от st_msav

...
при выполнении операции импорта данных система где-то начинает зацикливаться, т.е. резурсы процессора отъедает, а объем БД практически не изменяется.
...

Вот и мне захотелось перелить данные из Oracle на MS SQL... нет, я конечно знал, что тормозит... но чтобы настолько...

проблема возникает с таблицами, для которых включены свойства CreatedTransactionId и ModifiedTransactionId. Например, когда у меня начала заливаться LedgerTrans, то скорость импорта достигла 4-х записей в секунду. При этом ax32.exe отъедает ресурсы процессора.

Я пока остановился на двух вариантах борьбы с проблемой. Вариант №1 — закоментарить в Classes\SysDataImport\importBuffer две следующих строчки кода

this.updateTransactionId(_oldTableId, _oldCreatedTransactionId, _oldModifiedTransactionId);
this.updateTransactionIdReference();

Коментарить нужно в двух местах.

Решение кривое, но быстрое. При импорте после таких модификаций умирает аудит, но для проведения разработки (и тестирования) данные будут вполне вменяемые.

Также я думаю над вариантом №2. Суть в том, чтобы не пересчитывать RecId Created/ModifiedTransId. Т.е. закачать как есть, а потом сдвинуть значения в SystemSequence (зарезервировав правильное количество кодов записей через класс). В общем, он очень похож на решение с MS DTS, но реализуем в Аксапте и снимает некоторые сложности с SqlSystemVariables и именами полей, которые были перечислены выше.

Предварительный эксперимент пока дал положительные результаты. База 1.5 ГБ (файл данных, в MS SQL 2.8 ГБ с индексами получилось) загрузилась в пределах полутора часов на лаптопе (хоть и мощный, но не сервер все таки). Планирую продолжить опыты в будущем.

Преимуществом варианта является то, что его можно параллелить (наиболее крупные таблицы тянуть параллельно, выделив их в отдельную группу), так как RecId не пересчитываются. Также при понимании дела с помощью него можно перенести несколько компаний, которые имеют общие данные в виртуальных компаниях.

Естественно, такой вариант прокатит только в случае, если компани переливается целиком, а в заливаемой компании нет данных. Для объединения двух компаний, например, такой вариант не подойдет. Но для миграции с Oracle на MS SQL (или наоборот), думаю, сможет подойти.

[DmitrySt]

А стандартные Аксаптовские проверки логической целостности данных до (на старом сервере) и после (на новом) запускались? Как результаты?

[glibs]

Не запускались.