Массовое удаление записей через CCADOConnection

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

Переделал на удаление через delete_from по частям (по 100000 записей)
Удаление 600000 записей - 1 час, удаление 1200000 записей - 2 часа
Удаление 600000 записей напрямую в SQL Server Management Studio - 16 минут.
Собственно, почему я не хотел использовать delete_from, надеялся, что будет работать быстрее, но, похоже, не судьба...

Такая разница во времени означает прежде всего, что в Аксапте операция удаления выполняет больше действий, чем в SQL Server Management Studio.

В Аксапте отрабатывается каскадное удаление (или запрет удаления) и так далее.
Вам Shirmin Oleg, неоднокрартно говорилось, а вы не слушаете. Что delete_from работает с точно такой же скоростью, что и команда из SQL Server Management Studio, если не нужно выполнять дополнительных действий и проверок.

Почитайте наконец http://msdn.microsoft.com/en-us/library/aa849875.aspx

И вместо того, чтобы "надеятся", просто разберитесь со своими настройками в Аксапте. Уберите лишние действия/настройки. И будет вам такая же скорость.

Если же некоторые настройки лишними не являются, то своей суперскоростной командой из SQL Server Management Studio вы просто нарушаете целостность данных.

[S.Kuskov]

Цитата:

Сообщение от Shirmin Oleg

Переделал на удаление через delete_from по частям (по 100000 записей)

Каким образом реализовали удаление по частям? Индекс соответствующий условию выборки присутствует? Если не по частям а за один раз, то так же долго?

[mazzy]

кроме того, первоначальный запрос

Цитата:

Сообщение от Shirmin Oleg

  sql = strfmt("delete from SALESTABLE_TONTRA40478 where SALESTABLE_TONTRA40478.month = '%1'", date2str(01\03\2010, 321, 2, 3, 2, 3, 4));

по-моему, удаляет данные изо всех компаний.
а delete_from только из текущей.

вы можете по человечески описать что делаете, с какими условиями, какие настройки, какие запросы уходят у вас на SQL в результате команды delete_from и т.п.

[Shirmin Oleg]

Delete actions на данной таблице нет, метод delete не перекрыт, перед удалением есть след код:

          table.skipDatabaseLog(true);
          table.skipDeleteActions(true);
          table.skipDeleteMethod(true);

Хотя это в данном случае излишне.

Уважаемый Mazzy, подскажите, пожалуйста, с какими еще настройками я "должен разобраться"?

[Shirmin Oleg]

Цитата:

Каким образом реализовали удаление по частям?

В цикле проверяю наличие записей за нужный период, находу самый младший recid, запускаю delete_from с ограничением по периоду и от младшего recid, до += размер удаляемого блока записей (recid идут подряд, т.к. таблица заполняется в один прием), после этого опять проверяю наличие записей в таблице

Цитата:

Индекс соответствующий условию выборки присутствует?

Есть индекс по recid и (неуникальный) по периоду

Цитата:

Если не по частям а за один раз, то так же долго?

Если за один раз, то еще дольше (примерно раза в два)

[S.Kuskov]

Попробуйте посмотреть какой SQL запрос уходит в БД

И ещё пальцем в небо. RLS на удаляемой таблице не настроено?

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

Delete actions на данной таблице нет, метод delete не перекрыт, перед удалением есть след код:

          table.skipDatabaseLog(true);
          table.skipDeleteActions(true);
          table.skipDeleteMethod(true);

Хотя это в данном случае излишне.

Уважаемый Mazzy, подскажите, пожалуйста, с какими еще настройками я "должен разобраться"?

таблица в map'ах присутствует?
таблица во view перечислена?
таблица входит в виртуальные компании?

вообще говоря, это офигенно странный способ задавать вопросы: типа, перчислите все что у меня может быть.

Блин, расскажите по-человечески что вы там делаете.
То, что вы делаете skip перед удалением вообще только сейчас всплыло.
Разбирайтесь.

Цитата:

Сообщение от mazzy

Почитайте наконец http://msdn.microsoft.com/en-us/library/aa849875.aspx

Цитата:

Сообщение от S.Kuskov

И ещё пальцем в небо. RLS на удаляемой таблице не настроено?

и это проверьте.

Барабашки нет!
Посмотрите какие запросы уходят из Аксапты в вашем случае.
Разберитесь почему так и из-за каких настроек.

ЕЩЕ РАЗ: вам было истинно сказано в самом начале:

Цитата:

Сообщение от lev

delete_from должно удалить данные одним запросом к базе, т.е. делает тоже самое, что Вы делает через CCADOConnection.

просто вы слушать не хотите.

[Shirmin Oleg]

Цитата:

RLS на удаляемой таблице не настроено?

Нет, не настроено.
Таблицы в map'ах нет, во view тоже не используется, в вирт. комп. не входит

  table.skipDatabaseLog(true);
  table.skipDeleteActions(true);
  table.skipDeleteMethod(true);

  delete_from table where table.Month == _month;

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка:

Трассировка SQL

DELETE FROM SALESTABLE_TELECOMPHONTRA40478 WHERE ((DATAAREAID=?) AND (MONTH=?))

INSERT INTO SYSDATABASELOG (DATA,USERNAME,DESCRIPTION,LOGTYPE,TABLE_,LOGRECID,CREATEDBY,CREATEDTRANSACTIONID,DATAAREAID,RECVERSION,RECID) VALUES (?,?,?,?,?,?,?,?,?,?,?);SELECT CREATEDDATETIME FROM SYSDATABASELOG WHERE RECID = ? AND DATAAREAID = ?

Естественно, при удалении через SQL Management этой вставки нет.

[lev]

Цитата:

Сообщение от Shirmin Oleg

Нет, не настроено.
Таблицы в map'ах нет, во view тоже не используется, в вирт. комп. не входит

  table.skipDatabaseLog(true);
...

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка...

Очень странно... skipDatabaseLog(true) вызывается именно для того что бы исключить эту вставку... У меня Ахарта 3.0 SP3, и лог таким способом нормально отключается. Возможно это уже новшества в 4.0 и 2009, или что - то где то допилено, что бы эта вставка была в любом случае.

[S.Kuskov]

Цитата:

Сообщение от Shirmin Oleg

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка:

А в лог заносится запись именно об удалении строки из SALESTABLE_TELECOMPHONTRA40478?
Чему равны поля LOGTYPE и TABLE_?

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка:

Вы можете по-человечески и полностью показать код?

[Vadik]

Цитата:

Сообщение от Shirmin Oleg

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка

Знаю, что дурацкий вопрос, но все же: зачем на таблице из которой надо периодически удалять 600000 записей (а я так понимаю, что перед тем как что-то удалить, это что-то надо туда сначала записать), настраивать Database log ?

[George Nordic]

А тормоза при удалении или при вставке?

С Уважением,
Георгий

[Shirmin Oleg]

Трассировку проверял в 2009, никаких допиливаний для того, чтобы в SysDataBaseLog вставка была в любом случае нет.

[Shirmin Oleg]

Цитата:

А в лог заносится запись именно об удалении строки из SALESTABLE_TELECOMPHONTRA40478?
Чему равны поля LOGTYPE и TABLE_?

В 4.0 в лог вообще ничего не пишется.
В 2009 в лог пишется после каждой отработки delete_from (один раз на один удаляемый блок). LogType = Delete, Table - 40478 (ид. SALESTABLE_TELECOMPHONTRA40478) Так что запись в лог не тормозит, тормозит сам delete_from.

  SALESTABLE_TELECOMPHONTRA40478 table;      
  int64                                    firstRecid, lastRecid;
  int                                      count2Del = 100000;
  ;
  select count(recid) from table where table.Month == _month;
  if(table.RecId > count2Del)
        {
          while (true)
            {
              if((select firstOnly TELECOMPHONTRA40478 where              TELECOMPHONTRA40478.month == _month).recid != 0)
                {
                  select minof(recid) from table where table.Month == _month;
                  firstRecid = table.RecId;
                  lastRecid = firstRecid + count2Del;
                  select maxof(recid) from table where table.month == _month;
                  if(table.RecId < lastRecid)
                    lastRecid = table.RecId;

                  table.skipDatabaseLog(true);
                  table.skipDeleteActions(true);
                  table.skipDeleteMethod(true);

                  delete_from table where table.Month == _month && table.RecId >= firstRecid && table.RecId <= lastRecid;
                }
              else
                break;
            }
        }
      else
        {
          table.skipDatabaseLog(true);
          table.skipDeleteActions(true);
          table.skipDeleteMethod(true);

          delete_from table where table.Month == _month;
        }

[SRF]

А сколько времени удаляются из AX 600000 записей (не по частям) ?

table.skipDatabaseLog(true);
delete_from table where table.Month == _month;

[S.Kuskov]

Цитата:

Сообщение от SRF

А сколько времени удаляются из AX 600000 записей (не по частям) ?

Цитата:

Сообщение от Shirmin Oleg

Если за один раз, то еще дольше (примерно раза в два)

.

[S.Kuskov]

А если ради эксперимента отключить через Администрирование логирование удалений в этой таблице?

P.S. Mazzy, а вы говорили, что у меня код сложный
Массовое удаление записей через CCADOConnection

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

Так что запись в лог не тормозит, тормозит сам delete_from.

Да что ж за человек то, а?

А что пишется в лог?
Туда пишется информация об одной записи или о всех удаленных?
Напомню, что в databaselog информация об изменениях находится в blob-поле в виде контейнера.

[Shirmin Oleg]

Цитата:

Сообщение от S.Kuskov

А если ради эксперимента отключить через Администрирование логирование удалений в этой таблице?

У нас эта таблица не включена в логирование именно потому, что там много данных и они могут периодически заменяться. Логирование не тормозит, в моем случае запись в лог происходит всего 6 раз за всю процедуру удаления, тормозит сама обработка delete_from (100000 записей - примерно 10 минут)