Update millions of records

[Ion]

Привет,

Написал скрипты по интеграции нескольких сущностей. Нужно с SQL вытянуть 5 милионов записей и потом обновить их в СРМ Online системе. В общем - сплошная боль, даже с балками перфоманс очень посредственный. Вытянуть за раз 5 тысяч, обновить 1 тысячу, как Вы живете с проектами в которых нужны такие массовые операции? Многопоточность не поможет ибо все запросы становяться в очередь, и все следующие запросы будут ждать выполнения. Как жить в таких условиях?

Результаты следующие:
- retrieve 5000 = 30 сек, итого только 8,3 часов чтобы вытянуть 5 млн записей
- update 1000 = ~2 минуты, итого только 83,33 часов для апдейта
- select from SQL by Id 5000 records == 10 минут (слабое место, оптимизирую)

Нет плагинов на сущности, + там еще операция назначения.

[Ion]

Вот такой код, как бы его оптимизировать

        public void StartOneByOneProcesssing()
        {

            int queryCount = 5000;
            int pageNumber = 1;
            int recordCount = 1;
            Boolean hasRecords = true;

            PagingInfo pagingInfo = new PagingInfo();
            pagingInfo.Count = queryCount;
            pagingInfo.PageNumber = pageNumber;

            EntityCollection results = null;

            var requestWithResults = CreateExecuteMultipleRequest();
            Lead sfLead = null;

            while (hasRecords)
            {

                try
                {
                    // Retrieve the page.
                    swXrm.Start();
                    results = _xrmLeadService.GetByQueryExpression(GetQueryExpression(queryCount, pageNumber, results?.PagingCookie));
                    swXrm.Stop();

                    Console.WriteLine("Elapsed XRM ={0}", swXrm.Elapsed);

                    swXrm.Reset();


                    hasRecords = results?.Entities?.Count > 0;

                    if (results.Entities != null)
                    {
                        var ids = results.Entities.Select(e => e.GetAttributeValue<string>("new_sfdcid")).ToArray();

                        swOneBuOnekSql.Start();
                        var sfLeads = _sfleadService.GetLeads(ids);
                        swOneBuOnekSql.Stop();
                        Console.WriteLine("Elapsed SQL One By One ={0}", swOneBuOnekSql.Elapsed);
                        swOneBuOnekSql.Reset();

                        Console.WriteLine("Page cokie = {0}", results?.PagingCookie);

                        swBulkSql.Start();
                        foreach (var xrmLead in results.Entities)
                        {
                            try
                            {
                                var sfdcid = xrmLead.GetAttributeValue<string>("new_sfdcid");
                                sfLead = sfLeads.FirstOrDefault(e => e != null && e?.Id == sfdcid);
                                
                                if(sfLead != null)
                                {

                                    Entity updatedXrmLead = _leadMapping.Create(xrmLead, sfLead);

                                    UpdateRequest update = new UpdateRequest { Target = updatedXrmLead };
                                    requestWithResults.Requests.Add(update);
                                    _userService.AssignLead(sfLead, updatedXrmLead.Id, xrmLead.GetAttributeValue<EntityReference>("ownerid")?.Id);

                                } else
                                {
                                    _logger.WriteUpdateLog(new UpdateLog("lead", sfLead?.Email ?? xrmLead.GetAttributeValue<string>("emailaddress1"), "not found in sql", sfLead?.Id ?? xrmLead.GetAttributeValue<string>("new_sfdcid")));
                                }

                                if(requestWithResults.Requests.Count == 1000)
                                {
                                    Stopwatch OneThousandRecords = new Stopwatch();

                                    OneThousandRecords.Start();

                                    var responseWithResults = _xrmLeadService.ExecuteMultipleRequest(requestWithResults);
                                    OneThousandRecords.Stop();

                                    Console.WriteLine($"1000 processed in {OneThousandRecords.Elapsed}");

                                    //foreach (var responseItem in responseWithResults.Responses)
                                    //{

                                    //    // An error has occurred.
                                    //    if (responseItem.Fault != null)
                                    //        DisplayFault(requestWithResults.Requests[responseItem.RequestIndex],
                                    //            responseItem.RequestIndex, responseItem.Fault);
                                    //}
                                    requestWithResults.Requests.Clear();
                                }

                            }
                            catch (Exception ex)
                            {
                                var sb = ParseError(ex);
                               _logger.WriteErrorLog(new ErrorLog("lead", sfLead?.Email, sb.ToString(), sfLead?.Id));

                            }

                        }

                        recordCount += queryCount;
                    }
                    swOneBuOnekSql.Stop();

                    Console.WriteLine($"Fetching page  {pageNumber} and total leads processed {recordCount} in {swOneBuOnekSql.Elapsed}");
                    swOneBuOnekSql.Reset();

                    pageNumber++;
                }
                catch (Exception ex)
                {
                    hasRecords = false;
                    Console.WriteLine(ex.ToString());
                }
            }
            Console.WriteLine($"************** One by one processing of leads finished ****************");
        }

[ZooY]

Цитата:

Сообщение от Ion

... как Вы живете с проектами в которых нужны такие массовые операции?..

Проекты, в которых нужны такие массовые операции хромают на обе архитектурные ноги...

[Ion]

Цитата:

Сообщение от ZooY

Проекты, в которых нужны такие массовые операции хромают на обе архитектурные ноги...

Причём тут архитектура решения? Мы говорим о возможностях апи, а кейсы могут быть разными : например первичную заливку делала компания А, они неправильно залили часть данных, клиент решил исправить ситуацию через n времени и нанял компанию Б. И вот сотрудники Б сталкиваются с ограничениями в системе.
Понятное дело в большенстве случаев такой надобности нет, но в любом случае CRM online имеет очень много 'неудобств' для рядовых разработчиков из-за ограничений

[ZooY]

Косяки одних разработчиков, создающие проблемы другим разработчикам не являются ограничениями системы.

[Ion]

Цитата:

Сообщение от ZooY

Косяки одних разработчиков, создающие проблемы другим разработчикам не являются ограничениями системы.

Я не хочу разводить холивар о возможностях системы при работе с большими объемами данных. Очевидно, что в онлайн решения много ограничений и это факт. Меня больше интересует можно ли увеличить batch size как раньше делали через UpdateAdvancedSettingsRequest, сейчас этот класс стал закрытым и в доках я не нашел ответа.
Как вариант написать майкрософт и попросить их это сделать

[Bondonello]

Для разовой операции можно использовать дев версию этого продукта https://www.kingswaysoft.com/product...ductivity-pack
Есть возможность менять Batch size да и просто изучите их блог и мануалы, там много инсайдов найдете

[Ion]

Цитата:

Сообщение от Bondonello

Для разовой операции можно использовать дев версию этого продукта https://www.kingswaysoft.com/product...ductivity-pack
Есть возможность менять Batch size да и просто изучите их блог и мануалы, там много инсайдов найдете

Спасибо, гляну.

[ZooY]

Для разовой операции проще использовать SSIS/ У того же KingswaySoft есть компоненты (источники, приемники) для работы с CRM https://www.kingswaysoft.com/product...t-dynamics-365. Для разовых операций компоненты бесплатны. Сам не делал но знаю что в SSIS можно распараллеливать потоки обработки, тем самым можно попытаться снизить время обработки.

[a33ik]

Поддержу высказавшихся и буду рекомендовать Kingsway Soft адаптер. На что также рекомендую обратить внимание - "Enable Multithreading" опцию - https://www.kingswaysoft.com/product...rm/destination это должно снизить время на выполнение обновления записи.

[Ion]

Ребята, спасибо за ссылки, несомненно попробую в следующем проекте, пока оставил как есть т.к. мапинг уже написал и логика готова. На переписать времени не дают)

[Bondonello]

Цитата:

update 1000 = ~2 минуты, итого только 83,33 часов для апдейта

Этого времени хватит с головой

[Ion]

Его и хватило) И все получилось, просто хотелось лучше, быстрее))