DBF без ODBC - Страница 2 - DAX: База знаний и проекты

02.03.2006, 12:56

Цитата:

Сообщение от Recoilme

Ваше подозрение оправдано. Например если через драйвер фокспро файл из 100 000 строк создается порядка 5-10 минут - то напрямик в файл - 1-2 секунды. Правда это напрямик, без длл- ек.

Вот-вот и я о том же

KSS · 02.03.2006, 13:01

Цитата:

Сообщение от Recoilme

Ваше подозрение оправдано. Например если через драйвер фокспро файл из 100 000 строк создается порядка 5-10 минут - то напрямик в файл - 1-2 секунды. Правда это напрямик, без длл- ек.

У Фокспро всегда не как у людей.
По факту, если брать драйвер ДБФа, то разницы особой нет.
К тому же, если писать напрямую в текст, то возникает вопрос, как отслеживать ограничения...

Recoilme · 02.03.2006, 13:06

Цитата:

Сообщение от KSS

У Фокспро всегда не как у людей.
По факту, если брать драйвер ДБФа, то разницы особой нет.
К тому же, если писать напрямую в текст, то возникает вопрос, как отслеживать ограничения...

Судя по "По факту" - пробовал что-ль? Брал драйвер ДБФа и писал в файл? Какой драйвер? За сколько записал n строк?
Если я "просто не умею их готовить" - верну репутацию взад

KSS · 02.03.2006, 13:14

Да, было дело, когда приперло писать данные в ДБФ, а настраивать ДСНы казалось несистемным, просто почитал МСДН и сделал универсальные классы, которые конфигурируют драйверы ODBC.
Драйвер как раз "Microsoft dBase Driver (*.dbf)" четвертой версии (фокспро, если посмотришь, вообще дальше первой не пошел).
Стотыщ не писали, помницца, тысяч 20 с выборкой в и обработкой в Аксапте писалось несколько секунд. Не 1-2, но что-то около 7-10, точно не мерял - давно было.
Я далеко не программист, если чо - просто было интересно, да и нужно сильно, поэтому приходилось разбираться.
Так же ради интереса я нашел-таки способ перекрывать в "Программных" диалогах стандартные обработчики. Хотя решение не особо красивое.

А нафига репутация тут нужна, кстати? За нее денег платят по итогам года?

Recoilme · 02.03.2006, 15:00

Цитата:

Сообщение от KSS

Да, было дело, когда приперло писать данные в ДБФ, а настраивать ДСНы казалось несистемным, просто почитал МСДН и сделал универсальные классы, которые конфигурируют драйверы ODBC.
Драйвер как раз "Microsoft dBase Driver (*.dbf)" четвертой версии (фокспро, если посмотришь, вообще дальше первой не пошел).
Стотыщ не писали, помницца, тысяч 20 с выборкой в и обработкой в Аксапте писалось несколько секунд. Не 1-2, но что-то около 7-10, точно не мерял - давно было.
Я далеко не программист, если чо - просто было интересно, да и нужно сильно, поэтому приходилось разбираться.
Так же ради интереса я нашел-таки способ перекрывать в "Программных" диалогах стандартные обработчики. Хотя решение не особо красивое.

А нафига репутация тут нужна, кстати? За нее денег платят по итогам года?

Взял драйвер "Microsoft dBase Driver (*.dbf)", версия 4.0
Написал вот такой джоб:

PHP код:


			
static void ip_vkul_testMSDbase(Args _args)

{

    COM                 cn = new COM('ADODB.Connection');

    int                 i;

    TimeOfDay           time2,time = TimeNow();

    ;

    cn.open("Data Source=dBASE Files");

    time2 = TimeNow();

    for (i=0;i<20000;i++)

    {

        cn.execute("INSERT INTO test (test) VALUES ('супер тест')");

    }



    info("Время: "+time2str(TimeNow()-time,0,0)+ " Вставка: "+time2str(TimeNow()-time2,0,0));

}

Вроде никаких особых выборок и обработок...Время вставки,
3 минуты 38 секунд

Научите, меня, товарищ не-программист, что я не так делаю??? Ну пожалуйста...........

А репутация нужна , на мой взгляд, чтобы пустоболов от нормальных людей отделить

Владимир Максимов · 02.03.2006, 15:11

Цитата:

Сообщение от KSS

Да, было дело, когда приперло писать данные в ДБФ, а настраивать ДСНы казалось несистемным, просто почитал МСДН и сделал универсальные классы, которые конфигурируют драйверы ODBC.
Драйвер как раз "Microsoft dBase Driver (*.dbf)" четвертой версии (фокспро, если посмотришь, вообще дальше первой не пошел).

Дальше "первой" чего? Версии ODBC?

FoxPro остановился на 6 версии ODBC. Дальше был выпуск только ADO под 9 версию. (Для справки, вышел Service Pack к 9 версии собственно Visual FoxPro)

Если речь о файлах DBF, то существует "вагон и мальнекая тележка" версий собственно файлов DBF.

FoxPro создал 5 или 6 собственных модификаций формата DBASE. Т.е. есть отличия в структуре данных фалов DBF.

Именно поэтому, когда говорят "сделал универсальные классы" - не верю

. Скорее всего, речь идет о каком-то одном формате файлов DBF из всей возможной кучи.

Если говорить о скорости, то ODBC - это универсальное решение, рассчитанное на решение многих задач. Не только вставки записей. Разумеется, он будет несколько проигрывать процессу, "вылизанному" только под задачу вставки данных.

Но здесь каждый решает сам, что важнее. Скорость или универсализм.

Recoilme · 02.03.2006, 15:35

Цитата:

Сообщение от KSS

У Фокспро всегда не как у людей.

P.S.
"Microsoft dBase Driver (*.dbf)", версия 4.0
Время вставки 100000 записей - 17:11

ФоксПро, Provider=VFPOLEDB.1
Время вставки 100000 записей - 2:50

Job тот же.

Время вставки напрямую в файл: 5 секунд

KSS · 02.03.2006, 15:44

Цитата:

Сообщение от Владимир Максимов

Дальше "первой" чего? Версии ODBC?

FoxPro остановился на 6 версии ODBC. Дальше был выпуск только ADO под 9 версию. (Для справки, вышел Service Pack к 9 версии собственно Visual FoxPro)

Если речь о файлах DBF, то существует "вагон и мальнекая тележка" версий собственно файлов DBF.

FoxPro создал 5 или 6 собственных модификаций формата DBASE. Т.е. есть отличия в структуре данных фалов DBF.

Именно поэтому, когда говорят "сделал универсальные классы" - не верю

. Скорее всего, речь идет о каком-то одном формате файлов DBF из всей возможной кучи.

Если говорить о скорости, то ODBC - это универсальное решение, рассчитанное на решение многих задач. Не только вставки записей. Разумеется, он будет несколько проигрывать процессу, "вылизанному" только под задачу вставки данных.

Но здесь каждый решает сам, что важнее. Скорость или универсализм.

Универсальность в части использования любого двайвера ODBC без настройки ДСН.
То. что файлов море и, опять же, море дополнительных драйверов - неоспоримо.

Recoilme · 02.03.2006, 15:54

Моя воля - расстреливал бы парочку консальтантов до начала проекта

KSS · 02.03.2006, 15:56

Писят шесть секунд...

Recoilme · 02.03.2006, 15:57

Job в студию

KSS · 02.03.2006, 16:00

Твой джоб, я в ДСН поставил монопольный доступ.
Мож просто от компьютера зависит?

KSS · 02.03.2006, 16:06

Но ради справедливости скажу, что вставка текстом БЕЗ всяких индексов и проверок будет быстрее.
Если все же, нормальную работу рассматривать, как работу с сохранением целостности, то, наверное, не стоит велосипед изобретать...

А стрелять не нужно не разобравшись. Радикализм - не признак зрелости личности

Recoilme · 02.03.2006, 16:14

Цитата:

Сообщение от KSS

Твой джоб, я в ДСН поставил монопольный доступ.
Мож просто от компьютера зависит?

Не верю (с)
3:33 в эксклюзив моде.

Вставь 100000 и доложи о результатах. Приврать не забудь:

Цитата:

Сообщение от KSS

Стотыщ не писали, помницца, тысяч 20 с выборкой в и обработкой в Аксапте писалось несколько секунд. Не 1-2, но что-то около 7-10, точно не мерял - давно было.

Наверно выборки и обработки были проще чем в этом джобе

KSS · 02.03.2006, 16:19

Угу, была вставка слова из трех букв

Окей, запиши погрешность в шесть раз - наврал - не десять секунд, а минута.
Можешь вычесть еще одно очко

Если не веришь - запусти на терминальном сервере у себя и посмотри, чо будет.
Приврать тоже не забудь, а то чистота эксперимента теряеццо.

garu · 02.03.2006, 16:31

Вы это, определитесь кто что тестирует. Импорт или Экспорт

ИМХО - ODBC аццтой!!!

KSS · 02.03.2006, 16:41

Цитата:

Сообщение от garu

Вы это, определитесь кто что тестирует. Импорт или Экспорт

ИМХО - ODBC аццтой!!!

Хаха...в точку, кстати...
Это надо обязательно отразить в репутации.

Recoilme · 02.03.2006, 16:46

Цитата:

Phoenix (16:21:02 2/03/2006)
20 000 строк

Phoenix (16:21:16 2/03/2006)
старая выгрузка = 3 мин 49 секунд

Phoenix (16:21:27 2/03/2006)
новая выгрузка = 18 сек

старая выгрузка - это выгрузка реальной таблицы с кучей полей на "тормозном фокспрошном драйвере", который делает МС драйвер по быстродействию раза в 4 минимум.

новая выгрузка - напрямую в файл.
Обработка на сервере.

Погрешность у тебя не в 6 раз, а 3 мин 49 = 229сек * 4 раза медленней драйвер = 916 сек
И выборки-обработки -запись - у тебя были 7-10 секунд (точно ты не мерял

) => 916 / 10 = 91 раз

Вот за такую погрешность я бы и ставил к стенке

PS: всё. утомил ты меня. пошёл работать

KSS · 02.03.2006, 16:54

Хорошо, Вадим, уел, в данном случае мне легче согласиться, я не обладаю столь значительной вычитслительной мощью и терпением

Посмотри на погрешность финансистов при распределении затрат и ты станешь добрее к людям.

Да, иди отбей хоть часть зарплаты.

garu · 02.03.2006, 17:00

Нет такого кода, который нельзя было бы соптимизировать !!!
Бессмысленный спор я думаю. Все зависит от постановки задачи. Кого то устроит и 1 час, а кого то и 5 секунд много. Работайте работайте господа

Похожие темы
Тема	Автор	Раздел	Ответов	Посл. сообщение
Выгрузка из ODBC	naf	DAX: Программирование	9	25.12.2008 19:07
почти DBF	Gorlum	DAX: Программирование	3	17.03.2006 12:52
ODBC/ADO	Alexis	DAX: Программирование	6	22.12.2005 18:50
Импорт из DBF : кириллица	Mechanizm	DAX: Программирование	8	29.09.2004 18:31
Достать данные из DBF в форму	edd	DAX: Программирование	29	06.02.2003 21:01