[firebase-br] Importar dados FB

[samuel ferreira]

bom, no email eu falei duzentos mil e nao dois milhoes. eu nao lembro qt
tempo mas nao foi assim tao significativo.

fiz uns testes aqui, bem simples, com uma tabela com 2 campos e dois
indices, utilizando o d7, com fb 1.5
criei um arquivo dbf, com 200000 mil registros e fiz uma qry pra dar insert
(sem sp)

com uma transacao demorou 4:42 minutos
comitando de 200/200 demorou 4:02
comitando de 1000/1000 demorou 4:07
comitando de 10/10, demorou 8:16 minutos

no meu caso o ideal seria de 200/200. os mestres ai me ajudem, mas esse n.
vai depender do tamanho dos dados q trafega para gravacao, memoria do
servidor, page size, etc.

mas mesmo assim, pra 30 horas ainda to achando demorado

qq coisa, tamos ai

samuel




Em 03/01/06, josauro em casasoft.inf.br <josauro em casasoft.inf.br> escreveu:
>
> Nessa sua importaçao vc gravava em muitas tabelas ?
> Eu tenho o cadastro do cliente bem separado, tipo um arquivo para dados
> basicos, outro para enderecos, outro para telefone, email, etc..etc..
> entao
> sao uma duzia de tabela que sao gravados para cada registro lido mas mesmo
> assim acho que nao poderia demorar tanto, qto tempo vc demorou par
> aimportar
> 2000000 registros >?
>
> ----- Original Message -----
> From: "samuel ferreira" <samuel.peres.ferreira em gmail.com>
> To: "FireBase" <lista em firebase.com.br>
> Sent: Tuesday, January 03, 2006 5:57 PM
> Subject: Re: [firebase-br] Importar dados FB
>
>
> eu ja tive esse problema, mas consegui, comitando a cada 500 registros.
> funcionou certinho. tinha +- 200000 registros.
>
> de um em um ficou lento. e um commit so tb ficou bem lento
>
> se quiser mandar o arquivo pra teste, eu tento aqui.
>
>
> Em 03/01/06, josauro em casasoft.inf.br <josauro em casasoft.inf.br> escreveu:
> >
> > Ja tentei a cada registro, a um bloco de N registros, mas muda pouco, eu
> > nao
> > entendo o porque de ir ficando lento e CPU do micro fica em 100% ate
> > depois
> > de terminar
> >
> > ----- Original Message -----
> > From: "samuel ferreira" <samuel.peres.ferreira em gmail.com>
> > To: "FireBase" <lista em firebase.com.br>
> > Sent: Tuesday, January 03, 2006 3:57 PM
> > Subject: Re: [firebase-br] Importar dados FB
> >
> >
> > vc esta fazendo a transacao com qts registros?
> >
> > Em 03/01/06, josauro em casasoft.inf.br <josauro em casasoft.inf.br> escreveu:
> > >
> > >
> > > Estou precisando migrar os dados de um sistema antigo (paradox) para
> FB,
> > > (estrutura totalmente diferente).
> > > Ocorre que ao importar uma tabela de
> > clientes/enderecos/anotacoes  100,000
> > > registros clientes (leva 30 horas) e o sistema vai degradando a medida
> > que
> > > importa mais registros, qdo finaliza o acesso aos dados e novas
> > inclusões
> > > são rapidos.
> > > Como não preciso dos indices para inclusão, desativo todos eles, toda
> > > inclusao de registros feitas com Stored Procedure.
> > > Alguem saberia dizer se isso é normal no FB, ou existe algo que devo
> > estar
> > > esquecendo de fazer correto.?
> > >
> > > Josauro
> > >
> > >
> > > ______________________________________________
> > > FireBase-BR (www.firebase.com.br) - Hospedado em www.bavs.com.br
> > > Para editar sua configuração na lista, use o endereço
> > > http://mail.firebase.com.br/mailman/listinfo/lista_firebase.com.br
> > > Para consultar mensagens antigas: http://firebase.com.br/pesquisa
> > >
> > ______________________________________________
> > FireBase-BR (www.firebase.com.br) - Hospedado em www.bavs.com.br
> > Para editar sua configuração na lista, use o endereço
> > http://mail.firebase.com.br/mailman/listinfo/lista_firebase.com.br
> > Para consultar mensagens antigas: http://firebase.com.br/pesquisa
> >
> >
> > ______________________________________________
> > FireBase-BR (www.firebase.com.br) - Hospedado em www.bavs.com.br
> > Para editar sua configuração na lista, use o endereço
> > http://mail.firebase.com.br/mailman/listinfo/lista_firebase.com.br
> > Para consultar mensagens antigas: http://firebase.com.br/pesquisa
> >
> ______________________________________________
> FireBase-BR (www.firebase.com.br) - Hospedado em www.bavs.com.br
> Para editar sua configuração na lista, use o endereço
> http://mail.firebase.com.br/mailman/listinfo/lista_firebase.com.br
> Para consultar mensagens antigas: http://firebase.com.br/pesquisa
>
>
> ______________________________________________
> FireBase-BR (www.firebase.com.br) - Hospedado em www.bavs.com.br
> Para editar sua configuração na lista, use o endereço
> http://mail.firebase.com.br/mailman/listinfo/lista_firebase.com.br
> Para consultar mensagens antigas: http://firebase.com.br/pesquisa
>