Como Fazer–Ferramenta Analisa Conversão RM Classis para TOTVS Educacional

Produto: Analisa Conversão                                                 Versão: 4.0.0

Processo: Conversor de base de dados do RM Classis para o TOTVS Educacional (RM Classis Net)

É interessante fazer a leitura do processo de conversão e entender dos conceitos que estão relacionados antes de continuar a leitura.

Analisa conversão
O “Analisa conversão” é uma ferramenta para auxiliar no processo de migração. A ferramenta permite fazer alterações na tabela CONTROLECONVERSOR, também limpa os dados do Totvs Educacional para migrar os dados novamente e facilita a análise do log.

Conexão
O “Analisa conversão” pode ser utilizado apenas com o banco de dados SQL Server. Basta informar o Servidor, Banco, Usuário e Senha e clicar no botão “Conectar”.

Aba “Acompanhar Conversão”



Ao clicar no botão “Atualizar” o sistema verifica a tabela CONTROLECONVERSOR e exibe o status da conversão.


Ao clicar no botão “Remover marcados” todos os registros marcados no grid serão removidos da tabela CONTROLECONVERSOR.



Ao clicar no botão “Setar status para:” todos os registros marcados no grid receberão o status indicado na tabela CONTROLECONVERSOR.


Ao clicar no botão “Cancela ultima conversão” os registros com status “Convertendo” receberão o status “Pendente”, para executar os conversores novamente.


Lembrando que estas operações apenas alteram a tabela CONTROLECONVERSOR, não desfazendo alterações em outras tabelas que podem ter sido feitas por algum conversor.

Aba Verificar base (Pré-Conversão)


Antes de realizar o teste de conversão, clique no botão Analisar. A ferramenta verifica a base e lista possíveis inconsistências que poderão complicar a conversão ou impedir que alguns registros sejam migrados.
Leia atentamente cada mensagem e as instruções ou sugestões para correção da falha. Lembrando que ajustes de inconsistências na base são de responsabilidade do cliente.

Aba Limpa conversão



Este recurso limpa os dados das tabelas do TOTVS Educacional. O objetivo é que as tabelas sejam limpas para eliminar dados incorretos ou refazer uma migração. Você pode marcar a opção para “Manter tabelas do processo seletivo”, caso contrário todas as tabelas serão selecionadas.

Ao clicar no botão “Limpa conversão”, o sistema seleciona as tabelas do TOTVS Educacional e tabelas criadas na conversão que possuam registros e exibe para o usuário. O usuário deverá marcar as tabelas que não devem ser limpas.



Tabelas com valores padrões do TOTVS Educacional já vem marcadas como sugestão para que os valores sejam mantidos. É necessário que verifique a lista e marque as tabelas que deseja manter.
Clique no botão “Continuar” para limpar as tabelas.
O sistema tentará truncar a tabela. Caso não seja possível truncar será executado um delete para limpar a tabela.



O ícone de notificação exibirá balões com informações sobre o processo de exclusão. No término da exclusão, o sistema exibirá a tela abaixo para corrigir a GAUTOINC.



Clique no botão “Analisar”. Você poderá remover os campos que possuem valor registrado clicando no botão “Remover marcados”.
Após corrigir a GAUTOINC, você poderá excluir os campos complementares criados. Basta marcar os campos e clicar no botão “Remove campos complementares”.



Após remover os campos complementares, o sistema exibirá as tabelas que possuem lote de conversão.



É necessário marcar as tabelas e clicar no botão “Remove lotes” para que seja possível executar novamente o conversor que utiliza o campo de lote desta tabela.
Com todos estes processos executados, a migração poderá ser executada novamente.

Aba Log de migração



Caso a conversão esteja em andamento ou já tenha sido executada, basta clicar no botão “Atualizar” para que o grid exiba os detalhes do que foi registrado pelo log.
Ao encontrar alguma situação que precisa ser analisada, como “porque todas as disciplinas da grade não foram convertidas”, você poderá dar um duplo clique no registro para verificar os detalhes desta conversão. Lembrando que é comum não bater exatamente a quantidade de registros devido a alterações de regras entre os sistemas Classis e o TOTVS Educacional. Um registro do TOTVS Educacional pode representar vários registros do Classis Ensino Superior, por exemplo.



Nesta tela você poderá verificar a consulta que foi utilizada pelo conversor para selecionar os dados, quais campos foram utilizados na origem e quais campos receberam dados no destino. Observe que o campo Log texto (importado) não possui informações. Você poderá importar o log para auxiliar na análise.
Na aba do “Log de migração”, clique no botão “Importar log txt”.


O sistema irá solicitar a coligada e o sistema que receberão os dados do log. Informe os dados e clique em “Selecionar”.






Selecione o arquivo de log.














Os conversores que apresentaram mensagens ficam marcados em vermelho.


Ao clicar novamente no registro referente às disciplinas filhas, o log é exibido.


Caso não haja nenhuma informação no log texto, sugiro que execute a consulta utilizada para selecionar os registros. O registro que não foi inserido poderia estar “duplicado” ou ser inconsistente. Como informamos no início deste documento, vários registros podem não ser convertidos devido a inconsistências na base ou pelo TOTVS Educacional ter um comportamento diferente dos sistemas básico e superior.



Ao clicar no botão AutoInc, o sistema exibirá uma tela para verificar os dados da GAUTOINC. É importante para verificar se os dados foram atualizados corretamente.



Caso verifique que o “VALAUTOINC” é menor que o “MAIOR VALOR”, marque o registro e clique em “Corrigir marcados”.

Ao clicar no botão “Campos complementares” a ferramenta exibe uma lista dos campos complementares migrados, caso seja necessário conferir ou remover.



Ao clicar no botão “Lotes de conversão” a ferramenta exibe a lista de lotes criados na conversão. Pode ser necessário remover algum lote para executar novamente o conversor, pois os lotes são utilizados para marcar os registros que já foram convertidos.






Ao clicar em relatórios, três opções são exibidas para analisar.







O relatório de Log de migração exibe uma lista com a quantidade de registros que foram convertidos por cada conversor. Informa também quando a conversão foi iniciada e concluída e o usuário que realizou a conversão.
Os registros verdes são os que a quantidade de origem e fim são iguais. Registros em vermelho têm a quantidade de dados na origem maior que a quantidade de destino. Registros com a cor preta têm a quantidade de dados do destino maior que a origem.



O relatório de Origem e destino dos dados exibe a consulta utilizada para selecionar os dados de origem e quais são os campos de origem e destino dos dados.



O relatório de Resumo migração exibe uma lista com as tabelas que o conversor tentou inserir registros e a quantidade de registros inseridos.



Em caso de dúvidas, entre em contato com o nosso suporte técnico. Para facilitar o atendimento, disponibilize a base de dados no ponto em que o problema da conversão ocorreu. Lembrando que certos problemas podem ocorrer em um cliente e não ocorrer em outros devido à forma que o ensino básico e superior são utilizados e parametrizados.

Aba Regras conversor


Geralmente em cada conversor, um conjunto de dados é selecionado de uma ou mais tabelas e inserido na tabela destino (TOTVS Educacional), porém, pode ser necessário tratar a informação antes de inserir.
Nesta aba, disponibilizamos as regras utilizadas pelo conversor para tratar algum dado antes de inserir na tabela de destino.
Caso fique na dúvida quanto a alguma conversão e necessite de alguma regra que o Analisa Conversão ainda disponibilizou, por favor, abra um atendimento realizando a solicitação de uma regra que adicionaremos na ferramenta. No momento, é inviável analisarmos todo o conversor para disponibilizar todas as regras, mas aos poucos vamos disponibilizando.
Este documento lhe foi útil? Comente, critique, tire suas dúvidas e dê sugestões!

Como Fazer–Entenda o conversor TOTVS Educacional (RM Classis Net)

Produto: RM Conversor                                                                Versão: 4.0.0

Processo: Entenda o conversor de base de dados do RM Classis para o TOTVS Educacional (RM Classis Net)

Antes de você ler este documento é interessante que veja o Como Fazer sobre o processo de conversão do RM Classis para o TOTVS Educacional.

Aqui você poderá conferir informações técnicas. É uma forma de aprofundar sobre os processos internos que acontecem quando o Conversor do RM Classis para o TOTVS Educacional é executado. Portanto, é interessante que você já tenha uma noção sobre este procedimento.

1. Conversor

A ferramenta de conversão é composta por um grupo de conversores. Cada conversor realiza a conversão de um determinado grupo de dados.

          Exemplo: O conversor de matrícula (ConvMatricula) converte os dados da matrícula. O conversor de contratos (ConvContrato) converte os dados referentes à contrato e parcelas.

Os conversores possuem dependências, pois para converter determinada informação pode ser necessária a informação gerada em uma conversão anterior.

          Exemplo: É necessário converter o curso para obter o código novo do curso que será necessário na conversão da grade.

2. Controle do conversor.

O conversor utiliza uma tabela de controle chamada CONTROLECONVERSOR para registrar quais conversores estão pendentes ou foram executados ou estão em conversão. Nesta tabela é armazenado o código da coligada, código do sistema (básico ou superior) o nome técnico do conversor, o código do status da conversão (1 = convertido, 2 = convertendo e 3 = pendente) e o usuário que realizou a conversão.

Caso seja necessário interromper a conversão o status do registro referente ao conversor que estava em execução estará como convertendo (2) na tabela CONTROLECONVERSOR. Caso o usuário execute novamente o conversor o processo não será continuado. Exceto quanto o conversor for paralelo, pois mesmo estando em execução por qualquer máquina, o conversor irá continuar o processo.

Caso seja necessário executar novamente um conversor, é necessário alterar o status do registro referente ao conversor desejado para pendente na tabela CONTROLECONVERSOR.

3. Conversão em paralelo.

O conversor também pode ser executado em paralelo. Basta clicar no botão “mais” (caso as configurações não estejam sendo exibidas) e marcar a opção “Execução simultânea em outras máquinas”. Não é necessário marcar os conversores para a execução, pois o próprio conversor decidirá a ordem da conversão de acordo com as dependências.

Ao executar o conversor em mais de uma máquina os conversores irão buscar o conversor que estiver livre de dependências para ser executado.

Conversores que convertem um grande número de dados (matrículas e financeiro, por exemplo) são executados em lotes. O conversor cria um campo (LOTECONVERSAO) em uma tabela de origem dos dados onde ele faz o controle dos registros que estão em processo de conversão.

Por exemplo: Caso duas máquinas estejam convertendo os contratos de uma base de dados em paralelo, a primeira cria a coluna LOTECONVERSAO na tabela EALUSERV e marca os primeiros 25000 registros com o nome da máquina e usuário logado concatenado com o caractere 1 (RM0004084-lucas.torres-1), indicando que está convertendo aqueles registros. A segunda máquina vê que a coluna já está criada e marca os primeiros 25000 registros disponíveis (que estejam com valor nulo) indicando que está convertendo. E continuam neste processo até completar a conversão desta tabela.

Caso seja necessário executar novamente um conversor que utilize lotes de conversão, além de alterar a tabela de controle do conversor, o usuário precisará limpar a coluna LOTECONVERSAO da tabela que aquele conversor utiliza. O usuário também poderá remover esta coluna, pois o conversor criará novamente durante o processo.

Recomendamos executar o conversor apenas em uma máquina e adicionar mais máquinas apenas durante a execução de conversores que convertem uma grande quantidade de dados em paralelo.

4. Tabelas temporárias

Alguns conversores criam tabelas temporárias para auxiliar no processo. Geralmente quando novos códigos são criados e são relacionados a registros que serão convertidos posteriormente então o conversor cria uma tabela temporária para que seja possível associar facilmente o registro do ensino básico ou do ensino superior com o registro do TOTVS Educacional.

Por exemplo, ao converter os horários, a tabela TEMPHORARIO é criada. Esta tabela armazena o código antigo do horário (CODHOR) e o novo código de horário criado (CODHORNOVO). Desta forma é possível trabalhar a informação de horário nas próximas tabelas a serem convertidas.

As tabelas temporárias não são excluídas após o processo de conversão e é importante que sejam mantidas sem alterações. Caso ocorra alguma falha, estas tabelas são muito importantes para a análise.

5. Log de migração na base de dados

A partir da versão 4.0.0.19 o conversor cria a tabela SLOGMIGRACAO. Nesta tabela são armazenadas informações para auxiliar na análise da conversão. Você pode verificar qual tabela recebe os registros processados por um determinado conversor, ou quantos registros foram selecionados na origem e qual a consulta foi utilizada para realizar a seleção dos dados a serem processados.

O log guarda o registro da tabela principal de cada conversor e, na maioria dos casos, também as tabelas temporárias. Caso alguma tabela não tenha sido registrada será necessário solicitar que o conversor seja alterado para disponibilizar esta informação.

6. Log de migração em arquivo texto

Durante o processo de conversão, a ferramenta registra em um arquivo texto (log) as mensagens ocorridas. Geralmente, as mensagens ocorrem por algum tipo de inconsistência na base, impossibilitando a inserção do registro novo. É importante que o usuário que está realizando a conversão observe os detalhes do log, pois pode esclarecer o motivo da não inserção de alguns registros.

O log pode exibir mensagens tratadas que exibem informações sobre casos mais comuns.

No caso da mensagem acima, indica que não faz sentido ter uma disciplina filha com o mesmo código da disciplina pai e por este motivo o registro não foi inserido.

O log também pode exibir mensagens que não são tratadas que exibem informações retornadas pelo banco de dados ou informações retornadas por alguma falha de tratamento pela aplicação.

A mensagem acima é retornada pela aplicação, que recebeu um valor diferente do esperado e não conseguiu realizar o tratamento. Neste caso foi um valor string que tentou ser inserido em um campo numérico.

Mensagens deste tipo podem ocorrer por alguma falha na integridade da tabela de origem dos dados ou porque há a necessidade de ajustar o conversor, pois recebeu uma informação diferente dos casos previstos.

A mensagem acima é retornada pelo banco de dados, que não conseguiu inserir o registro por regras de integridade do banco de dados. A tabela SBOLSAALUNO possui uma coluna chamada CODUSUARIO que iria receber um valor que não exista na tabela GUSUARIO. O banco de dados bloqueou a inserção porque existe uma chave estrangeira que não permite este tipo de situação. Provavelmente o usuário que realizou a operação foi excluído da GUSUARIO. Caso o registro realmente deva ser inserido, é necessário que a base de dados seja corrigida.

A mensagem acima é retornada pela aplicação, indicando que houve uma falha na conexão com o banco de dados. Neste caso, o serviço do banco de dados caiu durante a conversão.

7. Tuning

O tempo de conversão depende do volume de dados que a base de dados do cliente possui. Muitas tabelas temporárias são criadas e utilizadas em relacionamentos durante os processos de conversão. Em alguns casos este relacionamento pode não ser indexado. Também pode haver consultas que relacionam tabelas do TOTVS Educacional com tabelas do Ensino básico e superior. Portanto, caso seja necessário, criar índices ou atualizar estatísticas do banco de dados pode dar mais agilidade ao processo de conversão.

Caso um processo de conversão esteja muito demorado, um usuário avançado em banco de dados poderá verificar na tabela SLOGMIGRACAO a consulta que está sendo executada e analisar se há a necessidade de criar algum índice para agilizar o processo.

Quando uma conversão está sendo processada, mas a barra que exibe o percentual concluído daquele conversor está crescendo lentamente, certamente é devido ao grande volume de dados e um processo de tuning seria desnecessário. Este procedimento é útil para os casos em que o conversor aparenta estar travado, mas está “processando” alguma consulta pesada.

Esta explicação lhe foi útil? Comente, critique, tire suas duas dúvidas e dê sugestões!

Como Fazer - Conversor de base de dados do RM Classis para o TOTVS Educacional (RM Classis Net)

Produto: RM Conversor                                                           Versão: 4.0.0.2

Processo: Conversor de base de dados do RM Classis para o TOTVS Educacional (RM Classis Net)

Introdução

Este passo a passo explica como o RM CONVERSOR deve ser parametrizado. Este procedimento converte uma base do Corpore com o sistema RM Classis Ensino Superior e Básico ao novo sistema TOTVS Educacional. Observe as informações que estão nos passos, principalmente no que diz respeito a Scripts e Backup.

A partir da versão 4.0.0.2 o conversor está apto a ser executado em paralelo. Uma ou mais máquinas podem executar o conversor simultaneamente.

Atualmente o RM Conversor está disponível nas versões 10.76, 10.80, 11.0 e 11.20. Sua função é migrar os sistemas RM Classis Ensino Básico ou Superior para o TOTVS Educacional em sua respectiva versão. Não é possível converter o sistema e a versão da base em um único processo. Esta migração ocorre de forma automática necessitando apenas de algumas configurações ao longo do processo. Veja algumas observações:

O usuário para a migração deve ter permissão de SYSDBA no banco de dados.

Durante a migração a base de dados deve estar em modo off-line para acesso dos usuários. O tempo de migração depende do tamanho da base e dos recursos físicos disponíveis para tal. O conversor pode ser executado de forma paralela em outras máquinas o que agiliza muito o processo.

Para a migração, os logs de auditoria devem estar desabilitados bem como todas as triggers relacionadas às tabelas de sistemas da TOTVS. A seguinte sentença retorna um script para desabilitar triggers.

SELECT DISTINCT 'ALTER TABLE ' +OBJECT_NAME(PARENT_OBJ)+' DISABLE TRIGGER ' + NAME FROM SYSOBJECTS WHERE TYPE='TR'

Alguns dados não são completamente migrados, pois funcionam de formas diferentes entre os sistemas. Como por exemplo:
O cadastro de formulas é uma cópia simples, porém as funções são distintas no Totvs Educacional e devem ser refeitas. Os relatórios não são migrados, pois o novo gerador de relatórios funciona em outra tecnologia e com novas funções.

O cadastro de turnos (ETURNOS) deve ter os campos Hora Inicial e Hora Final preenchidos. Todas as turmas (UMATTURMA) do Ensino Superior devem ter os turnos preenchidos. – Exemplos:

UPDATE ETURNOS SET HORINI = '07:00', HORFIM = '12:40' WHERE CODTURNO = 1;
GO
UPDATE ETURNOS SET HORINI = '14:00', HORFIM = '18:00' WHERE CODTURNO = 2;
GO
UPDATE ETURNOS SET HORINI = '18:20', HORFIM = '22:40' WHERE CODTURNO = 3;
GO
SELECT CODCUR, CODPER, GRADE, CODTUN, *
FROM UMATTURMA
WHERE CODCUR IS NULL OR CODPER IS NULL OR GRADE IS NULL OR CODTUN IS NULL

Clientes que possuem integração com o TOTVS Processo Seletivo podem fazer a migração normalmente observando apenas que as novas Pessoas cadastradas receberão os últimos códigos do auto-incremento.

1 – Tela de informações importantes para a conversão.

Estas informações devem ser assimiladas na primeira vez que o conversor for executado.

2 – Configurações do banco de dados.

Selecione dentre as opções criadas no BDE qual será o banco de dados a converter. Também é necessário informar o Usuário e Senha de conexão. Este usuário deve ter permissão de executar sentenças SQL do tipo DDL e DML na base de dados.

3 – Seleção do sistema e Log.

Nesta tela é possível visualizar a versão em que a base selecionada se encontra e configurar onde deve ser gravado o arquivo de Log. O sistema pode ser escolhido como Ensino Básico ou Superior. Cada sistema tem suas particularidades e por isso as conversões são distintas. Para iniciar, clique em “Iniciar Conversão”.

4 – Inicio da Conversão.

Selecione a coligada que será convertida. Para esta coligada cadastre abaixo os Níveis de ensino que serão utilizados no Totvs Educacional. Após cadastrar os níveis de ensino clique no terceiro ícone da barra de Níveis de ensino para salvar o cadastro.

5 – Frame de configuração de conversores

- Clique no sinal de “mais” ao lado do label “Coligada” para exibir os conversores a serem executados e as opções de configuração do conversor.
- O Conversor “Contexto” não pode ser desmarcado, ele é sempre executado.
- Para executar alguns conversores em individual, desmarque o parâmetro “Executar todos os conversores em paralelo”.
- Clicando como botão direto em cima dos grupos de conversores pode-se selecionar todos os conversores daquele grupo ou ate mesmo todos os conversores.
- O Parâmetro “Executar conversores pendentes ao finalizar o ultimo conversor” deve ser utilizado somente quando o conversor for executado em paralelo, ou seja, mais de uma maquina executando o conversor e convertendo a mesma base.
Se você não tem conhecimento da execução paralela de conversores não utilize este parâmetro.
- Clique em avançar para começar a conversão.

A partir deste momento o conversor solicitará algumas intervenções:

Seleção de usuários que podem acessar e visualizar os dados das filiais e níveis de ensino.

 Conversão dos cursos do Classis para o TOTVS Educacional.

 Seleção de Disciplinas que estão disponíveis nos níveis de ensino do TOTVS Educacional. (Nesta tela são apresentadas apenas as disciplinas que estão sem vínculo com os cursos.)

  Períodos Letivos.
Nesta tela são indicados quais os períodos letivos são oferecidos nas filiais e níveis de ensino. Neste momento os períodos letivos ainda não estão associados a nenhuma filial ou nível de ensino.

  Cursos por filiais.
Nesta tela você indica a disponibilidade dos Cursos/habilitações nos turnos, filiais e níveis de ensino.

  Turmas.
Nesta tela ocorre a conversão das Turmas do Classis para o TOTVS Educacional.

  Associação de Cursos do TOTVS Educacional com os Cursos do Classis.

  Representação de alunos pela mesma pessoa.
Nesta tela é necessário indicar quais dos cadastros da pessoa estão com os dados corretos.

  Finalização e Log
A conversão foi concluída e o Log será exibido ao clicar em Terminar.

6 – Teste de conversão

1) Restaure o backup da base em que o teste será realizado.

2) Acesse o aplicativo Analisa Conversão e conecte na nova base.

3) Acesse a aba Limpa conversão e clique no botão “Limpa conversão”:

               a) Na tela com a lista das tabelas, clique em continuar para iniciar a limpeza.

                b) Aguarde a conclusão do processo. Na tela de Campos complementares, não há a necessidade de remover. Basta clicar no “x” para dar continuidade.
                c) Na tela dos lotes de conversão, não marque lotes de tabelas temporárias, pois foram limpas, e clique no botão “Remove lotes”.
                d) Pronto. O processo de limpeza dos dados foi concluído.

4) Agora no Analisa Conversão, acesse a aba “Verificar base (Pré-conversão)” e clique no botão Analisar.

5) Informe o código da coligada.

6) Caso haja alguma inconsistência para o nível de ensino que irá converter, favor verificar. Caso não haja pode dar continuidade no processo.

7) Execute o conversor e selecione o nível de ensino e informe o nome do Log.

8) No conversor, selecione a coligada, informe o nível de ensino e clique no botão para salvar o nível.

9) Clique no sinal “+” ao lado da coligada para exibir a lista de conversores.

10) Marque todos os conversores e clique em Avançar para iniciar o processo de conversão.

Não é recomendado que apenas alguns conversores sejam marcados e executados, pois grande parte deles possui dependências. Portanto podem ocorrer falhas se um conversor anterior não for executado por depender do dado tratado.

Sempre que ocorrer uma falha no processo de conversão e for necessário um novo teste, execute o processo de limpeza dos dados antes de executar para garantir que nenhum dado antigo atrapalhe o processo.

Sempre que for necessário acionar o nosso suporte para analisar alguma informação e for necessário disponibilizar o backup da base, cuide para que ele esteja no ponto em que a falha ocorreu, pois facilitará a análise.

Fim!

  Este documento foi útil para você? Ainda tem dúvidas? Fale conosco!
Nos dê sugestões de melhorias e faça suas críticas!