migration tool을 이용해 대용량의 xml 파일을 큐브리드 서버로 마이그레이션 중입니다.
xml 파일의 크기는 약 7기가 정도 됩니다.
xe가 주요 내용이라 comment나 document 테이블의 용량이 큰 편인데 수백만건이 되는 xe_comments 테이블은 별 이상 없이 마이그레이션이 되었는데 xe_documents나 기타 몇 몇 테이블에서는 테이블의 데이터 적재 실패가 발생합니다.
이렇게 데이터 적재 실패가 발생하는 원인에는 어떤 것들이 있을까요?
1. 원본 DB가 깨져서 그런걸까요? 그렇다면 REPAIR 작업 후에는 괜찮아 질런지요?
2. 아니면 xml 파일을 생성하는 과정이나 xml 파일을 클라이언트 컴퓨터로 다운로드 받는 중 에러가 발생했을까요? 어떤 경우의 수가 있을 수 있는지 알려주시면 마이그레이션 작업에 도움이 될 것 같습니다.
3. 또는 큐브리드 서버와의 통신문제일까요? 방금 마이그레이션이 진행되는 동안 메니저 프로그램으로 접속을 시도했더니 서버 접속에 실패했거나 time out이 되는 경우가 발생하고 있습니다. 이럴 때는 어김 없이 적재 실패가 나오는 것을 보면 이것도 원인이 될 수 있겠네요. 기본 설정으로 500건씩 처리하고 있는데 처리건수를 좀 낮추면 괜찮아 질까요?
그리고 이건 추가질문인데
1. 마이그레이션 클라이언트에서 처음에 xe 스키마를 이용해 쉬운 변환인가? 에 체크하면 xml파일 확인 후 다음 버튼을 아무리 눌러도 마이그레이션 대상 테이블을 설정하는 단계로 넘어가지가 않습니다. 무슨 이유일까요?
2. 이처럼 중규모 이상의 mysql 데이터 베이스를 마이그레이션 할 때 팁 같은 것은 없을까요? 모든 DB를 한방에 xml로 만들고 변환하려니 파일도 커지고 시간도 많이 걸리고 중간에 에러가 나면 다시 마이그레이션 하기도 힘들더라고요. 테이블 별로 쪼개서 해야 하는 건지... 고민이 많습니다. 도와 주시면 감사하겠습니다.
1) 이번주 내에 CMT 새 버전이 나오는데, 해당 부분에 개선이 있을 것 같습니다. 로컬로 받으신 XML을 쿼리로 변환하는 과정에서 xe_document 에서 에러가 발생하는 것으로 추정하고 있습니다. CMT가 DB로 INSERT문을 실행하는 과정 중에 커넥션이 끊기는 경우 이를 적절하게 처리하지 못하고 Hang되는 현상을 발견하였습니다. 여러가지 원인이 있을 수 있기 때문에 도구개발팀이 패치하고 있습니다.
2) 중급이상의 mysql -> cubrid로 전환할 때 xml로 내리신후 다시 cubrid로 로드하는 것보다는 CMT의 온라인 마이그레이션을 통해 MySQL 온라인 서버에 접속하여 CUBRID로 이전할 수도 있습니다.
3) xe 스키마를 이용한 변환 옵션을 누르는 경우, 테이블 선택하는 단계를 생략하고 일괄로 작업을 하였으나 불편함이 있어서 이번주에 나오는 패치에서 해결하는 것으로 논의하였습니다. 패치 나오면 댓글로 알려 드리도록 하겠습니다.