Background Image

FORUM

조회 수 9534 추천 수 0 댓글 3
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
Window7 32bit, Linux 64bit 등
CUBRID Ver.
[cubrid_rel] 수행 결과
CUBRID TOOL Ver.
[도움말]-[버전정보] 확인
응용 환경(API)
java, php, odbc 등 입력

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------
안녕하세요 큐브리드 샤드에 대해서 질문이 있습니다.

현재 자바로 샤드 데이터베이스 4개에 데이터를 insert하기 위해 prestatement를 사용하는데요

데이터를 1만개 넣는다고 가정을 하면

for( int i = 0 ; i < 10000; i++){
pstmt.setInt();

pstmt.setString();

등등 총 16개의 애트리뷰트가 있습니다.

pstmt.executeUpdate();

connection.commit();

}

이런식으로 매번 커밋을 해주는데요 이렇게 하니깐 insert시간이 상당히 많이 걸리더라구요.. 

1만개 넣는데 8분정도 10만개는 1시간이 넘개 걸립니다. 그래서 executeBatch를 사용하려고하니 릴리즈노트에 

샤드 데이터베이스에서는 사용이 안된다고 에러가 떠서 해결방법을 모르겠네요ㅜㅜ


for( int i = 0 ; i < 10000; i++){
pstmt.setInt();

pstmt.setString();

등등 총 16개의 애트리뷰트가 있습니다.

pstmt.executeUpdate();

}

connection.commit();

for문 밖에 커밋을 한번 하고싶은데 이렇게하면 Cannot communicate with the broker or received invalid packet 에러가 뜨구요...


insert 시간을 줄이는 다른 방법 없을까요?? 제발 도와주세요ㅜㅜ


  • ?
    이용미 2014.11.10 20:56

    안녕하세요.

    말씀하신 것처럼, 건건이 Commit 이외의 한꺼번에 Commit을 수행하거나, 특정 건수마다 Commit을 수행하는 것은 Shard 구조에서 불가능합니다.

    하나의 트랜잭션은 오진 하나의 shard DB에서만 수행이 가능한데, 위 같은 경우, 하나의 트랜잭션이 여러개의 shard DB에서 수행하려고 하는 것이기 때문입니다.(참고 : 매뉴얼의  SHARD 제약사항)

    추가로, 사내에서 10000건을 INSERT 하는 경우, 1분 이내에 종료되었습니다. 각 응용 및 서버 사양마다 차이는 있겠지만, 8분 소요는 너무 긴 것 같은데, SQL 로그를 확인하시어 원인 확인을 해보는 것도 도움이 될 것으로 보입니다.

    감사합니다.

  • ?
    석이 2014.11.11 01:29

    감사합니다 로그를 확인해보니 이렇게 나옵니다. 


    총 16개의 에트리뷰트 입니다.


    14-11-09 17:57:22.645 (2) bind 1 : INT 590

    14-11-09 17:57:22.645 (2) bind 2 : INT 6919

    14-11-09 17:57:22.645 (2) bind 3 : INT 0

    14-11-09 17:57:22.645 (2) bind 4 : INT 0

    14-11-09 17:57:22.645 (2) bind 5 : INT 0

    14-11-09 17:57:22.645 (2) bind 6 : INT 0

    14-11-09 17:57:22.645 (2) bind 7 : INT 0

    14-11-09 17:57:22.645 (2) bind 8 : INT 0

    14-11-09 17:57:22.645 (2) bind 9 : INT 0

    14-11-09 17:57:22.645 (2) bind 10 : INT 0

    14-11-09 17:57:22.645 (2) bind 11 : INT 0

    14-11-09 17:57:22.645 (2) bind 12 : INT 1

    14-11-09 17:57:22.645 (2) bind 13 : INT 2

    14-11-09 17:57:22.645 (2) bind 14 : VARCHAR (53)LxxxxxxxxxxxxxxxxxxxxxxxxxGxxxxxxxxxxxxxxxxxxxxxxxxO

    14-11-09 17:57:22.645 (2) bind 15 : VARCHAR (53)AxxxxxxxxxxxxxxxxxxxxxxxxxAxxxxxxxxxxxxxxxxxxxxxxxxA

    14-11-09 17:57:22.645 (2) bind 16 : VARCHAR (53)AxxxxxxxxxxxxxxxxxxxxxxxxxAxxxxxxxxxxxxxxxxxxxxxxxxA

    14-11-09 17:57:22.646 (2) execute 0 tuple 1 time 0.001

    14-11-09 17:57:22.648 (0) end_tran COMMIT

    14-11-09 17:57:22.667 (0) end_tran 0 time 0.020

    14-11-09 17:57:22.667 (0) *** elapsed time 0.023


    맨 마지막 부분에 commit됬다고 로그가 뜨는것도 있고

    14-11-09 18:54:33.648 (6) execute 0 tuple 1 time 0.000
    14-11-09 18:54:33.650 (0) COMMUNICATION ERROR net_read_header()
    14-11-09 18:54:33.651 (0) disconnect

    이렇게 COMMUNICATION ERROR net_read_header()뜨는 것도 있는데 이 에러는 어떻게 해결해야 하는지 알 수 있을까요??
    그리고 속도가 느린것이 이것 떄문일까요? 아니면 마지막에 String부분에서 53바이트를 사용하는데 혹시 스트링 바이트가 너무 많이서 느린걸까요??
  • ?
    이용미 2014.11.11 01:48

    [COMMUNICATION ERROR net_read_header()] 오류 발생 원인은 다음과 같습니다.

    해당 오류가 발생하기 전 까지는 A Shard DB에 데이터 입력이 되기 때문에 문제가 발생하지 않습니다. 

    그러나 지속적인 데이터 입력으로, Shard_key.txt 파일에서 지정한 해쉬값에 따라 특정 데이터부터 B Shard DB에 데이터가 입력되려고 하자, 위에서 말씀드린 Shard의 제약 조건으로 인하여 말씀하신 오류가 발생한 것입니다.(하나의 트랜잭션 내에서는 하나의 Shard DB에 대해서만 작업 가능)

    말씀하신, 스트링 길이, 속도는 위 오류가 발생하는데 영향을 미치지 않으니 참고해주세요.

    감사합니다.


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 CUBRID 사용자를 위한 DBeaver 도구 출시 안내 21 admin 2024.04.23 143856
2048 이전 백업 파일 보존이 체크되어 있는데 백업자동화 에서 생성된 파일이 삭제됩니다. 2 secret 김수민 2015.02.09 12
2047 csv 파일 import시 한글 깨짐 관련 1 enak 2015.02.06 19349
2046 HA 구성 관련 3 secret 김수민 2015.02.05 16
2045 클라이언트 원격지 접속 4 secret 차차오 2015.02.03 12
2044 닷넷 컴팩트 개발 1 CUCUCUCU 2015.02.03 8814
2043 답변 부탁드립니다. 2 secret SHnJH 2015.02.02 15
2042 cannot create poolableconnectionfactory cannot connect to a broker 문의 드립니다. 1 yunhossi 2015.01.29 17075
2041 테이블 명세서 1 secret nenemi 2015.01.28 8
2040 큐브리드 DB 연계 1 큐큐 2015.01.22 11680
2039 레벨1 백업 restoredb 에러 6 secret 김수민 2015.01.21 18
2038 HA 백업에 관해 문의드립니다. 8 file SHnJH 2015.01.21 9846
2037 필드명 대문자로 바꾸는법좀 알려주세요 1 초보개발자임 2015.01.16 8792
2036 폐쇄망에서의 큐브리드 운영문의 1 woorirk 2015.01.16 10253
2035 shard1: failed to initialize proxy shared memory 오류 관련 질문드립니다. 1 secret 익명 2015.01.15 20
2034 브로커 관련 질문 1 익명 2015.01.13 6995
2033 샤딩 관련 질문드립니다 5 secret 익명 2015.01.13 9
2032 cubrid manager 질문드립니다. 4 secret SHnJH 2015.01.13 13
2031 shard 관련 질문드립니다 1 익명 2015.01.12 6937
2030 호스트 추가시 발생되는 오류에 대해 문의 합니다. 1 거북이사촌 2015.01.06 8172
2029 큐브리드 로드중 에러발생 문의드려요 1 김민준입니다. 2014.12.31 7848
Board Pagination Prev 1 ... 106 107 108 109 110 111 112 113 114 115 ... 213 Next
/ 213

Contact Cubrid

영업문의 070-4077-2112 / 기술문의 070-4077-2148 / 대표전화 070-4077-2110 / Email. contact_at_cubrid.com
Contact Sales