SQL로더 사용시 성능 향상 방법


모 고객사에서 아래와 같은 문의사항이 있었습니다.

# 기존 스크립트

1 : sqlldr userid=scott/tiger control=abc.ctl errors=999999999
READSIZE=3145728 BINDSIZE=3145728 ROWS=5000

 

# 변경 스크립트

2 : sqlldr userid=scott/tiger control=abc.ctl errors=999999999
READSIZE=20000000 BINDSIZE=20000000 ROWS=5000

 

# 문의사항

  1. rows 값을 5000 주었는데 일정하게 commit 되지 않는 현상내부에서 테스트시 1 스크립트로 돌렸을 commit 4053 단위로 찍혔습니다. 그리고 2번으로 돌렸을 때는 5000으로 균일하게 commit 되었는데 이는 READSIZE(buffer) 따른 차이로 보입니다. READISZE MAX값이 20971520(20MB) 입니다.
  2. 레코드 길이에 따른 readsize,
    bindsize
    적정사이즈 계산방법적정사이즈 계산방법으로 ORACLE에서 권장하고 있는 방법은 없습니다. 현재 상황에서는 위에서 가이드한 READSIZE MAX값을 주고 테스트하고 부하가 많을 점차 값을 줄여나가는 방법으로 값을 찾아야 합니다. 그리고 READSIZE BINDSIZE 값은 같게 주는 것을 권장합니다.

SQL로더로 데이터를 넣을시에 잦은 commit은 밀어 넣는데에 속도가 느려지게 됩니다. 이를 줄이기 위해 ROWS를 5000을 주어 commit을 하게 했는데, 5000에 맞게 commit이 되지 않고 4053에 commit이 되고 있었습니다. 내부 테스트 결과 이는 READSIZE(buffer) 지정 값의 문제로 최대값을 주어 해결이 가능했습니다.

운영DB에 SQL로더를 이용하여 밀어넣는 경우에는. 서버의 Resource 사용율을 고려하고 최대한 부하를 적게하여 서비스에 영향이 가지 않게 해야되는 것이 포인트 입니다.

이는 실제 운영DB와 같은 환경에서 위 구문에서 사용하고 있는 수치를 정하기 위하여 많은 테스트를 해봐야 한다는 것 입니다. 

아래는 SQL로더 사용시 성능 향상에 대한 방법입니다. 참고 하여 수행하시면 좋습니다.

– 제어파일과 데이터
파일을 분리하면 여러 로드 세션에서 제어 파일을 다시 사용 할 수 있다.

– 예상되는 데이터
볼륨을 기반으로 공간을 미리 할당하면 로드 시 확장 영역의 동적 할당을 
방지하여 로드 속도가
향상된다.

– 테이블에 인덱스가
걸려있을 경우, 먼저 인덱스를 drop 시키고 SQL Loader 로 데이터를 올린 
후 인덱스를 생성한다.

– 데이터의 양이 많을
경우 Redo log size 를 충분히 크게 설정한다. Redo log size 가 작을 경우 
Redo log
switch 할 때 마다 LGWR 에서 timeout 이 발생하여 SQL Loader 에서 hang 현상이 
발생 할 수 있다.

– 데이터를 로딩하기
전 데이터를 삭제 후 로딩하기 위해서는 REPLACE 옵션 대신 TRUNCATE 
옵션을 사용한다.
REPLACE 옵션은 redo log 및 rollback 데이터가 발생하게 되지만 
TRUNCATE 옵션은
그렇지 않다.

– Commit 문의
실행을 자주 하지 않을 경우 SQL Loader 가 보다 더 빨리 실행된다

– DIRECT PATH 옵션을 사용면 데이터가 DB Buffer Cache 을 거치지 않고 바로 데이터파일에 write 됨으로 속도가
빨라진다.

– PARALLERL
옵션을 사용한다. 다중 SQL Loader 세션을 사용할 경우 한 개의 테이블도 
parallel 하게
loading 될 수 있다.


Comments

comments

haisins

오라클 DBA 박용석 입니다. haisins@gmail.com 으로 문의 주세요.

SQL로더 사용시 성능 향상 방법”의 7개의 댓글

  • 2018-09-24 4:54 오전
    Permalink

    Hello! Do you know if they make any plugins to assist with Search Engine Optimization? I’m trying to get my blog to rank for some targeted keywords but I’m not seeing very good results. If you know of any please share. Many thanks!

    댓글달기
  • 2019-09-05 8:13 오후
    Permalink

    Nezavisni recenzije-pregledi-osvrti o Forex brokerima-posrednicima. currency-trading-brokers.com/forex-comparisons-ratings-reviews-croatia.html

    댓글달기
  • 2019-10-03 5:52 오후
    Permalink

    Our employees firms make original furnishings , and of course for all this we pay special preference to standards your safety and functional of opportunities. We work with by customer on all, without exception stages execute multilateral analysis location rooms , carry advance counts . when the you personally have appeared can ask our consultants and get detailed answers with detailed illustration and explanation .
    Kitchen and laundry renovations it is not cheap pleasure, when, if a it perform do it yourself
    In the specialized company Limited liability Limited Partnership RUDS Homecrest involved masters, who much understand about Kitchen renovations under $10 000.
    The Corporation always ready to provide quality 15000 kitchen remodel by affordable rates . Specialists with great experience work help whole rebuild in a matter of days . The price depends on selected style of kitchen.

    Any dwelling apartments, houses, cottages or other housing City Island unique and has personal high-functional load. And this especially concerns modern kitchens.

    Moderate kitchen remodel Chelsea : kitchen renovation nyc

    댓글달기
  • 2019-10-13 10:28 오전
    Permalink

    Professional cleaning today is actually more than only cleaning: modern-day devices, resources and also strategies of job switch it in to a genuine sophisticated method that significantly changes the traditional understanding of what it implies to actually “tidy”.

    In residence cleaning company – ideal
    Maids for a day
    – it is actually quick and easy, convenient and budget friendly along with our provider.
    Depend on the hygiene innovators to property cleaning Brooklyn! Our experts make use of professional cleaning agents as well as specialized equipment of international producers in our work and also perform a superb project with cleaning of any difficulty.

    8]Part time maid ny

    Participation with the business is actually the backer of an impressive, financially rewarding as well as effective cleansing of specialist home cleansing and encompassing regions. Presently, property cleaning services coming from our firm are actually made use of in New Shirt. Enjoy and you the true perks and practical benefits of our company proposition.

    Through authorizing a long-lasting solution arrangement with our team, you will certainly be able to abandon the need to sustain a sizable workers of technical workers, which, subsequently, will enhance expenses. The expense of the facility, daily, basic residence cleansing of Staten Island, performed through our staff members, will definitely always be lower than the price of incomes for cleansers, the investment of cleaning products and equipment.

    6]Find cleaning services near me new-york

    Leave behind an ask for on the internet site, specify your label or even business title, call phone number and time of planned cleaning, leave your wants and also requirements in a message to the supervisor if required, at that point our expert will certainly contact you in the least opportunity as well as specify the date, time as well as work place!

    댓글달기
  • 2019-10-18 4:06 오후
    Permalink

    Допустим, вы владелец нового интернет-проекта, который имеет приятный дизайн, удобную навигацию и нужную для покупателей рекламную информацию. Но до сих пор нет покупателей на вашем сайте. Что делать? Те, кто имеют свой бизнес мы поможем вам создать продающийся сайт. Понятно, ни одно реальное либо виртуальное предприятие не может продвигаться само по себе. Отдельной торговой фирмы необходимо подмога в приобретении популярности, а во Мировой компьюторной сети без нее решительно не обойтись из-за бешеной конкуренции.Мы занимаемся разработкой корпоративных сайтов. Наши сотрудники готовы запустить хороший интернет-проект в течение десяти суток. Сверх оформления полных web-сайтов, мы оказываем обслуживание по технической содействия: своевременное продление хостинга и нового домена, добавление контента на вебсайт, размещения новинок. Наши услуги помогают вам стать фаворитом на горизонтах всемирной паутины.

    Создание сайта в США

    댓글달기
  • 2019-10-20 3:37 오전
    Permalink

    Spring cleansing is actually not simply trite to remove dust as well as gunk. Yet our experts need to carry out an analysis of wintertime clothing. Coming from excessive points to eliminate, you require to tidy and also calculate the storage space. Get rid of the trash as well as give your own self an additional assurance not to spare excessive scrap. Tidy the wall surfaces and ceilings, clean the home windows, allow the springtime into your house, drive off the hibernation.

    Cleaning in New York City – is the regulation of specialized solutions for spring season cleansing of areas and also surrounding regions, and also maintaining tidiness. The combo of top quality job and economical rates is actually a distinctive feature that distinguishes our cleaning company in the NJ cleaning services market.
    Our motto: ” The very best quality – affordable!” and you could be certain of that! In our provider, incredibly budget friendly costs for all kinds of cleaning services.
    We promise you the provision of qualified cleaning services at a higher level. Specialists knowledgeably understand the techniques of cleansing with making use of modern sophisticated equipment as well as focused chemicals. Along with all this, the prices for our services are actually considerably lower than the major cleaning providers.

    Purchasing such a service as ” Spring season Cleansing” in our provider, you obtain the opportunity of top notch cleaning of the nearby territory of our home. Our team supply washing where others can easily not deal. Our experts will concern you even if you are at the other end of the world as well as do the cleansing at the highest degree. Just give us a call.

    Housekeeping information Greenwich Village : Spring cleaning

    댓글달기

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다