- Chunk Processing -

1) Chunk 프로세싱의 필요성

• 일괄로 한번에 데이터를 처리한다는 것은 시스템의 리소스가 한순간에 많이 필요하다는 것을 말합니다. 오늘 만료 시켜야할 포인트가 십만개면? 서비스가 대성공해서 백만개, 천만개면? 그 어떤 서버도 한번에 천만개를 처리하기 쉽지 않다.
• 이를 해결하기 위해서 spring batch에서는 chunk라는 개념을 만들었다.
• chunk는 일정 개수만큼 잘라서 처리하겠다는 의미로 chunk size가 1000 이면 한번에 1000개씩 처리하고 완료하고 그다음 1000개 처리하고 완료하겠다는 뜻이다.

2) 일반적인 Chunk 기반 Step 흐름 이해하기

1. 트랜잭션 시작
2. Item Reader가 데이터 1개 제공
3. Item Processor를 통해 데이터 1개를 가공
4. chunk size만큼 데이터가 쌓일때 까지 2~3를 반복함
5. Writer에게 데이터 전달하기 (보통의 경우 Database에 저장)
6. 트랜잭션 종료
7. 2이 더이상 진행될수 없을때까지 1~6를 계속 해서 반복

참조 : 강의[[한 번에 끝내는 Spring 완.전.판 초격차 패키지 Online](한 번에 끝내는 Spring 완.전.판 초격차 패키지 Online - 실무밀착 프로젝트(패스트캠퍼스포인트관리하기))]

3) Chunk Processing 구현방법