SpringBoot를 이용한 crawling 프로젝트 - 2

jsoup과 selenium을 이용한 크롤링 준비를 했다면 크롤링 해 온 데이터를 프로젝트에 사용하기 위해 저장 해 주어야 한다.

 

크롤링 한 데이터를 저정하기 위한 product엔티티를 생성하고 진행했다.

 

3중 for문을 stream으로 정리해주고, 가져온 정보를 product로 변환해 list에 저장하게 해 주었다.

 

이렇게 생성된 list를 JpaRepository를 사용한다면, saveAll 메서드를 통해 한번에 저장할 수 있고, Repository를 사용한다면,메서드를 커스텀 해  주기적으로 일정한 갯수의 객체를 flush시킬수 있다. 

 

flush 되는 객체의 최대치를 250개로 잡아놨으므로, batchSize를 250으로 설정 해 주었다.

 

 

 

 

이렇게 작성하고 요청을 해 보면, 

 

데이터가 잘 저장이 된 것을 확인 할 수 있다.