공식 합법 승인을 받더라도... 크롤링은 어렵네요 > 자유게시판

기술이 어려운게 아니라

이를 처리하는 게 어렵네요

트래픽 때문에 계속 해서 해당 사이트의 자료를 가져오면 안되고

일정 시간 딜레이를 주고 가져와 화면에 뿌리자니...좀 복잡하고....

(결국 화면 새로 고침 하면 위 사이트에 다시 접근 해야 되니)

그래서 택한 방법이 가져온 데이터를 데이터 베이스에 저장 > 레디스 캐싱 > 화면에 뿌리기

그럼 디비 조회 및 해당 사이트 조회가 최소화가 될 것 같더라구요

그리고 데이터 갱신이 필요하면 갱신 버튼을 통해 갱신하기...

이 이상의 아이디어는 떠오르지가 않는군요 좋은 아이디어 있으시면 공유 좀 해주세요~

해당 게임사에 크롤링은 합법으로 공식 승인은 받았지만,

트래픽 때문에 실시간은 비허용한 상태라서 ㅎㅎ

다른 방법을 택해야만 하거든요...ㅠ (공식 사이트도 그누보드로 개발된 사이트 ㅎ)