공식 합법 승인을 받더라도... 크롤링은 어렵네요
2025-10-04 03:18
320
0
1
0
본문
기술이 어려운게 아니라
이를 처리하는 게 어렵네요
트래픽 때문에 계속 해서 해당 사이트의 자료를 가져오면 안되고
일정 시간 딜레이를 주고 가져와 화면에 뿌리자니...좀 복잡하고....
(결국 화면 새로 고침 하면 위 사이트에 다시 접근 해야 되니)
그래서 택한 방법이 가져온 데이터를 데이터 베이스에 저장 > 레디스 캐싱 > 화면에 뿌리기
그럼 디비 조회 및 해당 사이트 조회가 최소화가 될 것 같더라구요
그리고 데이터 갱신이 필요하면 갱신 버튼을 통해 갱신하기...
이 이상의 아이디어는 떠오르지가 않는군요 좋은 아이디어 있으시면 공유 좀 해주세요~
해당 게임사에 크롤링은 합법으로 공식 승인은 받았지만,
트래픽 때문에 실시간은 비허용한 상태라서 ㅎㅎ
다른 방법을 택해야만 하거든요...ㅠ (공식 사이트도 그누보드로 개발된 사이트 ㅎ)
1
0
로그인 후 추천 또는 비추천하실 수 있습니다.
댓글목록0