공부/java & Spring27 [자바 크롤링] java jsoup의 문제점 프로젝트를 하다가 곤란한 상황을 만났다. jsoup를 사용해서 신나게 크롤링 코드를 짰는데 jsoup는 html element가 추가되는 경우, 그 값을 가져올 수 없었다. 그리고 아무래도 문제를 해결하기 위해서 이걸 selenium으로 다시 구현해야 할 것 같다. 아휴... 셀레니움은 쓰기 싫은데... 먼저 문제가 되는 부분을 살펴보자. 데이터를 가져와야 할 페이지를 보면 다음과 같다. 이 페이지에서 장비의 정보를 가져오는 방법은 장비 이미지를 클릭해야만 한다. 이미지를 클릭하면 이런식으로 url을 요청해서 데이터를 가져온다. 문제는 위에서 말했듯이 jsoup는 프론트 단에서 ajax 같은 비동기요청을 통해 데이터를 가져오는식으로 해서 html element가 추가되는 경우는, 그 값을 가져올 수 없다.. 2022. 12. 5. [Spring boot] 스프링 부트 인텔리제이 개인 세팅 기록용 서버 세팅이라고 하면 너무 막연하긴 한데... 뭐라고 해야할지 모르겠어서 그냥 세팅이라고 해두자. 인텔리제이에서 스프링 그래들 프로젝트를 실행시킬 때, "build and run using" 옵션을 인텔리제이로 직접 실행하도록 하는 것이 속도가 빠르다고 한다. Setting - Build, Execution, Deployment - Build Tools - Gradle 메뉴에서 Build and run using, Run tests using 두개 옵션을 Gradle에서 IntelliJ IDEA로 변경해주자. Gradle - Gradle JVM을 jdk11로 변경한다. 2022. 11. 29. [Thread pool 설정] 스프링 부트 스레드 개수 조절하기 1. 개요 2. 스레드 풀 설정하기 3. 스레드 풀 적용 확인하기 1. 개요 스레드라는 단어를 전공수업에서 또는 어디선가 주워들었던 적이 있을 것이다. 나 역시 운영체제시간에 공부를 했으나... (놀랍게도 운영체제 과목 학점은 무려 A였다.) 정작 직접 프로젝트에 실적용해본적은 없었다. 대충 이론만 공부했다는 소리ㅋㅋㅋ 그리고 몇 년이 지난 지금. 생각지도 않은 스프링 토이 프로젝트를 하게 되어 부랴부랴 자바를 공부하게 되었다. 젠장. 아무튼 현재 필요한 작업은 다중 사용자 요청을 처리해야하는 것이다. 다중으로 사용자 요청이 들어오는 경우를 처리하기 위해 무슨 처리를 해야 하는가? 과거의 기억을 되살려 스레드라는 것을 열심히 검색해봤다. 이처럼 전공자라면 자바 스레드 생성 또는 스레드 풀 등으로 검색을 .. 2022. 11. 20. [Spring boot] intellij 자동빌드 설정하기 1. 개요 2. build.gradle -> spring-boot-devtools 의존성 추가 3. application.properties -> spring.thymeleaf.cache=false 추가 4. Settings - compiler에서 Build project automatically 활성화 5. Settings - Advanced Settings에서 Allow auto-make to start even if developed application is currently running 활성화 1. 개요 인텔리제이 커뮤니티 버전은 알게 모르게 제한되는 기능이 많은것 같다... 이클립스 쓰다가 인텔리제이로 넘어와서 사용하다보면 뭔가 이상한데? 싶은 기능들이 있다. 뭐 물론 나는 이클립스 기능도 .. 2022. 11. 4. 이전 1 2 3 4 5 6 7 다음
