공부67 [자바 크롤링] java jsoup의 문제점 프로젝트를 하다가 곤란한 상황을 만났다. jsoup를 사용해서 신나게 크롤링 코드를 짰는데 jsoup는 html element가 추가되는 경우, 그 값을 가져올 수 없었다. 그리고 아무래도 문제를 해결하기 위해서 이걸 selenium으로 다시 구현해야 할 것 같다. 아휴... 셀레니움은 쓰기 싫은데... 먼저 문제가 되는 부분을 살펴보자. 데이터를 가져와야 할 페이지를 보면 다음과 같다. 이 페이지에서 장비의 정보를 가져오는 방법은 장비 이미지를 클릭해야만 한다. 이미지를 클릭하면 이런식으로 url을 요청해서 데이터를 가져온다. 문제는 위에서 말했듯이 jsoup는 프론트 단에서 ajax 같은 비동기요청을 통해 데이터를 가져오는식으로 해서 html element가 추가되는 경우는, 그 값을 가져올 수 없다.. 2022. 12. 5. [Spring boot] 스프링 부트 인텔리제이 개인 세팅 기록용 서버 세팅이라고 하면 너무 막연하긴 한데... 뭐라고 해야할지 모르겠어서 그냥 세팅이라고 해두자. 인텔리제이에서 스프링 그래들 프로젝트를 실행시킬 때, "build and run using" 옵션을 인텔리제이로 직접 실행하도록 하는 것이 속도가 빠르다고 한다. Setting - Build, Execution, Deployment - Build Tools - Gradle 메뉴에서 Build and run using, Run tests using 두개 옵션을 Gradle에서 IntelliJ IDEA로 변경해주자. Gradle - Gradle JVM을 jdk11로 변경한다. 2022. 11. 29. [pip install error] ERROR: To modify pip, please run the following command: ... 노트북을 사고... 어느정도 세팅도 끝났다. 램도 추가해야하는데 이번달은 돈이 없으니까 다음달에 하는걸로... 뭔가 계속 쓰다보니까 포스팅 하고 싶은 것들이 점점 늘어나는데 정작 쓸 시간은 없다 ㅋㅋㅋ 이상하네... 뭐 아무튼 데스크탑에 있는 프로젝트를 옮겨오기 위해 파이썬을 설치했다. 항상 그렇듯이 파이썬 설치는 금방 끝난다. 이후에 환경변수 설정해주고 라이브러리를 설치해줘야 하는 그런것들이 귀찮지. 어디서 requirement.txt였던가...? 텍스트 파일을 만들어서 한 번에 설치하고 그러긴하던데 그런건 뭐... 나중에 하자. 아무튼 pip install 어쩌고 저쩌고로 라이브러리를 설치하려면 pip 버전을 최신 버전으로 유지하는게 좋다. 따라서 제일 먼저 pip을 최신 버전으로 업데이트 하기 위해.. 2022. 11. 27. [Thread pool 설정] 스프링 부트 스레드 개수 조절하기 1. 개요 2. 스레드 풀 설정하기 3. 스레드 풀 적용 확인하기 1. 개요 스레드라는 단어를 전공수업에서 또는 어디선가 주워들었던 적이 있을 것이다. 나 역시 운영체제시간에 공부를 했으나... (놀랍게도 운영체제 과목 학점은 무려 A였다.) 정작 직접 프로젝트에 실적용해본적은 없었다. 대충 이론만 공부했다는 소리ㅋㅋㅋ 그리고 몇 년이 지난 지금. 생각지도 않은 스프링 토이 프로젝트를 하게 되어 부랴부랴 자바를 공부하게 되었다. 젠장. 아무튼 현재 필요한 작업은 다중 사용자 요청을 처리해야하는 것이다. 다중으로 사용자 요청이 들어오는 경우를 처리하기 위해 무슨 처리를 해야 하는가? 과거의 기억을 되살려 스레드라는 것을 열심히 검색해봤다. 이처럼 전공자라면 자바 스레드 생성 또는 스레드 풀 등으로 검색을 .. 2022. 11. 20. 이전 1 ··· 4 5 6 7 8 9 10 ··· 17 다음
