전체 글29 [Web Crawling] 2. Web API 네이버 파파고 번역기 크롤링 import pandas as pd import requests, json 1. Request Token 얻기 https://developers.naver.com request token 얻기 app_key를 이용해서 데이터 가져오기 # 1번 URL CLIENT_ID, CLIENT_SECRET = '6UJjfsjGSKlAJqme_T30', '6JIQkpOD06' ko_txt = '웹크롤링!' # 바꿀 데이터 url = 'https://openapi.naver.com/v1/papago/n2mt' headers = { 'Content-Type': 'application/json', 'X-Naver-Client-Id': CLIENT_ID, 'X-Naver-Client-Secret'.. 2023. 2. 26. 머신 러닝 1. 알고리즘 1)회귀 알고리즘 1. LInear Regression 위 사진처럼 y = ax+b의 형태로 알고리즘을 찾는 방법이며, 회귀에서만 쓸수 있다. model.coef_ 기울기(a) model.intercept_ 절편(b) from sklearn.linear_model import LinearRegression 라이브러리 2. K-Nearest Neighbor 주변이웃에게 물어보는 알고리즘이다. 주변 값들에게 물어보는 알고리즘 회귀, 분류 둘다 쓸 수 있다. scaling이 필요하다. from sklearn.neighbors import KNeighborsRegressor # target이 회귀일때 from sklearn.neighbors import KNeighborsClassifier # t.. 2023. 2. 22. [Web Crawling] 크롤링 : 웹페이지에서 데이터를 가져오는법 크롤링 종류 정적페이지 : 웹브라우저에 화면이 한번 뜨면 이벤트에 의해 화면변경이 없는 페이지 api이용 : 오픈소스 동적페이지 : 웹브라우저에 화면이 한번 뜨면 이벤트에 의해 화면이 변경하는 페이지 만약 웹페이지가 복잡하다면 모바일버전으로 크롤링해도됨! 1. 정적페이지 크롤링(네이버 주식) 크롤링할 url 가져오기 오른쪽에서 url 가져오기 # 선언 ]import pandas as pd import requests # 1. url 가져오기 url = 'https://m.stock.naver.com/api/index/KOSPI/price?pageSize=10&page=2' # 2. 정상적으로 잘 가져오는지 확인 response = requests.get(url).. 2023. 2. 17. Web Crawling 하기전 지식 쌓기 1. Server & Client Client : 브라우저를 통해 서버에 데이터를 요청 Server : Client가 데이터를 요청하면 요청에 따라 데이터를 전송 2. URL(Uniform Resource Locator) http://news.naver.com:80/main/read.nhn? mode=LSD&mid=shm&sid1=105&oid=001&aid=0009847211#da_727145 http:// : protocol(통신방식) news : sub domain .naver.com : domain 80 : port(서버 내 포트번호 web=80,443 db=3306을 많이씀) /main/read.nhn : path(서버 컴퓨터 내 파일 위치) ? mode=LSD&mid=shm&sid1=105&o.. 2023. 2. 17. 이전 1 ··· 3 4 5 6 7 8 다음
