본문 바로가기

Python13

[파이썬] 웹 크롤링 - BeautifulSoup 라이브러리 파이썬으로 웹 크롤링을 진행할 수 있습니다 :) 웹 크롤링을 위해서는 먼저 아래 준비단계가 필요합니다. 1. BeautifulSoup 라이브러리 import BeautifulSoup 라이브러리란? HTML 혹은 XML 파일에서 원하는 데이터를 손쉽게 parsing (분석)할 수 있게 만드는 라이브러리 from bs4 import BeautifulSoup cs 2. 데이터 이름 설정 # 예시 1) 직접 내용 타이핑 html = ''' 스크레이핑이란? 웹 페이지를 분석하는 것 원하는 부분을 추출하는 것 ''' # 예시 2) 크롤링할 링크 삽입 html = 'https://www.naver.com' cs 3. Parsing 처음에 import한 BeautifulSoup 라이브러리를 사용해 데이터를 parsin.. 2022. 4. 20.
Pandas - 1차원 자료 (Series), 2차원 자료(DataFrame) 만들기 Pandas란 panel datas(패널자료)의 약자로, 쉽게 사용 가능한 자료 구조이자 데이터 분석 툴을 말합니다. 1차원 자료: Series 이번에는 Pandas의 1차원 자료 구조인 Series에 대해 설명해보려 합니다. 먼저, 판다스의 모듈(라이브러리)를 호출합니다. import pandas as pd cs 판다스의 1차원 자료구조는 index와 value로 이루어져 있습니다. 기본 파이썬과의 차별점은 행을 row가 아닌 index로 칭한다는 점 입니다. 이제 본격적으로 시리즈를 생성해보겠습니다. 시리즈 만들기 : 1)List로 Series 만들기 1 2 3 animals = ['Tigers', 'Bears', 'Moose'] p = pd.Series(animals) p Colored by Col.. 2022. 3. 22.
R - dplyr 패키지 (1) (filter/ select/ arrange/ mutate/ summarise) R에서는 dplyr 패키지를 이용하여 데이터 전처리를 진행할 수 있습니다. dplyr 함수는 아래 8가지가 있으며, 오늘은 첫 5가지 함수에 대해 알아보려고 합니다. filter( ) select( ) arrange( ) mutate( ) summarise( ) group_by( ) left_join( ) bind_rows( ) filter( ): 행 추출 예시 1) 1반 또는 2반 값만 출력 filter(df, class == '1' | class == '2') #또는 df %>% filter(class == '1' | class == '2') 예시 2) 수학 50 이상, 영어 80 이상인 행 출력 df %>% filter(math >= 50, english >= 80) 예시 3) 위 두 조건 합쳐서 .. 2022. 3. 17.
파이썬 - 피보나치 함수 / 프로젝트 오일러 2번 문제 피보나치 수열은 첫번째 항의 값이 0이고 두번째 항의 값이 1이며, 이후에 이어지는 항은 이전의 두 항을 더한 값으로 이루어지는 수열입니다. 0, 1, 1, 2, 3, 5, 8, 13, ... 아래 연습문제를 통해 피보나치 수열에 대해 자세히 배워보았습니다. filter 함수를 이용하여 아래 피보나치 수열에서 2의 배수를 출력해보시오. Fibo_seq = [0, 1, 1, 2, 3, 5, 8, 13, 23] Fibo_seq = [0, 1, 1, 2, 3, 5, 8, 13, 23] list(filter(lambda x: x % 2 == 0, Fibo_seq)) 결과값: [2, 8] 정수 하나를 넘겨주면 그 정수번째의 피보나치 수열을 리턴해 주는 함수를 작성하시오. d.. 2022. 3. 17.