Python

# of Posts

1 more property

Gallery

함수, 변수, 조건문, 반복문 등이 Python에선 어떻게 표현되는지 기초 문법을 사용

•

주의해야 될 것은 함수는 def라는 명칭으로 시작하고 ' : ' 콜론을 사용한다. 또한 실행될 함수 내용은 ' ' 탭 빈공간으로 열맞춤이 꼭 맞춰줘야 한다는 점

•

가상환경 venv 구축법(python3 -m venv .venv)

•

venv내 라이브러리 설치법 (pip install xxx)

•

라이브러리 임포트(import xxx)

•

requests 라이브러리 사용해보기 데이터 가져오기 (data = requests.get(’link’)

•

크롤링에서 **BeautifulSoup 라이브러리 사용해보기(**우리가 원하는 특정 부분 을 빠르고 쉽게 필터링 해주는 라이브러리)

•

크롤링 필수 코드

•

soup의 select()를 통해 원하는 데이터 스코프를 지정

MongoDB

•

클라우드 서비스인 MongoDB Atlas 가입

[Python][MongoDB]16 3주차 Python, MongoDB, Crawling 스터디 회고(WIL)

파이썬 입문

•

배운점:

•

어려운 점:

MongoDB 입문

•

배운점:

•

어려운 점:

"Genie" 지니 음악 차트 데이터 크롤링

•

배운점:

•

어려운 점:

[Python][MongoDB]15 Python, Crawling, MongoDB, Atlas Cloud DB 기초 배운점, 어려웠던점

현재까지 배운 내용들로

Genie라는 음악 스트리밍 서비스에서 실시간, 일간, 주간, 월간 등 다양한 랭킹 차트를 제공한다.

그 중 최근인 2023년 6월 월간 음악 랭킹 차트를 크롤링하고

•

URL = https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230601

•

"순위 / 곡 제목 / 가수"

데이터를 가져오는 것을 실습하고자 한다.

0. 라이브러리 임포트와 HTML 크롤링

웹 크롤링을 위해서 requests를

받아온 html 소스를 parsing(문자열들을 분석/분해/구조화/가공 해주는 프로세스)해줄 수 있는 beautifulsoup을

임포트하면서 시작한다.

import, requests.get(), BeautifulSoup()

이 실행되고 데이터가 변수에 담기고 옮겨지는 과정에 문제가 없는지 우선 디버깅해준다.

html 소스를 soup이라는 변수에 담아두었다.

[Python][MongoDB]12 "Genie" 지니 음악 차트 데이터 크롤링 실습

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링하고 DB에 insert, read, update하는 과정까지 진행했다.

이번에는,

웹 크롤링 한 데이터를 Insert한 DB 자료를

•

DB에서 원하는 정보를 삭제하는 == Delete == Delete_one

를 진행해보려 한다.

1. Delete == delete_one

DB에 저장된 데이터중에

"영화 제목 '부당거래'의 데이터를 삭제한다.

1개 삭제 delete_one 코드는 다음과 같다.

[Python][MongoDB]11 DB에 저장된 데이터를 제거하기(Delete) delete_one

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링하고 DB에 insert, read하는 과정까지 진행했다.

이번에는,

웹 크롤링 한 데이터를 Insert한 DB 자료를

•

DB에서 원하는 정보를 수정(편집)하는 == Update == Update_one

를 진행해보려 한다.

1. Update == update_one

DB에 저장된 데이터중에

"영화 제목 '부당거래'의 연령 제한을 '18세 이상 관람가'로 수정하자"

•

영화 제목 = title이라는 key

•

부당거래 = title의 value값

•

연령제한 = 'age'라는 key의 value값을 '18세 ... '로 수정

1개 바꾸기 update_one 코드는 다음과 같다.

기존 '부당거래' 영화의 연령제한인 'age' key값은 '청소년관람불가'라는 value를 가졌지만

실행 시

[Python][MongoDB]10 DB에 저장된 데이터를 수정하기(Update) update_one

0. 위 크롤링 실습 링크의 요약

웹 크롤링의 필수 코드는 다음과 같다.

URL을 원하는 URL로 변경하면 된다.

이후 beautifulsoup 라이브러리를 활용해서 원하는 정보만 가져오게 세팅한다.

여기까지 진행되면 rank, title, rate 각 변수에 웹에서 크롤링한 데이터를 담게 된다.

•

rank = 랭킹 순위

•

title = 영화 제목

•

rate = 평점

이 내용까지가 전 실습의 요약이다.

웹 페이지를 크롤링하여 console창에서 데이터를 확인하는 것이 이전 실습이었다면

이번에는 데이터를 DB와 연동시켜 저장, 읽기, 수정, 삭제 (CRUD)하는 것이 목적이다.

1. 크롤링을 구현한 부분에 DB 연결 추가

[Python][MongoDB]08 DB에 저장 하기 → 웹 크롤링 데이터(Create) Insert_one

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링하고 DB에 insert하는 과정까지 진행했다.

이번에는,

웹 크롤링 한 데이터를 Insert한 DB 자료를

•

DB에서 원하는 정보를 찾아오는 == Read == Find_one / Find

를 진행해보려 한다.

0. Insert 복습

우선 insert 과정을 복습할겸 db.movies2 라는 collection에

2010년 영화 랭킹 웹 페이지에서 새로 데이터를 insert했다.

movies2 collection에 데이터를 넣는 스크립트는 다음과 같다.

1.1 Read == Find_one

DB에 저장된 데이터중에

"영화 제목 '아저씨'의 순위를 가져오자"

•

영화 제목 = title이라는 key

[Python][MongoDB]09 DB에 저장된 데이터를 보기(Read) find_one, find

MongoDB는 BSON으로 데이터가 쌓이기 때문에 Array 데이터나 Nested한 데이터를 쉽게 넣을 수 있는 특징이 있다.

우선 Oracle을 주로 사용했기 때문에 햇갈리는 부분이 많다.

MongoDB의 DB계층구조 부터 Oracle과 비교해서 개념을 정리했다.

SQL문은 대체로 유사한데 비교하여 주석하면서 테스트했다.

db = 데이터베이스는 컬렉션의 물리적 컨테이너. 하나의 데이터베이스에는 보통 여러개의 컬렉션을 가질 수 있다.

user = collection이다. Document 의 그룹이며 RDBMS Oracle의 예를 들면 Table 과 같은 개념

+- collection 내에 Document 는 하나의 키(key) 와 값(value)의 집합이다.

이와 같은 개념에서부터 CRUD SQL문을 이해해야 한다.

예로 db.users.insert_one({ aaa:bbb }) 문의 경우

"aaa라는 key값에 bbb라는 value값을 가진 Field를,

users라는 collection(table)에 넣어라. => db라는 큰 틀에서"

라는 의미로 해석될 수 있다.

MongoDB의 Collection 생성부터 CRUD문을 복습

[Python][MongoDB]14 Oracle과 MongoDB 비교 CRUD 복기

내 로컬 PC에 설치된 Python <-> 웹 클라우드 서비스에 위치한 MongoDB

이 두개를 연결하고 데이터를 주고 받는, 상호 제어 할 수 있도록 하는 것이 이번 실습이다.

우선 Python에서 웹에 있는 MongoDB를 조작하기 위해서는

조작 할 수 있는 "라이브러리"가 필요하다.

•

dnspython

•

pymongo

RDBMS(SQL)

•

행/열의 생김세가 정해짐

•

엑셀에 데이터를 저장하는 것과 유사하다.

•

정형화되어 있는 만큼 데이터의 일관성이 있다.

•

분석에 용이 할 수 있다.

•

No-SQL(Not-only SQL)

•

행/열의 생김세가 정해짐

•

엑셀에 데이터를 저장하는 것과 유사하다.

•

정형화되어 있는 만큼 데이터의 일관성이 있다.

•

분석에 용이 할 수 있다.

클라우드 서비스인 MongoDB Atlas 가입해보자

[Python][MongoDB]13 DB 간단 개념 및 MongoDB Atlas 설정

Python

0. 라이브러리 임포트와 HTML 크롤링

1. Delete == delete_one

1. Update == update_one

0. 위 크롤링 실습 링크의 요약

1. 크롤링을 구현한 부분에 DB 연결 추가

0. Insert 복습

1.1 Read == Find_one

1. dnspython, pymongo 라이브러리 설치

2. pymongo 를 사용해서 DB에 접속해보자

DB를 사용하는 주된 이유?

DB의 종류

클라우드 서비스인 MongoDB Atlas 가입해보자