본문 바로가기
728x90

Programming Languages/Python85

[Python Examples] BeautifulSoup #01: 웹페이지 텍스트 크롤링 포스트 난이도: HOO_Junior# BeautifulSoupBeautifulSoup 패키지는 웹의 데이터를 가져오거나 크롤링, 즉 추출할 때 사용하는 패키지이다. 특히 HTML이나 XML에 특화되어 있다 보니 웹페이지와 관련해서 데이터를 가져오겠다고 한다면 자연스럽게 생각나는 간단한 방법 중 하나가 바로 BeautifulSoup이다. 정말 많이 사용하다보니 브로들도 파이썬을 배우기 시작한다면 대표적인 예제로 배울 확률이 높은 패키지 중 하나이다. MIT 라이선스이기 때문에 편하게 사용하면 된다.# Crawling, 추출이번 파이썬 예제코드에서는 가장 기본적인 웹페이지에서 텍스트를 크롤링하는 방법에 대해서 살펴보도록 하자. 이후에 class ID를 설정해줌으로써 html에 안에 있는 특정한 데이터나 키.. 2024. 12. 16.
[Python] Dask: Parallel Computing 포스트 난이도: HOO_Middle# 당신의 파이썬은 더 이상 답답하지 않다.데이터를 다루는 프로그래밍을 할 때 우리는 파이썬 기반의 작업을 정말 많이 하는 편이다. 파이썬과 연관되어 있는 다양한 데이터 분석 관련 라이브러리가 있다는 점도 있지만 내 개인적인 생각에는 속도가 다소 느리더라도 복잡한 데이터 분석에 대한 구조를 이해하고 작업하는 데 있어서 파이썬 언어가 편하기 때문이다. 따라서 시뮬레이션이나 파일럿 모델을 구축하는 데 있어서 파이썬 기반으로 모델링을 많이 하는 편인데 문제는 해당 모델링의 구조나 사이즈가 점차적으로 커지고 복잡해진다면 아무리 시뮬레이션이라고 할지라도 답답해지고 제 역할을 못하게 된다. 이때 프로세스 (Process)라고 부르는 작업 스케줄링을 병렬 연산을 통해서 더 빠르게 처.. 2024. 7. 22.
[Python Examples / Temp] 몬테카를로 카지노 주사위 몬테카를로 카지노 주사위 포스트 난이도: HOO_Middle # Example Code import random import matplotlib.pyplot as plt # Function to simulate die roll def rolldice(): dice = random.randint(1, 100) if dice 51: return True # Modified function for the play to return funds after each play def play_mod(total_funds, wager_amount, total_plays): Funds = [] for play in range(1, total_plays + 1): if rolldice(): total_funds += wa.. 2024. 1. 11.
[Python] Random Seed(랜덤 시드) Random Seed(랜덤 시드) 포스트 난이도: HOO_Middle # Random seed Random seeds(랜덤시드)는 한국에서 난수 생성기라고도 부르며, 랜덤 한 값을 생성해 낸다. 랜덤 한 값을 생성해 낸다고 해서 마치 무작위 시드 값을 생성하는 것 같지만 반은 맞고 반은 틀린 말이다. 임의의 값을 랜덤 하게 생성해 낸다는 점에서는 맞지만 한번 정해진 시드 값은 다음 랜덤시드에서도 동일하게 산출된다. 따라서 랜덤 시드란 랜덤하게 컴퓨터가 시드 값을 정하는 걸 의미하며 랜덤 하게 시드 값이 계속 바뀌는 걸 의미하지는 않는다. 또한 랜덤 시드값은 사실 무작위로 정해지는 것도 아니다. 인간은 뇌에서 무작위 숫자를 선택해서 결정할 수 있지만 컴퓨터는 자율적으로 생각해서 랜덤 한 숫자를 선택하지 못.. 2023. 11. 10.
[Python Examples] Energy Flows: Compartments and Rate Coefficients Energy Flows: Compartments and Rate Coefficients 포스트 난이도: HOO_Junior # Example Codes 이번 예제코드는 Energy flow를 살펴볼 수 있는 간단한 시뮬레이션 코드이다. N1부터 N5까지의 시뮬레이션 결과를 아래 예제코드를 통해서 확인할 수 있다. Rate coefficients 값들이 초기값으로 설정되어 있으며 Euler를 통해서 결과를 산출해 냈다. import numpy as np import matplotlib.pyplot as plt # Initial compartment sizes N1 = 2635 N2 = 213 N3 = 62 N4 = 9 N5 = 25 # Rate coefficients u51 = 1.310 u52 = 5.1.. 2023. 9. 29.
[Python Examples] Simple Age-class Simulation Simple Age-class Simulation 포스트 난이도: HOO_Junior # Example Codes 이번 포스트에서는 Simple Age-class Simulation를 통해서 timestep별 population 변화량을 살펴볼 수 있다. 아래의 예제를 토대로 경우의 수들을 붙여나가다가 보면 실제로 사용하는 모델링 시스템처럼 복잡한 나만의 시뮬레이션 모델을 만들어볼 수 있다. HOO_Junior의 포스트를 읽고 있는 브로라면, 이제는 코드 작성에서 벗어나 만들고자 하는 프로그래밍의 빠른 분석과 머릿속으로 구조화하는 연습을 해보는 것이 좋다. 많은 예제들을 더 살펴보면서 익혀나간다면 나중에는 머릿속으로 바로바로 그려지게 된다. 다만 연인에게는 "로봇 같다"라는 말을 들을 수 있기에 유의해야.. 2023. 9. 29.
[Python Examples] Simple Predator/Prey Modeling (먹이사슬 모델링) Simple Predator/Prey Modeling (먹이사슬 모델링) 포스트 난이도: HOO_Middle # Example Codes 생물뿐만 아니라 관계성이 있는 모델링을 할 때 주로 고려하는 모델링 방식 중 하나가 바로 Predator/Prey modeling이다. 상관관계가 있다면 활용이 가능하고 경우에 따라서 수를 늘려나갈 수도 있기 때문에 모델링 개발에 있어서 용이하다. 이번 포스트에서는 간단한 먹이사슬 모델링을 파이썬 코드로 살펴보도록 하자. 이번 예제코드는 간단한 예시이기에 Euler와 Lotka-Volterra model를 통해서 표현해 보았다. import numpy as np import matplotlib.pyplot as plt # Constants r = 0.1 # Prey r.. 2023. 9. 29.
[Python Examples] 문자열 거꾸로 출력하기: #for loop, #def, if statement 문자열 거꾸로 출력하기: #for loop, #def, if statement 포스트 난이도: HOO_Junior # Exmple codes 이번 포스트에서는 문자열을 거꾸로 출력해 보는 파이썬 예제코드를 살펴보려고 한다. 한마디로 문자열로 저장되어 있는 문장을 반대 순서로 출력이 되도록 만들어주는 셈이다. 아마 거꾸로 출력되는 문자열 예제는 프로그래밍 수업에서 웬만하면 많이 다루다 보니 이미 많은 브로들이 알고 있을 수도 있다. 그래서 한 가지 더 추가해서 특정 문자열만 출력이 되도록 하는 조건을 추가해 보았다. 이게 무슨 소리냐면, "/0"이라는 문자가 입력이 되어 있다면 이후에 작성된 문자열이 있더라도 산출되는 결과에 적용되지 않는 것이다. 또한 이번 예제코드에서는 for loop, if state.. 2023. 9. 25.
[Python Examples] 모델링을 위한 데이터 분석 방법 비교: simple Euler integration, Runge-Kutta 4th order 모델링을 위한 데이터 분석 방법 비교: simple Euler integration, Runge-Kutta 4th order 포스트 난이도: HOO_Middle # 모델링을 위한 데이터 분석 이전 포스트, "모델링을 위한 데이터 분석",에서 4가지 계산식을 통해 산출된 결괏값들이 각기 달라질 수 있다는 걸 확인했다. 이번 포스트에서는 각기 다른 계산식일지라도 주어진 조건 값을 조정해 줌으로써 산출 결과를 동일하게 만들어줄 수 있음을 살펴볼 예정이다. 앞선 포스트에 대한 내용이 궁금하다면 아래의 링크를 통해 해당 포스트를 살펴볼 수 있다. https://whoishoo.tistory.com/655 [Python Example] 모델링을 위한 데이터 분석 방법 Analytical solution, simpl.. 2023. 9. 22.
[Python Example] 모델링을 위한 데이터 분석 방법 Analytical solution, simple Euler integration, improved Euler integration, Runge-Kutta 4th order: #matplotlib, #for_loop, #numpy 모델링을 위한 데이터 분석 방법 Analytical solution, simple Euler integration, improved Euler integration, Runge-kutta 4th order: #matplotlib, #for_loop, #numpy 포스트 난이도: HOO_Middle # 계산식에 따른 산출값의 변화 Timeseries의 데이터를 분석하여 모델링을 하기 위해서는 비정형 데이터를 정형화하는 작업이 필요하다. 그중에 가장 기본적으로 데이터를 분석하는 방식이 연속성 데이터를 분석할 수 있는 계산식을 통해서 결괏값을 산출해 내는 것이다. 대표적인 계산식으로는 Analytical solution, Simple Euler integration, Improved Euler integrat.. 2023. 9. 21.
[Python Examples] 효소 활성화 반응 (Enzyme-activated Reaction): matplotlib, for loop, array 효소 활성화 반응 (Enzyme-activated Reaction): matplotlib, for loop, array 포스트 난이도: HOO_Junior # Example codes 이번 예제코드는 효소 활성화 반응을 산출하는 파이썬 코드이다. Matplotlib, for loop, array을 사용하고 있기에 해당 functions들에 대한 복습을 하는데 괜찮은 코드이다. for loop과 array를 통해서 시간대별 변화하는 효소 반응을 산출하고 있으며, 산출된 결과값들을 기반으로 배열에 저장된 데이터를 그래프로 표현할 때에 matplotlib을 사용하고 있는 걸 확인할 수 있다. # v= Vmax[s]/Km+[s] #[s]=0 to 80 #Km=10 #Vmax=0.10^(-1) #ear is a .. 2023. 9. 15.
[Python Examples] 사망 시간 추정하기: while loop 사망 시간 추정하기: while loop 포스트 난이도: HOO_Intern # Example codes 이번 포스트에서는 while loop을 활용한 사망 시간 추정시간 예제코드를 살펴볼 수 있다. 간단한 계산식과 더불어 while loop을 사용하고 있기에 반복문이 어떻게 사용되고 있는지에 대한 복습하기에 좋은 예제코드이다. 우선 각 변수들과 dt라는 계산식이 포함된 변수를 통해 t라는 사망 시간을 추정할 수 있도록 코드를 작성해 준다. 이후에 사람의 체온이 0이 될 때까지 t값의 시간이 추가되도록 반복 작업을 해줘야 하는데 이때 사용하는 function이 while loop이다. while문을 살펴보면 dt 값이 하나씩 빠질 때, t 값이 하나씩 증가하는 걸 확인할 수 있다. 이후에 while문이 .. 2023. 9. 15.
[Python Examples] Growth of a Bacterial Populations: for loop, matplotlib, array Growth of a Bacterial Populations: for loop, matplotlib, array 포스트 난이도: HOO_Junior # Example Codes 이번 예제코드는 박테리아 증식에 대한 결과를 산출해내고 있으며, 결괏값을 그래프로 나타내었다. matplotlib을 통해서 그래프로 표현이 가능하며, for loop를 통해서 각 시간대별 결과를 계산식으로 하여금 산출해 낼 수 있다. 또한 array를 활용해서 시간대별 값을 저장한 후에 그래프로 출력하는 데 사용하였다. 코드로 보면 허무할 정도로 간단해 보이지만 requirments나 계산식만 주어졌을 때 코드로 변환하는 과정이 어렵게만 느껴질 수 있다. 특히 이제 막 파이썬을 배우기 시작하거나 프로그래밍 자체를 다루기 시작한 학.. 2023. 9. 15.
[Python] bash: pip: command not found bash: pip: command not found # 맥북 vscode pip 에러 맥북에서 vscode를 사용할 때 발생할 수 있는 에러로 pip가 제대로 설치가 되어있지 않았다는 걸 의미한다. 한마디로 컴퓨터가 도대체 무슨 명령어인지 못 알아듣는 상황이라고 볼 수 있다. 윈도우 환경에서는 파이썬 설치와 동시에 pip의 명령어를 바로 사용할 수 있을 뿐만 아니라 자동으로 다른 모듈 설치까지 해주는데 도대체 이 놈의 맥북은 매번 애증의 관계이다. 아무튼 글쓴이의 나름의 여러 가지 방법을 토대로 찾아낸 가장 간단하게 해결할 수 있는 방법을 찾아냈다. # cURL cURL은 컬이라고 부르는 데이터를 전송하기 위해 특정 주소와 함께 작성된 명령줄에 해당된다. 한마디로 우리가 터미널에서 인터넷이라고 부르는 통.. 2023. 8. 11.
[Python Examples] 파이썬 문자열 사이에 문자열 추가하기 예제 코드 파이썬 문자열 사이에 문자열 추가하기 예제 코드 포스트 난이도: HOO_Junior # Example Code 1 string1 = "HOOI" string1 =string1[0:3]+'A'+string1[3:] print(string1) HOOAI 파이썬에서는 문자열 사이에 문자열을 추가할 수 있다. 예를 들어서 위의 예제코드 "string1"이라는 변수를 보면 "HOOI"라는 문자열이 선언되어 있다. 만일 우리가 "string1"이라는 변수에 "HOOAI"라는 문자열을 가지도록 바꿔주고 싶다면 'A'라는 문자를 문자열 사이에 추가해 줘야 된다고 생각한다. 마찬가지로 컴퓨터에도 해당 문자를 어느 위치에 추가로 저장해 줄 건지를 알려줘야 하는데, 이때 가장 간단한 방법은 string1이라는 문자열을 문자.. 2023. 8. 9.
[Python Examples] Matplotlib 예제코드: Horizontal Bar Chart(수평 막대 그래프) 데이터 시각화 Matplotlib 예제코드: Horizontal Bar Chart(수평 막대그래프) 데이터 시각화 포스트 난이도: HOO_Junior # Example Codes import matplotlib.pyplot as plt import numpy as np fig, ax = plt.subplots() locationName = ('Gangwon-do', 'Gyeonggi-do', 'Gyeongsangnam-do', 'Gyeongsangbuk-do', 'Busan-si') y_hd = np.arange(len(locationName)) values = [13, 1, 19, 14, 3] error = 0 ax.barh(y_hd, values, xerr=error, align='center') ax.set_yt.. 2023. 2. 15.
[Python Examples] 변수 선언하고 출력하기 예제 코드: myString, print() 변수 선언하고 출력하기 예제 코드: myString, print() 포스트 난이도: HOO_Intern # Example Codes myString ='my first: \n \'hello\'' print(myString) my first: 'hello' 2023. 2. 8.
[Python Examples] 파이썬 타입 예제코드: type() 파이썬 타입 예제코드: type() 포스트 난이도: HOO_Intern # Example codes x= 5 type(x) int type() function의 경우에는 변수(variables)의 data type이 무엇인지를 나타내주는 역할을 수행한다. 따라서 위의 예제코드를 보면 x라는 변수가 5라는 값을 가지고 있다. 5는 ""로 구분된 문자열(string)이 아니라 숫자(int) 또는 정수로 표기가 되어 있기 때문에 우리는 int 타입인 것을 알 수 있다. 이때 type(x)을 통해서 코드를 실행해주면 x라는 타입에 대한 결과가 산출되어 int라는 결과가 출력되는 걸 확인할 수 있다. 마찬가지로 다른 예시를 살펴보도록 하자. x= "HOOAI" type(x) str 위의 코드도 방식은 이전 예제코.. 2023. 1. 13.
[Python Examples] 리스트 예제 코드: 리스트에서 int와 string 구분하여 출력하기, #isinstance() 리스트 예제 코드: 리스트에서 int와 string 구분하여 출력하기 포스트 난이도: HOO_Junior # Example codes 이전 "리스트 예제 코드" 포스트에서 int인 원소(elements)를 구분하여 산출해 내는 코드를 살펴보았다. https://whoishoo.tistory.com/554 [Python Examples] 리스트 예제 코드: 리스트에서 int만 골라서 출력하기 리스트 예제 코드: 리스트에서 int만 골라서 출력하기 포스트 난이도: HOO_Junior # Example codes LIST = [5,26,33,"5",115,120,9,"0",88,1] for x in LIST: if type(x) == int: print("number", x) number 5 number 26.. 2023. 1. 13.
[Python Examples] 파이썬 랜덤 예제 코드: np.random.choice() 파이썬 랜덤 예제 코드: np.random.choice() 포스트 난이도: HOO_Junior # Example codes import numpy as np colors = ['black', 'white'] np.random.choice(colors, p=[0.75,0.25], size=10) array(['black', 'black', 'black', 'white', 'black', 'black', 'white', 'black', 'white', 'white'], dtype=' 2023. 1. 13.
[Python Examples] 리스트 예제 코드: 리스트에서 int만 골라서 출력하기 리스트 예제 코드: 리스트에서 int만 골라서 출력하기 포스트 난이도: HOO_Junior # Example codes LIST = [5,26,33,"5",115,120,9,"0",88,1] for x in LIST: if type(x) == int: print("number", x) number 5 number 26 number 33 number 115 number 120 number 9 number 88 number 1 리스트(List)의 경우에는 int와 string 타입을 모두 하나의 리스트에 저장할 수 있다. 따라서 특정 타입에 해당하는 원소(elements)들만 골라서 출력하거나 별도로 산출해내고 싶다면 위의 예제 코드를 참고하면 된다. 위의 예제코드를 살펴보면 for문과 if문을 사용하여 간.. 2023. 1. 13.
[Python Examples] 파이썬 메모장 텍스트 저장하기, 메모장에 쓰기: write(), open() 파이썬 메모장 저장하기, 메모장에 쓰기: write(), open() 포스트 난이도: HOO_Junior # 파이썬 메모장에 텍스트 저장하기 파이썬(Python)에서 텍스트 파일을 메모장에 저장하기 위해서는 open()과 write() 기능으로 쉽게 만들 수 있다. 아래의 예제 코드는 메모장에 텍스트 파일을 저장하는 간단한 예제 코드이다. HOOAI = ['HOOAI', 'Henry Cho', 'Data Scientist', 'Man'] with open('HOOAI.txt', 'w') as f: for x in HOOAI: f.write(x) f.write('\n') HOOAI Henry Cho Data Scientist Man 위와 같이 HOOAI라는 배열 안에 있는 텍스트를 메모장에 저장해주기 위해.. 2023. 1. 7.
[Python Examples] 넘파이 배열(Numpy Array) 예제 넘파이 배열(Numpy Array) 예제 포스트 난이도: HOO_Junior # Example 1: numpy array import numpy as np #01 my_arr = np.array([9,8,7,6,5,4,3,2,1]) print(my_arr) [9 8 7 6 5 4 3 2 1] 넘파이 배열(numpy array)을 사용하기 위해서는 배열에 numpy 라이브러리를 사용할 것이라는 점을 작성해주어야 한다. 이후에 ([]) 안에 원소 값을 입력하여 넘파이 배열을 생성해줄 수 있다. # Example 2: numpy array import numpy as np #02 my_mat = np.array([[my_arr],[my_arr]]) print(my_mat.shape) (2, 1, 9) 위의 예.. 2022. 12. 24.
[Python Examples] 서로 다른 배열 더하기: np.array() 와 array 차이점 [[ 6 8] [10 12]] 서로 다른 배열 더하기: np.array()와 array 차이점 포스트 난이도: HOO_Junior # np.array() import numpy as np a =[[1,2],[3,4]] b =[[5,6],[7,8]] a = np.array(a) b = np.array(b) c = a+b print(c) [[ 6 8] [10 12]] import numpy를 통해서 넘파이(numpy) 배열(array)을 계산하는 방법을 일반 파이썬 배열과 달리 결과를 산출할 수 있다. 위의 예제 코드에서처럼 넘파이를 사용하여 배열 a와 b를 더해준다고 가정했을 때 배열 a와 b를 넘파이를 통해서 넘파이 배열로 다시 선언해준다. 그다음 c라는 새로운 변수(Variable)를 통해서 두 배열을.. 2022. 12. 12.
[Python Examples] 파이썬 while문 예제: while, if, elif, else 파이썬 while문 예제: while, if, elif, else 포스트 난이도: HOO_Intern # Example codes x = 0 print(" x ","|"," y ") print("--------|--------") while not x > 98: if x >= 0 and x = 1 and x < 2: y = x*x print("%4.f" % x, " |", " %4.f " % y) else: y = x+2 print("%4.f" % x, " |", " %4.f " % y) x +=1 x | y --------|-------- 0 | 0 1 | 1 2 | 4 3 | 5 4 | 6 5 | 7.. 2022. 11. 20.
[Python Examples] matplotlib.pyplot 기본 코드 예제 matplotlib.pyplot 기본 코드 예제 포스트 난이도: HOO_Junior # matplotlib.pyplot matplotlib는 통계 데이터를 그래픽으로 시각화할 수 있는 라이브러리이다. 한마디로 다양한 plot, 그래프들을 만들어낼 수 있다. 그중에서도 기본적으로 많이 사용되는 pyplot를 사용할 수 있는 기본 코드를 이번 예제를 통해서 살펴볼 수 있다. 이번 예제에서 Pyplot에 사용되는 기능은 아래와 같다. plt.plot() plt.xlabel() plt.ylabel() plt.grid() plt.title() # Example code of the Pyplot import numpy as np import matplotlib.pyplot as plt R = 0.078; N = 5.. 2022. 11. 20.
[Python Examples] 95% Confidence Interval, 99% Confidence Interval 예제 95% Confidence Interval, 99% Confidence Interval 예제 포스트 난이도: HOO_Junior # Confidence Interval Confidence Interval은 한국말로 신뢰 구간이라고 부르며 데이터를 분석하는 데 사용되는 통계학적 표현이다. Confidence interval를 사용하는 이유는 모든 데이터를 분석하고 결과를 산출해내기가 어렵기 때문이다. 물론 모든 데이터를 분석하여 결과를 산출하면 100% 정확한 값을 얻을 수 있겠지만 현실적으로 수많은 데이터를 모두 분석하여 처리하는 데에는 어려움이 있다. 따라서 일부 Sample 데이터를 통해서 전체 데이터를 분석한 것과 같은 결과를 산출해낼 수 있도록 Confidnece Interval를 사용한다. 우리.. 2022. 11. 19.
[Python Examples] type(): 데이터 타입 출력해서 나타내기 type(): 데이터 타입 출력해서 나타내기 포스트 난이도: HOO_Intern # Example Codes var =10 print(type(var)) var_float =10.52 print(type(var_float)) introduce = "Hello I'm HOO." print(type(introduce)) alphabet = "A" print(type(alphabet)) 2022. 11. 1.
[Python Examples] pd.DataFrame(): Section별 학생 구분하여 출력하기 pd.DataFrame(): Section별 학생 구분하여 출력하기 포스트 난이도: HOO_Intern # Example Codes import pandas as pd df = pd.DataFrame({"section": [3,1,1,2,2,3], "students": ['James', 'Julia', 'Megan', 'Henry', 'Minji', 'Yelin']}) sec_1 = df[df['section'] == 1] sec_2 = df[df['section'] == 2] sec_3 = df[df['section'] == 3] print(sec_1) print(sec_2) print(sec_3) section students 1 1 Julia 2 1 Megan section students 3 2 .. 2022. 10. 28.
[Python Examples] BeautifulSoup: lambda x: x.attrs['href'].startswith('http://www.vgchartz.com/game/'), lambda x: 'href' in x.attrs and x.attrs['href'].startswith('https://www.vgchartz.com/game/') BeautifulSoup Examples: vgchartz.com/game 포스트 난이도: HOO_Junior # Example Code from bs4 import BeautifulSoup, element import urllib import pandas as pd import numpy as np pages = 19 rec_count = 0 rank = [] gname = [] platform = [] year = [] genre = [] critic_score = [] user_score = [] publisher = [] developer = [] sales_na = [] sales_pal = [] sales_jp = [] sales_ot = [] sales_gl = [] urlhead = 'ht.. 2022. 10. 28.
728x90

티스토리툴바