[Python] 병렬처리(Multiprocessing)를 통한 연산속도 개선
Pandas dataframe의 연산속도 개선을 위해 병렬처리를 활용해보자
카테고리[전체]
- data_handling 28
- basic 21
- ML 15
- dl 12
- training 11
- sql 8
- concept 7
- web 6
- competition 6
- spatial_analysis 6
- etc 4
- visualization 3
- hadoop 2
- paper 1
data_handling
[Python] 특정 값이 최대값을 가지는 행(row) 추출
특정 값이 최대값을 가지는 행(row) 추출
[Python] dataframe의 원소가 리스트인 컬럼을 기반으로 행 복사
pandas dataframe에서 원소가 리스트인 컬럼이 있을때 이를 기반으로 행을 복사
[Python] glob 디렉터리 및 파일 리스트 추출
glob 모듈을 이용한 디렉터리 및 파일 리스트 추출
[Python] 리스트 각 원소들의 타입 변경
리스트 각 원소들의 타입 변경
[Python] pandas 문자열 관련 함수 str
판다스의 str 연산자를 이용해 문자열을 다루는 방법
[Python] 기준 날짜 전 또는 후(월/일) 날짜 구하기
기준 날짜의 6개월 전이나 100일 전 등의 날짜값 계산을 편리하게
[Python] csv 필드값이 매우 큰 경우 에러
csv파일 read시, Overflow 오류 해결방법
[Python] re모듈, 정규표현식(regular expression)
re모듈을 이용해, 정규표현식을 만들고 문자열을 식별하는 방법을 알아보자
[Python] 구조의 재배열, numpy.reshape 함수
구조의 재배열을 통해 차원을 변환해주는 reshape함수에 대해 알아보자
[Python] 난수(random number)발생과 표본추출(sampling)
표본추출과 모델링에 주로 활용되는 난수와 관련된 함수들을 알아보자
[Python] pd.where과 np.where의 차이
조건문 함수 where를 제공하는 판다스와 넘파이의 차이를 알아보자
[Python] zipfile 모듈, 압축파일 다루기
zipfile 모듈을 활용해서 압축 파일을 다루는 방법을 알아보자
[Python] os 모듈, 파일(file)과 디렉토리(directory)활용
os 모듈을 활용해서 내 컴퓨터의 파일과 디렉토리를 효과적으로 활용해보자
[Pandas 기초] 피벗 테이블(pivot_table)과 멀티인덱스(MultiIndex)
판다스의 피벗테이블과 그에 따라 생기는 멀티인덱스에 대해 알아보자
[Pandas 기초] 그룹(group)객체 생성 및 집계(agg) 연산
판다스의 groupby함수 및 다양한 그룹연산 메소드들에 대해 알아보자
[Pandas 기초] 데이터프레임 합치기(merge, join, concat)
판다스 데이터프레임을 병합하는 여러가지 함수에 대해 알아보자
[Pandas 기초] 데이터프레임의 필터링(filtering)
불린(boolean)시리즈를 활용해 데이터프레임을 필터링하는 방법을 알아보자
[Pandas 기초] 데이터프레임의 열(column)재구성
판다스를 활용해 데이터프레임의 열(column)을 적절히 재구성하는 방법을 알아보자
[Pandas 기초] 함수 매핑(mapping)
판다스를 활용해 개별 원소를 특정함수에 일대일 대응시키는 방법을 알아보자
[Pandas 기초] 시계열 데이터(timeseries), Timestamp와 Period
판다스를 활용해서 시계열 데이터의 자료형과 활용방법에 대해 알아보자
[Pandas 기초] 자료형(type) 변형, 범주형(category)데이터 처리
판다스를 활용해서 자료형을 알맞게 변형하고, 범주형 데이터를 다루는 방법을 알아보자
[Pandas 기초] 결측치(NaN), 중복 데이터 처리
판다스를 활용해서 결측치와 중복 데이터를 식별하고 처리하는 방법을 알아보자
[Pandas 기초] EDA, 데이터 탐색하기(요약정보, 기초통계, 시각화)
판다스의 데이터프레임을 다양한 방법으로 살펴보고 파악해보자
[Pandas 기초] 다양한 데이터 읽고(read) 쓰기(write)
판다스에서 제공하는 데이터 읽고 쓰기 기능을 알아보자
[Pandas 기초] 시리즈와 데이터프레임의 산술연산
판다스 시리즈와 데이터프레임의 산술연산에 대해 알아보자
[Pandas 기초] 인덱스 활용 및 정렬
판다스 데이터프레임의 인덱스와 정렬 기능을 알아보자
[Pandas 기초] 시리즈(Series)와 데이터프레임(Dataframe)
판다스의 기본 자료구조인 시리즈와 데이터프레임을 알아보자
basic
[Anaconda] 아나콘다 가상환경 IDE와 연동하기
jupyter notebook, spyder에 가상환경을 연결시켜보자!
[Anaconda] 아나콘다 가상환경의 개념 및 활용방법
가상환경이 도대체 뭘까? 그리고 어떻게 쓰는 걸까?
[Python] 예외처리 (try, except, finally, else)
오류 발생을 회피하거나 처리하는 방식에 대해 알아보자
[Python] pass, continue, break 차이
조건문 등에서 흐름을 제어하는 pass, continue, break를 알아보자
[Python 기초] 파이썬 프로그래밍 - 외장함수
파이썬 라이브러리, 외장함수를 알아보자
[Python 기초] 파이썬 프로그래밍 - 내장함수
파이썬에 기본적으로 내장되어 있는 내장함수를 알아보자
[Python 기초] 파이썬 프로그래밍의 핵심 - 패키지(Package)
파이썬의 패키지(Package)을 기초부터 확실하게 알아보자
[Python 기초] 파이썬 프로그래밍의 핵심 - 모듈(Module)
파이썬의 모듈(Module)을 기초부터 확실하게 알아보자
[Python 기초] 파이썬 프로그래밍의 핵심 - 클래스(Class)
파이썬의 클래스(Class)를 기초부터 확실하게 알아보자
[Python 기초] 사용자 입출력 & 파일 읽고 쓰기
프로그램의 설계와 관련된 입출력에 대해 알아보자.
[Python 기초] 프로그램의 입출력 - 재귀함수 호출
프로그램의 설계와 관련된 입출력에 대해 알아보자.
[Python 기초] 프로그램의 입출력 - 함수 정의(def)
프로그램의 설계와 관련된 입출력에 대해 알아보자.
[Python 기초] 프로그램의 구조, 제어문 - for문
자료형과 연산자를 바탕으로 제어문을 이용한 구조를 배워보자.
[Python 기초] 프로그램의 구조, 제어문 - while문
자료형과 연산자를 바탕으로 제어문을 이용한 구조를 배워보자.
[Python 기초] 프로그램의 구조, 제어문 - if문
자료형과 연산자를 바탕으로 제어문을 이용한 구조를 배워보자.
[Python 기초] 값의 저장공간, 변수(variable)
값을 저장하는 공간인 변수(variable) 대해 알아보자
[Python 기초] 자료형의 참과 거짓(True/False)
실제로 자주 활용되는 참과 거짓에 대해 알아보자
[Python 기초] 파이썬 자료형 - 집합자료형(Set)
파이썬의 기본이자 핵심단위인 자료형을 알아보자
[Python 기초] 파이썬 자료형 - 딕셔너리(Dictionary)
파이썬의 기본이자 핵심단위인 자료형을 알아보자
[Python 기초] 파이썬 자료형 - 리스트(List), 튜플(Tuple)
파이썬의 기본이자 핵심단위인 자료형을 알아보자
[Python 기초] 파이썬 자료형 - 문자열(String)
파이썬의 기본이자 핵심단위인 자료형을 알아보자
ML
[ML] kNN Classifier, Numpy로 구현하기
전통적인 분류 알고리즘인 kNN을 numpy로 구현해보자.
[ML] 은닉 마르코프 모델 (Hidden Markov Model, HMM)
sequential data 모델링에 활용되는 HMM에 대해 알아보자
[클러스터링] 비계층적(K-means, DBSCAN) 군집분석
비계층적 군집분석 방법인 K-means와 DBSCAN에 대해 알아보자
[Handson ML] 부스팅(Boosting)과 스태킹(Stacking) - 앙상블
약한 모델을 연속적으로 보완해나가며 정확도를 개선하는 부스팅과 스태킹 알고리즘에 대해 알아보자
[Handson ML] 랜덤 포레스트(Random Forest) - 앙상블
여러개의 결정트리 모델을 이용한 앙상블 모형, 랜덤 포레스트에 대해 알아보자
[Handson ML] 배깅(Bagging)과 페이스팅(Pasting) - 앙상블
하나의 알고리즘으로 여러 예측기를 만드는 배깅과 페이스팅 기법에 대해 알아보자
[Handson ML] 투표기반 분류기(Voting classifiers) - 앙상블
앙상블 모형의 기본 원리와 직접,간접투표 방식의 앙상블 기법에 대해 알아보자
[Handson ML] 의사결정나무(Decision Tree)
사이킷런을 활용해 의사결정나무를 구현하고, 그 이론에 대해 알아보자
[Handson ML] 로지스틱(Logistic), 소프트맥스(Softmax) 회귀 - 모델 훈련
분류 문제에서 주로 활용되는 로지스틱(logistic), 소프트맥스(softmax)에 대해 알아보자
[Handson ML] 릿지(Ridge),라쏘(Lasso),엘라스틱 넷(Elsatic-net) - 모델 훈련
모델의 과대적합을 방지하기 위해 선형모델에 규제를 걸어주는 릿지, 라쏘 회귀와 엘라스틱 넷에 대해 알아보자
[Handson ML] 다항회귀(Polynomial Regression) - 모델 훈련
비선형 데이터의 학습을 위한 다항회귀 모델과 오차검증을 위한 학습곡선에 대해 알아보자
[Handson ML] 경사하강법(Gradient Descent) - 모델 훈련
비용함수를 최적화 시키기 위한 알고리즘으로, 경사하강법의 이론과 개념에 대해 알아보자
[Handson ML] 선형회귀(Linear Regression) - 모델 훈련
최적의 모델 파라미터 조합을 찾아 모델을 훈련시키는 방법과 수학적 알고리즘 이론에 대해 알아보자
[Handson ML] 분류(Classification)
사이킷런을 활용해 MNIS데이터셋의 분류문제를 자세하게 다뤄보자
[Handson ML] 머신러닝 프로젝트 A-Z(실습)
머신러닝을 이용한 캘리포니아의 주택 가격 예측
dl
[pytorch] pretrained model의 활용과 fine tuning 하기
torchvision의 pretrained model의 활용과 추가 학습을 위한 fine tuning에 대해 알아보자.
[cs231n] Recurrent Neural Networks - RNN, LSTM
Sequential data를 모델링하는데 사용되는 Recurrent Neural Networks에 대해 알아보자.
[cs231n] CNN Architectures - AlexNet, VGG, GoogLeNet, ResNet
ImageNet challenge에서 발전되어온 CNN 기반 model들 history, idea 그리고 structure에 대해 알아보자.
[cs231n] Transfer Learning
pre-trained model을 활용한 transfer learning에 대해 알아보자.
[cs231n] Training Neural Networks - part 2
신경망을 학습을 위한 techniques: Regularization, Optimization, Learning rate Scheduling, Batch Normalization
[cs231n] Training Neural Networks - part 1
신경망을 학습을 위한 techniques: Activation functions, Data Preprocessing, Weight Initialization
[cs231n] CNN (Convolutional Neural Networks)
입력 데이터가 이미지일 때 효과적으로 학습하기 위한 CNN 아키텍처와 사용되는 layer들에 대해 알아보자.
[cs231n] Neural Networks와 Backpropagation
신경망의 기본인 MLP의 구조와 오차 역전파를 위한 backpropagation 연산 방식에 대해 구체적으로 알아보자.
[cs231n] Loss function과 Optimization
loss function을 통해 현재 모델 성능의 정량화하고, 더 나은 쪽으로 model을 업데이트하는 optimization에 대해 알아보자
[cs231n] Image classification, kNN 알고리즘과 linear classifier
image classification problem의 전반적인 개요와 Nearest Neighbor 및 linear classifier에 대해 알아보자
[pytorch] 간단한 분류 모델(classifier) 학습
pytorch를 통해 간단한 분류모델을 만들고 학습해보자.
[pytorch] Tensor와 Autograd, 그리고 간단한 Neural Network
pytorch를 통해 tensor와 자동 미분을 도와주는 autograd에 대해 알아보고 간단한 신경망을 만들어보자.
training
[DFS/BFS] 백준 1012번 유기농배추 - 파이썬(Python)
매일매일 알고리즘 공부하기
[DFS/BFS] 백준 1260번 DFS와 BFS - 파이썬(Python)
매일매일 알고리즘 공부하기
[DFS/BFS] (이코테) 미로탈출 - 파이썬(Python)
매일매일 알고리즘 공부하기
[DFS/BFS] (이코테) 음료수 얼려 먹기 - 파이썬(Python)
매일매일 알고리즘 공부하기
[Brute force] 백준 1065번 한수 - 파이썬(Python)
매일매일 알고리즘 공부하기
[구현] 백준 1316번 그룹 단어 체커 - 파이썬(Python)
매일매일 알고리즘 공부하기
[정렬] 백준 1427번 소트인사이드 - 파이썬(Python)
매일매일 알고리즘 공부하기
[Brute force] 백준 2798번 블랙잭 - 파이썬(Python)
매일매일 알고리즘 공부하기
[구현] 백준 10172번 개 - 파이썬(Python)
매일매일 알고리즘 공부하기
[구현] 백준 2884번 알람시계 - 파이썬(Python)
매일매일 알고리즘 공부하기
[구현] 백준 2239번 별찍기 2 - 파이썬(Python)
매일매일 알고리즘 공부하기
sql
[SQLD (2-2)] SQL 활용 JOIN, 계층형 질의, 셀프 조인, 서브쿼리, 그룹함수, 윈도우 함수, DCL, 절차형 SQL
데이터 자격 검정 SQLD 정리자료
[SQLD (2-1)] SQL 기본(2) WHERE,GROUP BY,ORDER BY, JOIN, 내장함수,외장함수
데이터 자격 검정 SQLD 정리자료
[SQLD (2-1)] SQL 기본(1) DDL,DML,TCL
데이터 자격 검정 SQLD 정리자료
[SQLD (1-2)] 데이터 모델과 성능
데이터 자격 검정 SQLD 정리자료
[SQLD (1-1)] 데이터 모델링의 이해
데이터 자격 검정 SQLD 정리자료
[SQL] Oracle 내장함수 - 문자 데이터 처리
오라클에서 제공하는 내장 함수 중 문자열을 가공 처리하는 함수에 대하여 알아보자
[SQL] Oracle DB 및 SQL, WHERE절과 연산자
Oracle 데이터베이스에서 SQL문의 WHERE절과 연산자에 대하여 알아보자
[SQL] Oracle DB 및 SQL 기본 조회방식
SQL을 활용하여 Oracle 데이터베이스에서 데이터를 조회하는 방식을 알아보자
concept
[Algorithm] 최단경로 - 다익스트라 (Dijkstra) 알고리즘
매일매일 알고리즘 공부하기
[Algorithm] 다이나믹 프로그래밍 (Dynamic Programming)
매일매일 알고리즘 공부하기
[Algorithm] 이진 탐색 (Binary Search)
매일매일 알고리즘 공부하기
[Algorithm] 정렬 알고리즘 (선택 정렬, 삽입 정렬, 퀵 정렬, 계수 정렬)
매일매일 알고리즘 공부하기
[Algorithm] 깊이 우선 탐색(DFS)과 너비 우선 탐색(BFS)
매일매일 알고리즘 공부하기
[Algorithm] 탐욕 알고리즘 (Greedy algorithm)
매일매일 알고리즘 공부하기
web
[Web] slack bot 만들고 python으로 메세지 보내기
slack bot을 만들고 python과 연동하여 메세지를 보내보자
[Web] 재귀적으로 url 크롤링하기
while문 또는 재귀호출 함수를 만들어 페이지 내부 url을 긁어오기
[Web] BeautifulSoup와 표현식
BeautifulSoup와 정규표현식, 람다표현식 등을 활용하는 방법
[Web] BeautifulSoup의 기초 함수와 트리구조
BeautifulSoup의 기초 함수와 트리구조의 이해를 통해 HTML코드를 파헤치기
[Web] 웹 스크레이핑 기본 및 예외처리
urllib와 BeautifulSoup를 이용한 기본 스크레이핑과 에러 발생에 대한 예외처리
[Web] Selenium으로 네이버 페이지 다루기
Selenium 라이브러리를 통해 네이버에 접근하여 브라우징 하는 방법을 알아보자
competition
[Dacon] 제주 퇴근시간 버스 승하차 인원 예측 3 - modeling
Dacon에서 주최되었던 제주 퇴근시간 버스 승하차 인원 예측, 프로젝트를 진행해보자
[Dacon] 제주 퇴근시간 버스 승하차 인원 예측 2 - feature engineering
Dacon에서 주최되었던 제주 퇴근시간 버스 승하차 인원 예측, 프로젝트를 진행해보자
[Dacon] 제주 퇴근시간 버스 승하차 인원 예측 1 - EDA
Dacon에서 주최되었던 제주 퇴근시간 버스 승하차 인원 예측, 프로젝트를 진행해보자
[Kaggle] 타이타닉 생존자 예측모델 3 - modeling
캐글 compoetition의 가장 기본인 타이타닉 생존자 예측 예제를 공부해보자
[Kaggle] 타이타닉 생존자 예측모델 2 - Feature Engineering
캐글 compoetition의 가장 기본인 타이타닉 생존자 예측 예제를 공부해보자
[Kaggle] 타이타닉 생존자 예측모델 1 - EDA
캐글 compoetition의 가장 기본인 타이타닉 생존자 예측 예제를 공부해보자
spatial_analysis
[GIS] Uber h3와 kepler.gl을 활용한 공간분석
Uber에서 개발한 h3(hexagonal grid system) 라이브러리와 공간 정보 시각화 도구인 kepler.gl에 대해 알아보자.
[GIS] 도로 네트워크 데이터를 활용한 도시의 공간단위 분할
서울시 도로 네트워크를 활용하여 도시의 공간단위 분할을 통해 공간 데이터 분석에 유용한 집계공간을 생성해보자.
[GIS] 공간 데이터 결합(Spatial Join)
geopandas를 이용해서 공간데이터를 결합해보자
[GIS] 좌표 정의 및 변환 방법, 자주쓰는 좌표계
공간정보 데이터의 좌표를 정의하고 변환하는 방법을 알아보자.
[GIS] 공간정보 데이터를 자유롭게 변형, 가공, 처리하기
geopandas를 이용해서 공간데이터를 변형하거나 연산처리하는 방법을 알아보자
[GIS] 공간정보 데이터의 구성 및 기본 이해하기
GIS 공간정보 데이터를 이해하고 geopandas를 이용해서 다루는 방법을 알아보자
etc
[Git] Git & Github의 동작원리 이해하기 및 주요 명령어 정리
버전관리와 개발 협업을 위해 활용되는 Git과 Github을 근본적인 개념부터 주요 명령어까지 상세히 알아보자
[Python] tqdm, 반복 작업에서 진행상황 확인하기
tqdm 라이브러리를 활용해서 for문이나 apply문에서의 진행상황을 모니터링 해보자.
[Python] itertools, 원소의 경우의 수(순열, 조합) 추출하기
itertools 라이브러리를 활용해서 원소들의 경우의 수를 추출하는 방법을 배워보자.
[Python] 경고 메시지(warnings) 숨기기
버전 관리에 따라 알려주는 경고메세지 숨기기
visualization
[시각화] 레이더(Radar), 거미줄(spider) 그래프
파이썬을 활용해 레이더(스파이더) 차트를 시각화하는 방법을 알아보자
[시각화] Matplotlib pyplot을 활용한 데이터 시각화 2
시계열 데이터의 시각화 및 세부 설정 방법들에 대해 알아보자
[시각화] Matplotlib pyplot을 활용한 데이터 시각화 1
히스토그램, 막대그래프, 산점도, 상자그림 등의 시각화 방법을 예제를 통해 배워보자.
hadoop
[Impala] Metadata Cache Invalidation
Impala에서 Hive Metadata의 변동사항을 동기화하는 방법
[Hadoop] Hadoop Ecosystem과 구성요소들에 대한 이해(HDFS, MapReduce, Hive, Imapla, Spark, Kudu, Sqoop 등)
빅데이터 활용을 위한 시스템이자 플랫폼인 Hadoop에 대해 전반적으로 알아보자
paper
[논문리뷰] Searching for Best Practices in Retrieval-Augmented Generation
기존 LLM의 한계 개선을 위한 RAG 기술의 상세한 Workflow 정리 및 다양한 실험을 통해 성능 평가를 수행한 연구