전체 글 21

04_1 Data Preprocessing

1) Handling Missing DataMissing Data (결측값)다양한 이유로 측정 data의 값이 missing 일 수 있음 ➢ e.g., 응답을 안했거나, 측정이 불가능 하거나, 기기의 오류, 기술의 한계 등Missing value을 처리 하지 않고 분석을 하면 mean, variance등의 계산 혹은 추후에 모델을 만들 때 에러가 생김 ➢ Package마다 기본으로 내장된 처리 방식이 존재 하기도 함 (e.g., pandas는 missing값 제외하고 계산)다양한 방법으로 Missing value를 처리Removal or deletion of missing value.Impute missing value with Mean/Median/Mode.Inference (Regression / C..

02_시각화

2023-202_1 시각화기술 통계학(Descriptive Statistics): a summary statistic that quantitatively describes or summarizes features from a collection of information추측 통계학(Inferential statistical analysis): infers properties of a population, e.g., by testing hypotheses and deriving estimates시각화(Data Visualization)숫자 형태의 데이터를 그림 형태로 표현하는 것다양한 visualization package 개발됨(e.g., matplotlib, seaborn)데이터의 특성과 보여주기 위한..

01_Introduction to Database

March, 2024Data & DatabaseData: 정형화되고 기록할만 한 가치가 있다고 판단되는 어떤 현상이나 사건, 아이디어에 대한 묘사A formal description of an entity, event, phenomena, or ideaworth recordingDatabase (DB): 조직이나 개인이 사용하는 조작가능한, 저장된 데이터의 모음An integrated collection of persistent data, representing the information of interestrepresenting the information of interestfor various programs that compose the computerized information system ..

논문 리뷰 | SqueakOut: Autoencoder-based segmentation of mouse ultrasonic vocalizations

April, 2024Gustavo M. Santana, Marcelo O. Dietrich https://www.biorxiv.org/content/10.1101/2024.04.19.590368v1 https://github.com/gumadeiras/squeakout0. Abstract쥐는 social communication에 중요한 USVs (Ultrasonic Vocalizations)를 방출함noise 제거 등의 spectrograms에서 USV를 정확하게 segmentation하는 것이 아직 challenge로 남아있음12,954개의 dataset(명시적으로 USV segmentation에 대해 주석이 달린 spectrograms)을 사용해서 SqueakOut을 개발 (USV의 spectrog..

데이터베이스 개론과 실습 (MySQL로 배우는) | Chapter 08: 트랜잭션, 동시성 제어, 회복

Aug, 202301. 트랜잭션1. 트랜잭션의 개념트랜잭션(transaction)DBMS에서 데이터를 다루는 논리적인 작업의 단위( = DBMS가 데이터베이스를 다룰 때 사용하는 작업(프로그램) 단위)보통 단일 SQL 문을 사용하여 다루기도 하지만 여러 개의 SQL문을 순차적으로 수행하여 다루기도 한다트랜잭션을 정의하는 이유데이터베이스에서 데이터를 다룰 때 장애가 일어나면, 트랜잭션이 장애 발생 시 데이터 복구 작업의 단위로 쓰인다데이터베이스에서 여러 작업이 동시에 같은 데이터를 다루면, 트랜잭션이 이 작업을 서로 분리하는 단위가 된다트랜잭션은 전체가 수행되거나 또는 전혀 수행되지 않아야 한다(all or nothing)BEGIN 1) A 계좌에서 10,000원을 인출하는 SQL UPDATE 문 2) B..

데이터베이스 개론과 실습 (MySQL로 배우는) | Chapter 07 정규화

Aug, 202301. 이상현상이상현상의 개념이상현상(anomaly): 테이블에 투플을 삽입할 때 부득이하게 NULL 값이 입력되거나, 삭제 시 연쇄삭제 현상이 발생하거나, 수정 시 데이터의 일관성이 훼손되는 현상잘못 설계된 테이블로 삽입, 삭제, 수정 같은 데이터 조작을 하면 이상현상이 일어난다이상현상의 종류삭제이상(deletion anomaly): 투플 삭제 시 같이 저장된 다른 정보까지 연쇄적으로 삭제되는 현상→ 연쇄삭제(triggered deletion) 문제 발생삽입이상(insertion anomaly): 투플 삽입 시 특정 속성에 해당하는 값이 없어 NULL 값을 입력해야 하는 현상→ NULL 값 문제 발생수정이상(update anomaly): 투플 수정 시 중복된 데이터의 일부만 수정되어 데..

데이터베이스 개론과 실습 (MySQL로 배우는) | Chapter 06

Aug, 202301. 데이터베이스 모델링의 개념1. 데이터베이스 생명주기데이터베이스 생명주기(database life cycle): 데이터베이스의 생성과 운영에 관련된 특징요구사항 수집 및 분석 → 설계 → 구현 → 운영 → 감시 및 개선 (→ 요구사항 수집 및 분석)요구사항 수집 및 분석: 사용자들의 요구사항을 듣고 분석하여 데이터베이스 구축의 범위를 정하는 단계설계: 분석된 요구사항을 기초로 주요 개념과 업무 프로세스 등을 식별하고(개념적 설계), 사용하는 DBMS의 종류에 맞게 변환(논리적 설계)한 후, 데이터베이스 스키마를 도출(물리적 설계)하는 단계구현: 설계 단계에서 생성한 스키마를 실제 DBMS에 적용하여 테이블 및 관련 객체(뷰, 인덱스 등)을 만들고, 관련 소프트웨어에 설계한 데이터베이..