느리지만 꾸준히, 코딩

작성일: 24.11.24(일)개요유튜브 인기동영상 데이터 스크래핑데이터로 다양하게 시각화스크래핑모듈 importimport requestsfrom bs4 import BeautifulSoupfrom selenium import webdriverimport matplotlib.pyplot as pltimport matplotlib.font_manager as fmimport pandas as pdimport seaborn as snsimport numpy as np셀레니움 활용하여 스크래핑url = "https://www.youtube.com/feed/trending"driver = webdriver.Chrome()driver.implicitly_wait(3)html = driver.get(url)page..

아나콘다란?아나콘다(Anaconda)는 데이터 과학, 머신 러닝, 인공지능 분야에서 사용되는 파이썬 및 R 프로그래밍 언어의 배포판이다. 아나콘다는 많은 과학적 계산 라이브러리와 툴을 포함하고 있어, 데이터를 처리하고 분석하는 데 필요한 도구들을 손쉽게 설치하고 관리할 수 있다.파이썬은 버전 관리가 중요한 이유파이썬은 왜 아나콘다를 활용하는걸까? 크게 2가지로 간추려보았다.1) 호환성 문제파이썬의 버전이 변경될때 새로운 기능이 추가되거나 기존기능이 변경 될수 있다. 그리고 특정 라이브러리나 프레임워크가 특정 버전에서만 지원할 수 있기때문에 버전 관리를 통해 환경을 유지하는것이 중요하다.2) 프로젝트 간 버전 충돌 방지여러개의 플로젝트를 진행할 때, 프로젝트마다 다른 버전의 파이썬을 사용하고 있을 수 있다..

교육일: 24.11.19(화)강사님: 조대연서울시 범죄현황 통계자료 분석 및 시각화데이터 입력 및 전처리데이터 탬색검거율 기준으로 데이터 정렬하기범죄별 발생건수 정규화 하기한글 데이터 시각화구별 살인/절도 발생 건수 순위 살펴보기[ 인구수 대비 ] 구별 살인 발생 순위 살펴보기[ 인구수 대비 ] 구별 5대 범죄 수치 평균 계산하기[ 인구수 대비 5대 범죄 발생 수치 평균 ] 구별 순위 비교하기데이터 시각화구별 살인사건 발생 건수 지도 시각화지도 시각화: Folium Lib 활용지도 데이터: Geo Json 데이터 활용코드def load_and_preprocess_data(): """예시 데이터 구조 로드""" crime_data = pd.DataFrame({ '구별': ['..

작성일: 24.11.19(화)강사님: 조대연Pandas 기본 문법Python Data Analysis Library의 줄임말데이터 조작과 분석을 위한 파이썬 라이브러리엑셀의 기능을 프로그래밍으로 구현한 것이라고 이해하면 쉬움DataFrame2차원 테이블 구조엑셀 시트와 유사한 형태Series들의 집합이라고 볼 수 있음df = pd.DataFrame({ '이름': ['김씨', '박', '이씨'], '나이': [25, 28, 32], '직업': ['학생', '회사원', '교사']})Series 개념Pandas의 기본 1차원 데이터 구조NumPy array와 유사하지만, 인덱스 레이블을 가짐동일한 데이터 타입의 값들을 담는 1차원 배열리스트 생성import pandas as pd# 기본 생성..

학습일: 24.11.19(화)강사님: 조대연머신러닝을 위한 데이터 - 종류, 수집, 활용데이터 종류정형 데이터 (Structured Data)관계형 데이터베이스(RDB)에 저장되는 데이터엑셀 시트처럼 행과 열로 구성된 데이터예시: 고객정보, 거래내역, 제품정보 등비정형 데이터 (Unstructured Data)미디어 데이터이미지/비디오음성/음향문서(PDF, Word 등)텍스트 데이터SNS 게시물상품 리뷰채팅 로그반정형 데이터 (Semi-structured Data)일정한 규칙이 있으나 완전한 구조화는 되지 않은 데이터주요 유형시스템 로그IoT 센서 데이터HTML/XML/JSON 문서이메일머신러닝을 위한 데이터 전처리데이터 변환 과정모든 데이터는 최종적으로 숫자로 변환텍스트 데이터의 경우단어 임베딩(Wor..

개요변수선언기본 연산자데이터 타입함수컨테이너조건문, 반복문내장함수, 외장함수라이브러리 활용1. 변수 선언x = 3 # 변수명 = 값좌변: 변수명우변: 변수에 할당할 값메모리 공간에 x 라는 공간의 이름을 지정하고, 그 공간에 9라는 데이터를 넣는것그렇다면, == 이건뭔가?== 은 같느냐? 라고 물어보는것과 같다.print( x == 9) # False 즉 9 와 같냐? 라고 물어보는것이다.type 함수로 타입 확인type(x) # 데이터 타입을 알 수 있다# 2. 기본 연산자더하기, 빼기, 곱하기, 몫, 나머지, 제곱근# 더하기 후 할당x = x + 1# 주의# x + 1 은 x 에 1을 더한다는것이 아니다!# 빼기x = x - 1# 몫x = x / 2# 나머지 x = x % 2# 제곱근x = x **..

개요운영진 소개부트캠프란?서로를 알아가는 시간취업 컨설턴팅 소개운영진 소개Upstage AI Lab 6기를 관리해주실 "양승인", "박기준" 매지저님에 대해 알아가는 시간을 가졌다.두분 모드 부트캠프 출신이라는 점이 인상깊었다. 그만큼 국비교육에서의 어려운점과 필수요소들을 잘 이해하고 계셨다.부트캠프란?부트캠프는 "미군의 기초 군사훈련"에서 유래되었다는것을 처음 알았다.그리고 이번 Upstage AI Lab의 교육시스템에 대해 알아보았다.대략적인 교육 중요 키워드:AI 입문 강의AI 심화 강의Recommender SystemOCRAnomaly Detection7개의 경진대회Regression Image Classification Dialogue Summarization OCR Detector Inform..

마인드셋패스트캠퍼스 박기준 매니저님께서 마인드셋 강의를 진행해주셨다.개요프로젝트 진행 및 경진대회슬랙 활용법 & 강의장 이용방법당부의 말씀1. 프로젝트 진행 & 경진대회강사님께서는 이미 패캠의 AI 부트캠프의 수료생이셔서 우리가 격을 고충에 대해 아주 잘 알고 계셨다.그만큼 프로젝트를 진행하면서 발생할 이슈에 대해 현명하게 대처해나갈 수 있는 마인드셋을 하나하나 잘 설명 해주셨다 ㅎ 강사님의 스토리중 기억에 남는것은 프로젝트 진행중 팀원 한분의 과도한 크롤링으로 해당 사이트의 밴을 당해 아직도 감옥에 같혀있다는 이야기가 기억에 남았다. (조심해야겠다 😹) 업스테이지 자체 제적된 경진대회 과정에 대해서도 설명해주셨다. 다양한 피드백을 받으며 미션을 진행하는것 같다. 특히 캐글대회는 제작자의 피드백이 받기..