본문 바로가기

Dev Ops16

[Airflow 시리즈] Example DAG 삭제 필요없는거 지웁시다. Example DAG 삭제 Example DAG는 Airflow 설치하면 기본으로 DAG등록이 됩니다. 한번 구경하고 우리가 직접 사용할 DAG를 올려야하니 지워줍니다.  Airflow가 설치된 디렉토리에서 airflow.cfg 를 연다 sudo vi airflow.cfg 참고: 이전글 기준/home/ubuntu/airflow/airflow.cfg# Whether to load the DAG examples that ship with Airflow. It's good to# get started, but you probably want to set this to ``False`` in a production# environment## Variable: AIRFLOW__CORE__LO.. 2024. 10. 15.
[Airflow 시리즈] Airflow + Mysql DB그리고... 대Python AirflowAWS Ec2 Ubuntu24.04 필요한거 설치 Airflow 디렉토리 시작 위치 : /home/ubuntu/1. Venv 가상환경Airflow에 필요한 패키지들을 설치하다 보면 Error가 보일지도 모른다. 그중 초반부 패키지들은 가상환경이 아닌 로컬에 설치를 할 경우 설치하기 싫다고 짜증을 부린다.# 시작위치 : /home/ubunut/python3 -m venv venv# 가상환경 활성화source venv/bin/activate# 활성화 성공시(venv) ubuntu@ip-111.......라고 나올것 2. Airflow 설치...전에 필요한 패키지 설치# Airflow 필요 패키지 설치sudo apt-get updatesudo apt install python3-pippip3 in.. 2024. 10. 14.
[Airflow 시리즈] AWS Server 구성 시작하며  Data ETL을 구성, 데이터들을 적극적으로 활용하기 위한 Airflow서버를 구축해 보려고 한다. 스팩 및 솔루션 구성 AWSEc2 : ubuntu24.04, t3.large, EBS 30gb 솔루션 예시는 다음과 같다. 회사의 AWS 서버가 있다. DB는 RDS 서비스를 활용하여 회사의 서비스가 동작중에 있다.회사는 시간이 흘러 적제된 데이터를 활용해야한다는 생각이 들기 시작했다. 어떡해?같은 VPC Subnet 환경에 Ec2를 생성하고 python패키지 설치, 사용중인 RDS DB연결, Airflow 설치, S3 연동을 진행 해야한다는것을 아~~~랏습니다.보안은 기본적인 클라우드 아키텍처 구성과 인트라넷 구성으로 진행하면 된다는것을 또 아~~랏습니다.기본적이면서도 관리와 구축이 쉽고 하.. 2024. 10. 14.
인덱싱과 슬라이싱 2차원 array NumPy를 이용하여 데이터 인덱싱, 슬라이싱을 구현해 보려고 한다. import numpy as npgdp_array = np.array([ [12257, 11561, 13165, 14673, 16496, 19403], # 대한민국 [39169, 34406, 32821, 35387, 38299, 37813], # 일본 [959, 1053, 1149, 1289, 1509, 1753], # 중국 [36335, 37133, 38023, 39496, 41713, 44115] # 미국])기초적으로 위 array의 자리 숫자를 알아보자 컴퓨터공학을 전공한다면 단번에 자리값을 알것이다. # 0 1 2 3 4 5 [1225.. 2024. 9. 23.

티스토리툴바