Dev Ops16 [Python] linux grep값 변수로 담기 외부든 외부든 어떠한 통신 값이나 임의로 설정한 데이터 값이 있으면 log가 남기 마련이다. 그리고 개발과 운영을 하는 IT 직군이라면 log를 통해서 문제점을 발견하거나 필요한 데이터를 뽑아내어 사용하기도 한다. 물론 나도 그러한 업무에 해당한다. log에는 수많은 문자열과 숫자 데이터가 빼곡히 나열되어 있다. 그리고 대부분의 log에는 그럴싸한 패턴이 존재한다. 그렇지도 않은 경우도 있지만 패턴이 있다. 그 패턴을 발견하고 분석해서 나에게 필요한 자료를 한눈에 볼 수 있다면 편하지 않을까? 현재 본인은 python을 주로 사용하여 프로젝트를 진행하고 있고 server운영도 함께 하고 있다. 그렇다면 python을 활용하여 linux server에 실시간으로 떨어지는 log값을 grep 명령어를 사용하.. 2022. 11. 14. [Linux] Shell Script - 대량 파일 검색 후 AWS S3 복사 무수히 쌓여있는 log파일이나 data파일이 있다 회사 정책상 5개월이 지난 data파일은 읽기만 가능하고 쓰기가 불가능하도록 설정이 되어 있어 이를 방지하고자 test용으로 사용하기 위한 데이터를 server 혹은 s3에 복사 저장하여 Backup을 하기로 하였다. 하지만 저장된 log파일 및 data파일이 너무 많아 script를 작성하여 진행하려고 한다. log 파일의 파일명은 다음과 같다. web.log-2022-10-14........ web.log-2022-10-17... script 로직 생각하기. 복사 = cp 반복 = for s3 = aws cli 사용 실습 예를 들어 이런식으로 log 파일이 구성되어 있다. 현재 디렉토리에 있는 파일들을 출력하는 Script 위에 적은 키워드중 반복을 .. 2022. 10. 14. Linux Bash Shell 변수 할당 Linux Shell Script 변수를 생성하고 오늘 날짜를 출력하고 날짜를 생성하는 변수를 활용한 기초적인 파일관리 삭제를 이야기 해 보겠다. 기본적으로 스크립트들은 변수 설정이 비슷하다. 오늘 날짜를 담는 변수를 하나 생성해서 출력해 보도록 하겠다. today=$(date "+%Y-%m-%d") echo ${today} 실행하면 오늘 포스팅 날짜로 2022-10-05 가 출력된다. 그럼 이전 날짜를 출력 하는 방법이 있다. #이전날짜 변수 생성 today1=$(date --date '1 days ago' "+%Y-%m-%d") echo ${today1} --date '1 days ago' 이것을 설명하자면 아래와 같다. 쉘 스크립트에서 이전 날짜 및 시간을 구하는 방법은 아주 간단하다. 아래와 같이.. 2022. 10. 5. Pymysql 패키지 pymysql 패키지 템플릿을 이용하여 흐름을 알아보자 from sqlite3 import Cursor #알아서 등록된다. # 패키지를 파이썬에서 사용 선언, 패키지 고정 import pymysql # mysql과 작업 중인 파이썬 스크립트 연결부분. #mysql에서 접근하고자 하는 범위에 따라서 argument의 값이 바뀔 수도 있고, 새로운 argument가 추가될수 있다. conn = pymysql.connect(host="", user="", password="",charset="utf8") #pymysql의 connection 객체에서 cursor 객체를 가져오는 부분이다. #mysql에 sql 커맨드를 보내기 위한 연결 통로라고 보면 된다. 그래서 얘도 무조건 고정 Cursor = conn.c.. 2022. 9. 27. 이전 1 2 3 4 다음
