MariaDB 2

MariaDB Log 확인하기

데이터 적재 작업을 하던 중 문득 실무에서 일할 때 에러가 발생하면 종종 error log를 찾아봤던 생각이 나서 mariaDB Log를 확인하고 싶어졌다. 그 당시에는 log파일에 대한 생성 설정이나 경로를 미리 잡아뒀기 때문에 필자는 log 저장위치에 가서 확인만 하면 됐다. 이번에는 내가 직접 log파일을 관리해보고자 한다. 우선 mariaDB의 datadir 설정값부터 찾아봐야 했다. datadir이란, MariaDB 운영중에 생성하는 파일들의 default 위치를 뜻한다. ec2 서버에 접속을 해서 mariadb에 접속해보자. sudo mysql -u root -p 이제 datadir을 찾는 쿼리를 날려준다. show variables like 'data%'; /var/lib/mysql 경로를 ..

DB 2023.07.27

Airflow와 DB 연결하기

이번 포스팅은 Airflow DAG에서 MariaDB를 연결하여 DB에 있는 데이터들을 출력해보려 한다. Airflow 자체 기능으로 Connection 메뉴가 있지만 그냥 파이썬 코드에서 DB를 연결시켜보려한다. 우선 DB를 설치해야했는데 Docker위에 MariaDB 컨테이너를 생성하기와 그냥 로컬환경에 DB 설치하기 두가지 방식이 있었다. 처음에는 Docker위에 컨테이너를 올리는 방식으로 하려고 했는데 외부접속 세팅이나 Docker 네트워크 세팅을 하는 것 보다 그냥 로컬에 설치하는게 더 빠를 것 같아서 로컬에 설치했다. 그 다음 연결에 필요한 모듈을 불러온다. import pymysql 이제 pymysql 커넥션을 만들면되는데 한가지 문제가 생겼다. conn = pymysql.connect(ho..

Airflow 2023.04.17