Developer trainee_J

대규모 데이터를 처리하는 데이터 베이스에대해 찾아보다 보니 구글 빅쿼리(Google BigQuery)라는 데이터 웨어하우스에 대해 알게 되었다. 필자는 지금까지 HDFS를 이용한 데이터 분산 처리로 대규모 데이터를 다뤄봤을 뿐 다른 플랫폼을 사용해본적은 없었다. 빅쿼리를 알게된 김에 HDFS의 단점을 보완하는 빅쿼리를 구축해보려고한다. 구글 빅쿼리란? 인프라를 관리할 필요 없이 쿼리가 실행가는한 데이터 웨어하우스이며 클라우드 서비스를 통하여 제공되기 때문에 설치를 할 필요도 없이 RDBMS에서 사용되는 SQL 쿼리를 그대로 사용가능하다. 또한 페타바이트에 달하는 쿼리도 매우 빠른 속도로 처리가 가능하다. 하지만 장점만 있는 것은 아니다. 빅쿼리는 데이터가 무결하고,정확한것을 가정하고 사용자에게 제공하는 ..

데이터 적재 작업을 하던 중 문득 실무에서 일할 때 에러가 발생하면 종종 error log를 찾아봤던 생각이 나서 mariaDB Log를 확인하고 싶어졌다. 그 당시에는 log파일에 대한 생성 설정이나 경로를 미리 잡아뒀기 때문에 필자는 log 저장위치에 가서 확인만 하면 됐다. 이번에는 내가 직접 log파일을 관리해보고자 한다. 우선 mariaDB의 datadir 설정값부터 찾아봐야 했다. datadir이란, MariaDB 운영중에 생성하는 파일들의 default 위치를 뜻한다. ec2 서버에 접속을 해서 mariadb에 접속해보자. sudo mysql -u root -p 이제 datadir을 찾는 쿼리를 날려준다. show variables like 'data%'; /var/lib/mysql 경로를 ..