이 블로그 검색

2017년 12월 3일 일요일

localtime_r 은 thread safe 하지 않다? deadlock발생 경우.

며칠 전 개발하면서 겪었던 상황인데,
fork 된 child process에서는 localtime_r 과 같은 시간관련 함수를 사용할때 유의해야 한다.

localtime 함수는 시간을 구하는 함수이다.
이 함수는 내부적으로 static 변수에 값을 저장하기 때문에 thread safe하지 않다.
그래서 멀티 쓰레드 환경에서는 localtime_r 을 사용하게 된다.
여기까지는 일반적으로 다들 알고 있는 내용일 것이다.
그런데 localtime_r 함수를 사용해도 문제가 되는 경우가 발생했다.
fork 함수와 multi thread 가 만나면 문제가 된다.
다음 코드처럼, run_child_process 라는 함수가 멀티쓰레드에서 호출되며,
함수 내부에서는 fork를 이용해서 자식 프로세스를 생성하고 있는 경우를 생각해보자.
만약 fork 된 자식 process에서 logging이 발생되는 경우, deadlock 이 발생할수도 있다
(logging 을 처리는 내부적으로 localtime_r 함수를 사용중이다).


void SomeUtilClass::run_child_process(const char* command)
{
    LOGD("run this command [%s]", command); //logging macro이다.내부적으로 localtime_r 을 호출한다.
    pid_t pid = fork(command);
    if(pid >0)
    {
        //parent
    }
    else if(pid == 0 )
    {
        //child
        LOGD("child started..."); //XXX fork 된 child에서 logging 호출!
        ....
    }
    .....
}


멀티쓰레드 문제가 대부분 그렇듯.. 항상 deadlock 이 발생하는게 아니고,
운이 나쁘면 종종 발생한다는것이 큰 문제다.

이 코드가 문제가 되는 이유는, localtime_r 호출 시 내부적으로 lock이 걸리는데 fork와 같이 사용되면서
lock 이 잠긴 상태에서 다시 lock을 잡게 되는 경우가 발생 가능하기 때문이다(즉 deadlock).

즉, 다음 순서가 재현되면 deadlock 이 발생한다.

1. 부모 프로세스가 멀티 쓰레드를 생성하고 각 쓰레드가 run_child_process 를 호출한다
2. 부모 프로세스가 logging을 호출하게 된다.
3. fork된 자식 프로세스도 logging 을 호출한다. 그런데 fork된 자식 프로세스는 부모의 lock도 상속받는다.
   (The entire virtual address space of the  parent  is replicated  in  the  child, 
    including  the  states  of  mutexes,  condition  variables,  and  other  pthreads objects;)

4. 이때 운나쁘게 부모가 잡은 lock이 풀리기 전(localtime_r 호출이 종료되기 전) 에
   자식이 다시 lock을 얻는 시도(localtime_r 호출)를 하게되면 deadlock에 빠진다.

fork 를 사용하는 경우에는,  부모 로부터 뭔가를 상속 받는다는 것을 유념하고, 조심해야겠다..

2017년 10월 21일 토요일

ubuntu server virtualbox remote ssh root login 설정

ubuntu 서버 virtualbox 원격 ssh 로그인 설정

1.root 계정 생성  : sudo passwd root 수행 후 su 수행.

2.ubuntu server 에 sshd 동작 확인 --> ps -ef | grep sshd
  설치 안된 경우엔 apt-get install openssh-server -y
 
3.ssh root login 설정 :  vi /etc/ssh/sshd_config , PermitRootLogin yes 변경.

4.virtualbox 의 네트워크 환경 어댑터 2 는 불필요, 기본 어댑터의 포트 포워딩에 추가.
   예를 들어, os x 터미널에서 ssh root@127.0.0.1 -p1234 처럼 접속하기 위해서는 다음처럼 설정한다.
   (호스트 포트를 22대신 임의값으로 변경 해야 함!)

5. ubuntu 재시동 후 ssh root@127.0.0.1 -p1234 로그인 확인



2017년 10월 8일 일요일

c++ thread pool


https://github.com/jeremyko/kothreadpool

간단한 worker thread pool 정도만 필요해서 하나 만들어 보았다.
사용법은 다음과 같다.


1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
#include <iostream>
#include <string>
#include <atomic>
#include "KoThreadPool.hpp"

std::atomic<int> gSum1;
std::atomic<int> gSum2;


bool MyThreadWork()
{
    gSum1++;
    return true;
}


class MyClass
{
    public:
        MyClass()  {} ;
        ~MyClass() {} ;

        bool MyThreadWork()
        {
            gSum2++;

            return true;
        }

};


int main()
{
    KoThreadPool tpool;

    if( ! tpool.InitThreadPool() ) 
    {
        std::cerr << "Error : Init" << "\n";
        exit(1);
    }

    gSum1 = 0;
    gSum2 = 0;

    MyClass myclass;

    int i = 0;
    while(true)
    {
        if(i >= 10000)
        {
            break;
        }

        //class member
        std::function<void()> temp_func1 = std::bind( &MyClass::MyThreadWork, &myclass)  ;
        tpool.AssignTask(temp_func1 )  ;

        //free function
        std::function<void()> temp_func2 = std::bind( &MyThreadWork )  ;
        tpool.AssignTask(temp_func2 )  ;
        i++;
    }
    tpool.Terminate(); //graceful terminate : wait until all work done
    //tpool.Terminate(true); //terminate immediately
    
    std::cout << "gSum1 =" << gSum1 << "\n";
    std::cout << "gSum2 =" << gSum2 << "\n";
    
    

    return 0;
}

jeremykoui-MacBook-Pro:sample jeremyko$ ./simple_test
std::thread::hardware_concurrency() = 8
gSum1 =10000
gSum2 =10000

2017년 4월 26일 수요일

변기 디버깅 : 원피스 변기 앞쪽 물 안내려감

이글은 프로그래밍과 관련없음.
화장실 원피스 변기 수리(디버깅)하면서 알게된 내용을 기록 하고자 한다. ^^

먼저 간단한 결론:

다음 항목에 해당되는 경우 간단한 해결책이 존재한다
  • 변기 유형이 원피스 변기다.
  • 화장실 수압은 정상이다 (물이 졸졸 나오는 수준만 아니면 된다).
  • 화장실 변기 물이 천천히 차오른다
  • 물내릴때 변기 앞쪽 옆쪽으로 물이 안나온다
  • 그래서 비록 변은 내려가지만 앞쪽 휴지 한장조차 시원히 안내려간다.

2017년 2월 10일 금요일

close(0) 로 인한 stdin close : getline, getchars 동작 이상

왜 getline() 함수가 즉시 리턴되는가? 에 대한 삽질의 기억...


class SomeClass
{
    ...
    int nSockFd_  {0}; //초기화를 0 으로 한 경우.
    ...
};     

void SomeClass::SomeMethod1()
{
    .... 
    //코드 어딘가에서 다음을 호출했는데... 아직 nSockFd_ 가 할당안된 경우 
    close(nSockFd_); //--> close(0) --> stdin 을 닫아버림 - - ;;
    ... 
}

void SomeClass::SomeMethod2()
{ 
   ....  
   std::string line="";
    while(true)
    {  
        std::cin.clear();
        getline(std::cin, line); //여기서 문제 발생, 즉시 리턴됨
        std::cout << "msg:" << line << std::endl;
    }
}

2017년 2월 5일 일요일

Cumbuffer 를 이용한 예제 : ASockLib


https://github.com/jeremyko/ASockLib


CumBuffer 를 사용하는 예제 겸 간단한 TCP 라이브러리를 작성해 보았다. 비록 허접하지만cross platform 에서 동일한 interface 를 지원해보자는 생각이 있어서.... linux 에서는 epoll, os x 에서는 kqueue 를 사용해서 구현 되었다. cmake를 사용해서 cross platform compile 을 지원하게 해보았다.

2016년 12월 12일 월요일

CumBuffer : accumulating byte buffer for c++


네트워크 TCP 프로그램인 경우에 임의 길이의 작은 데이터 조각을 수신해서 누적(버퍼링)시키다가 일정 길이가 수신되면 완전한 하나의 packet으로 보고 해당 데이터를 처리하는 경우가 꼭 필요하다. 지금까지는 그냥 new, calloc 등으로 데이터를 수신할때마다 동적으로 할당해서 기존 데이터를 복사하는 방식으로 해왔는데(동적할당 제거에 의한 성능개선이 크지 않았기에), 이번에 동적 할당없이 사용할 수 있는 버퍼를 구현해 보았다. 일종의 ring buffer 라고도 할수 있다.

https://github.com/jeremyko/CumBuffer

2016년 1월 1일 금요일

scott meyer c++ 은퇴


http://scottmeyers.blogspot.kr/2015/12/good-to-go.html

c++에 대해 관심을 가진 개발자라면 누구나 소장하고 있을 effective c++ 시리즈 의 저자 scott meyer가 c++활동을 그만하겠다는 글을 자신의 블로그에 올렸다. 예전과 비교할수 없을 만큼 활발한 커뮤니티 활동, 온라인 정보, 컨퍼런스등이 열리고 있는 상황에서, c++ 언어와 그 사용법을 설명하는 자신의 역활은 여기까지로 이미 충분하다고 느끼는 모양이다.



2015년 12월 23일 수요일

boost c++ library static link 컴파일 방법

막상 필요해서 찾다보니 잘 정리가 안되있어서 나름 정리해본다. boost 라이브러리를 이용해서 작성된 프로그램을 boost 가 설치 안된 환경에서 사용해야 하는 경우, static link 로 컴파일 해서 사용할수 있다.

.bash_profile 설정은 다음과 같다.
       export BOOST_ROOT=/CG/USER/kojh/MyApps/boost_1_57_0
       export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$BOOST_ROOT/stage/lib

static library 생성 
b2 옵션으로 다름처럼 주면, 기존에 동적 라이브러리가 위치하던 곳(boost 설치시 결정된)에
static 라이브러리 파일등이 생성된다.
b2 link=static
컴파일 
자신이 사용한 boost lib 를 static 하게 link 해서 컴파일 하면 된다( 다음 예는 boost thread 를 사용하는 경우이다).
g++ -pthread -O2 -I $BOOST_ROOT boostQueue.cpp -o boostQueue $BOOST_ROOT/stage/lib/libboost_system.a $BOOST_ROOT/stage/lib/libboost_thread.a -lrt

2015년 12월 19일 토요일

2015년 9월 15일 화요일

DisruptorCpp-IPC 가변길이 데이터 처리

앞서 Disruptor동작원리를 이용해서 IPC 로 동작하는 소스를 구현해봤는데 한가지 단점은 고정된 길이의 데이터를 미리 할당해서 링버퍼에 넣어두고 사용하는 방식이라는 점이었다. 만약 저장되는 데이터 길이가 가변적인 경우엔 이용할수 없는 단점을 보완해서 약간 수정된 버전으로 작성을 해보았다.

https://github.com/jeremyko/disruptorCpp-IPC-Arbitrary-Length-Data

간단히 설명 하지면 별도의 데이터 저장용 메모리를 할당하고, 링버퍼에는 데이터 저장위치만을 관리하는 방식이다. 

2015년 9월 6일 일요일

Disruptor 분석 및 c++ 로 구현해보기


java 하면 일단 좀느리다는 고정관념을 깰 만큼 고성능을 내세우는 Disruptor라는 존재에 개인적으로 관심이 생겨서 잠깐 내부를 살펴보게 되었다.
 
Disruptor 는 LMAX 라는 영국 외환 거래소에서 개발해서 사용중인 java기반의 inter thread messaging library 이다. Disruptor 라는 특이한 이름은 java기반으로는 고성능 메시지 처리가 불가능하다는 고정 관념을 깨는 녀석이라는 의미와, java 7 의 Phaser 가 했던 것처럼 Star Trek 영화에 나오는 Disruptor 라는 광선총 종류라고 한다.


이 글에서는 disruptor가 기본적으로 어떻게 동작하는지 알아 보고 c++ 로 구현해 보고자 한다.

여기서 설명한 내용이 구현된 소스는 다음 위치에서 참고할수 있다.

https://github.com/jeremyko/disruptorCpp-IPC

가변길이 데이터 처리를 위해서는 약간 변형된 다음 소스를 참고.
https://github.com/jeremyko/disruptorCpp-IPC-Arbitrary-Length-Data

2015년 7월 16일 목요일

UltraEdit 한글 버튼 메뉴 수정

업무용으로 주로 사용하는 UltraEdit 에서 프로젝트 메뉴의 파일설정, 한글 메뉴버튼 번역 잘못됐다고 알려줬더니 이번  22.10.0.12 업데이트에서 수정이 됬다. 볼때마다 불만이었는데 이젠 편안하게 메뉴를 볼수 있겠군.

2015년 1월 25일 일요일

cafe24 nodejs 호스팅 비추천

node.js 호스팅 절약형  을 신청해서 사용하려 했는데, 
결국 내린 결론은 도저히 사용할만한 서비스가 아니란 거다.
heroku에서 아무 문제 없이 돌아가던것 간단한 app도 여기서는 안된다.
일단 package.json에 기입한 모듈들이 제대로 설치되는건지 그 로그조차 확인 할수 없다.
npm install시에 뭔가 문제가 생겨서 설치가 안된다면 그걸 사용자가 인지할수 있어야 하는데
그런것이 제공 안된다. 즉 사용자가 npm조차 실행할수 없다.
아마 git push시 돌아가는 스크립트에 npm install을 걸어놓은 모양인데

그나마 웹화면으로 제공되는 로그는, npm install의 로그가 아니라
앱을 실행시켰을때 나오는 실행 로그일뿐이라서 도움이 안된다.
아주 아주 간단한 express app을 node_modules까지 통째로 올리면 동작은 하지만, 
그렇게 단순한것 말고, 실제 쓸만한 앱을 만든다면 될지 말지 장담이 안된다.
아무리 월 500원짜리 서비스라고 해도 하다못해 터미널로 npm이라도 실행되게 해주고, 
그 로그라도 볼수 있게 해줘야지.. 답답한 이런 서비스를 돈받고 제공하는 이유가 뭔지 어이가 없을뿐이다.
몇번 전화 했다가 답답해서 죽는줄 알았습니다. 내 정신 건강을 위해서 그냥 포기.


2015년 1월 7일 수요일

AngularJS 게시판 accordion 스타일

요줌 web application 만드는 것에 재미를 느껴서 이것저것 기웃거리는 중이다.
오늘은 전에 만들어본 게시판을 single page application 이라는 형태에 부합시키기 위해서 accordion 형태로 변경해 보았다. angular ui bootstrap- accordion을 사용했다. 페이지 재로딩없이 모든 기능을 처리한려 구현 해봤는데.. 이러면 좀더 SPA 다워진걸까..^^
https://github.com/jeremyko/simple_angularjs_bulletin_board



2014년 12월 29일 월요일

AngularJS : Seoul Dust Dashboard

Displaying current density of particulate matter(PM10) in seoul using AngularJS, Express.js

source : https://github.com/jeremyko/SeoulDustDashBoard

앵귤러 보름만하면 나도 프론트엔드 웹개발자? ^^




서울시 대기환경 정보 사이트에서 주기적으로 데이터를 긁어와서  표와 챠트로 보여주게 하는 간단한 Web App을 만들어 보았다. 개발 하면서도 매우 재미 있었다.^^

2014년 12월 26일 금요일

AngularJS : Best practice, 'dot rule'


AngularJS 에서 model을 UI 에 바인딩 시키는 경우, 이른바 'dot rule' 이라고 하는 idiom 이 있다.

"ng-model을 사용 시 dot(.) 이 존재해야 한다. 그렇지 않다면 잘못하고 있는것이다"
"Whenever you have ng-model there’s gotta be a dot in there somewhere. If you don’t have a dot, you’re doing it wrong."

AngularJS Best Practices 에 나오는 내용이고 간단한 예제를 보이면서 설명하고 있다.
이 동영상에 나오는 예제와 동일한 맥락의 다음 예제를 살펴보자.

firefox 에서 JS Bin 이 제대로 표시가 안되는 경우엔 IE, chrome 을 사용해본다.

2014년 12월 24일 수요일

AngularJS : Controller들간 데이터 공유, $broadcast/$on or service?

AngularJS sharing data between controllers : $broadcast/$on or service?

예를 들어 A, B, C 컨트롤러간에 데이터를 공유해야 하는 경우가 있다라고 가정 해보자.
즉, A 컨트롤러가 변경시키는 어떠한 데이터를 다른 컨트롤러들에서 추적해서 화면등에 갱신이 필요한 경우라면 어떤 방법이 좋을까..
이러한 Controller들간의 데이터를 공유하는 방법에 대한 내용을 인터넷을 찾아보면
$broadcast, $on을 사용해서 구현한 경우를 자주 볼수 있다.
그런데 이곳저곳 살펴보고 내린 나름의 결론은 서비스를 사용하는것이 정석이란 것이다.
서비스의 본래 목적은 어플리케이션의 비지니스 로직을 담기 위한 장소이지만,  singleton의 특징을 활용, 이 서비스에 데이터를 보관하고 컨트롤러에서 inject하면 각 컨트롤러에서 동일한 데이터를 참조하게 할수 있는것이다.

firefox 에서 JS Bin 이 제대로 표시가 안되는 경우엔 IE, chrome 을 사용해본다.

2014년 12월 23일 화요일

AngularJS : Binding Primitive, Reference Type

AngularJS의 2 way-data binding 사용에 시행착오를 겪은 부분이 있어서 글로 남겨본다.

directive, expression 등을 사용하여 binding하는 경우 $watch가 생성되어 model의 변경을 감시하게 된다. 다음 예제를 한번 살펴보자.

예제1) 정상적으로 동작하지 않는 경우
버튼을 눌러봐도 값이 변경되지 않는다.

2014년 12월 9일 화요일

AngularJS 게시판

AngularJS(1.3.6)+ Express + mongojs 이용한 간단한 게시판

앵귤러 보름만 해보면 나도 프론트엔드 웹개발자^^

https://github.com/jeremyko/AngularJsBulletinBoard_PlainStyle
일반적인 형식
최근 Web front end 계의 대세라는 AngularJS에 흥미가 생겨서, 간단 게시판을 한번 만들어 보았다. Express app의 기본구조에 AngularJS의 처리를 추가한 형태이다. Express 는 일종의 Rest API 역활로서 mongodb의 데이터를 전송해주는 역활을 한다.

https://github.com/jeremyko/simple_angularjs_bulletin_board
accordion 스타일