unix/linux 에서 파이프로 넘어오는 데이터를 echo 의 인자로 쓸 수 있을지

  • #3252800
    unix 174.***.118.160 4286

    하려는 일은 스크립트로 하면 가능합니다.
    하지만, 한 줄의 명령어로 구현하는게 가능할지 궁금해서 질문해 봅니다.

    cat terminals.log | awk ‘{system(“echo 3\ 2\ “$1″\ | util | awk \47/AMT/ {print $0;}\47”);}’

    util 은 회사에서 사용하는 유틸이며, 인자를 3 엔터키, 2 엔터키, $1 엔터키를 입력해서 나오는게 합니다.
    그리고, 유틸의 출력값 중에서 원하는 값을 찾아서 출력하게 하는..

    하지만, cat 의 파이프로 전달되는 값이 제대로 전달이 안되는지 동일한 값이 계속 전달되어
    system 함수가 실행되고 있습니다…

    그래서, 다른 방법을 생각해 보니..

    cat terminals.log | echo 3\ 2\ $1\ | util | awk ‘/AMT/ {print $0;}’

    이런 식의 명령을 구현할 수 있지 않을까도 생각해봤지만..
    구글링을 해봐도 이런 식의 코드는 찾지 못하고 있습니다.

    echo 를 쓰는 이유는 스크립트 구현없이 사용자 입력을 자동화할 수 있기 때문입니다.
    문제는 파이프로 넘어오는 값을 전달할 방법이 있을까 입니다.

    아시는 분 계시면 도움 부탁드립니다.

    • p 100.***.113.197

      Using xargs and printf
      cat terminals.log | xargs -I {} sh -c ‘printf “3\n2\n{}\n” | util | awk “/AMT/ {print}”‘

      Using while and printf
      cat terminals.log | while read A; do printf “3\n2\n$A\n” | util | awk ‘/AMT/ {print}’; done

      Using while and echo
      cat terminals.log | while read A; do (echo 3; echo 2; echo $A) | util | awk ‘/AMT/ {print}’; done

      • unix 174.***.140.150

        파이프로 넘어오는 값을 while read 로 받을 수 있는지 몰랐습니다.
        감사합니다. 정말 큰 도움이 되었습니다.

        덕분에 숨어있던 버그도 잡았습니다.
        위의 세번째 코드를 변형해서, 작성했습니다.

        cat terminals.log | while read A; do (echo 3\ 2\ $A | util | awk ‘/AMT/ {print}’); done

        do 안에 모두 다 넣는 것으로 바꿨습니다. do 안에서 파이프를 써 본 건 처음이네요.

        그리고, 첫번째는 좀 특이한 문법인데 혹시 설명이 가능하실까요?

        xargs -l {} sh -c

        sh -c // 이건 shell 을 따로 생성해서 실행하는 걸로 기억하는데..

        • p 65.***.129.125

          man xargs를 해보세요.

          1. 기본 기능

          terminals.log 파일이

          one
          two
          three

          를 포함할 때

          cat terminals.log | xargs hello world

          라고 실행하면 (hello가 실행파일, world가 아규먼트)

          hello world one
          hello world two
          hello world three

          라는 명령이 각각 실행됩니다. 각 입력이 각 명령의 맨 끝에 붙습니다. 이것이 xargs의 기본 기능이고요. -n 옵션과 -print0 옵션이 자주 사용됩니다. 매뉴얼 보세요.

          2. 파라미터 치환 위치 조정

          만일 실행할 명령이

          hello one world
          hello two world
          hello three world

          와 같이 치환 위치가 맨 끝이 아닐 경우에는 그 치환 위치를 지정하기 위해 -I 옵션을 사용할 수 있습니다.

          xargs -I {} hello {} world

          와 같이 해주면 그렇게 되고요.

          3. 파이프 사용

          실행할 명령이 파이프(|)를 포함하고 있을 때는 shell 의 토큰 파싱의 우선순위 때문에

          xargs -I {} hello {} world | util

          과 같이 써주면 “xargs -I {} hello {} world”와 “util”의 두 개 명령으로 분리가 되어 원하는 결과가 나오지 않습니다.

          그래서

          xargs -I {} “hello {} world | util”

          와 같이 써주면 마치 될 것 같지만 “로 묶여진 후의 결과는 그냥 문자열이고 그것 자체가 실행 프로그램은 아닙니다. |를 포함한 임의의 문자열을 입력으로 받아서 그것을 다시 파싱하여 실행해주는 커맨드가 sh -c “문자열” 입니다.

          그래서 최종 형태를

          xargs -I {} sh -c “hello {} world | util”

          로 하면 pipe에서 입력을 받아 임의의 명령을 문자열로 생성하고 그것을 sh이 그 문자열을 다시 파싱하여 실행합니다.

        • p 65.***.129.125

          매우 많은 입력을 이용하여 약간 복잡한 스크립을 반복 실행할 때는 편리한 개발 패턴이 있습니다. 명령을 만들어서 샘플링하여 디버깅 모드로 실행해보고 나중에 전체에 대해 non-디버깅 모드로 최종 실행하는 것이죠.

          v1
          먼저 입력 하나를 이용하여 실행해봅니다.
          (echo 3; echo 2; echo one) | util | awk ‘/AMT/ {print}’

          v2
          이게 잘 동작하면 입력 파일을 이용하여 이 명령을 대량 생산해닙니다.
          cat terminals.log | while read A; do echo “(echo 3; echo 2; echo $A) | util | awk ‘/AMT/ {print}'”; done

          이렇게 나오겠죠
          (echo 3; echo 2; echo one) | util | awk ‘/AMT/ {print}’
          (echo 3; echo 2; echo two) | util | awk ‘/AMT/ {print}’
          …

          v3
          입력파일 가운데 10개를 샘플링하여 (head -10) 디버그 옵션을의 켜고 (sh -x) 실행해봅니다.
          cat terminals.log | head -10 | while read A; do echo “(echo 3; echo 2; echo $A) | util | awk ‘/AMT/ {print}'”; done | sh -x

          v4
          입력 10개에 대해 잘 동작하면 head -10을 제거하여 모든 입력에 대해 실행하며 진행 상황을 봅니다.
          cat terminals.log | while read A; do echo “(echo 3; echo 2; echo $A) | util | awk ‘/AMT/ {print}'”; done | sh -x

          v5
          모든 것이 잘 되는 것 같으면 -x 옵션을 빼고 조용히 모든 것을 실행합니다
          cat terminals.log | while read A; do echo “(echo 3; echo 2; echo $A) | util | awk ‘/AMT/ {print}'”; done | sh

          • unix 174.***.118.160

            자세한 설명 감사합니다. 많이 배웠습니다.

    • 지나가다 149.***.7.28

      프로그래밍 Q&A 게시판 하나 만들면 인기끌려나.

    • 감자 174.***.0.59

      이건 스크립팅입니다.