[PowerShell] 파워쉘 웹 크롤링 / 파워쉘 변수 한글 저장 문제 해결

powershell web crawling / powershell variable uft8 encoding

최근에 windows의 powershell을 이용해서 간단한 스크립트 파일을 작성할 일이 있었다.

자동으로 웹 페이지에 특정 키워드를 검색해서 특정 값을 가져오는 프로그램인데 사용할 컴퓨터의 사양상 python 프로그램 등을 사용하기 부담스럽고 워낙 짧고 간단한 기능만 제공할 것이기에 스크립트로 충분할 것이라고 생각했다.

 

프로그램 소스 코드는 대충 아래와 같다.

# power shell

# variable section
$KEY_WORD1="검색할 키워드"
$KEY_WORD2="검색할 키워드2"

$KEY_WORD1_URL="https://search.naver.com/search.naver?query=$KEY_WORD1"
$KEY_WORD2_URL="https://search.naver.com/search.naver?query=$KEY_WORD2"

$PROGRAM_NAME="iexplore"
$WAITTING_TIME=10  #sec
$LOOP_COUNT=2


For ($i=1; $i -le $LOOP_COUNT; $i++) {  # loop

    $ie=New-Object -COM 'InternetExplorer.Application'; # create ie application object
    $ie.visible=$true;  # show visual
    
    $ie.navigate("https://www.naver.com");
    $sText=$ie.Document.getElementByID("query");
    $sText.Value=$KEY_WORD1;
    
    while ($ie.Busy -eq $true) {Start-Sleep -seconds 1;}
    
    $sform=$ie.Document.getElementByID("sform");
    $sform.submit();
    
    $ie.navigate($KEY_WORD1_URL);   # open first tab
    $ie.navigate($KEY_WORD2_URL, 0x1000);   # create new tab   

    while ($ie.Busy -eq $true) {Start-Sleep -seconds 1;}

    get-Process iexplore | stop-Process;    # kill ie process

    sleep 1; # sleep after ie process
}

검색창에 특정 키워드를 넣어서 검색하는 방법은 크게 두 가지로 생각해 볼 수 있다.

 

1. DOM(Document Object Model)을 직접 조작해 검색창의 value를 수정해서 form 태그 제출(submit).

2. form이 제출되었을 때, 이동되는 url의 query에 원하는 키워드를 넣은 url을 직접 요청.

 

위 코드는 두 가지 방법을 모두 사용해 본 것이다.

 

1번 방식의 경우, javascript에서 DOM을 조작하는 방법과 유사했기에 웹 페이지 작성 경험이 있다면 쉽게 따라 할 수 있을 것이다.

https://docs.microsoft.com/ko-kr/dotnet/api/system.windows.forms.htmldocument?view=windowsdesktop-6.0 

HtmlDocument 클래스 (System.Windows.Forms)

위 공식문서에 html 속성에 따라서 요소를 가져오는 메서드들을 확인할 수 있었다.

 

2번 방식의 경우 해당 사이트의 html을 잘 해석해서 필요한 query가 무엇인지 판단해야한다.

powershell의 "navigate" 메서드를 이용하면 바로 url을 열 수가 있었다.

    $ie=New-Object -COM 'InternetExplorer.Application'; # create ie application object
    $ie.visible=$true;  # show visual
    
    $ie.navigate($KEY_WORD1_URL);   # open first tab
    $ie.navigate($KEY_WORD2_URL, 0x1000);   # create new tab

변수 $ie에는 웹 브라우저인 internet exlporer를 넣어주었다. 해당 스크립트를 사용할 컴퓨터가 구형이라서 ie 브라우저만 있었기 때문...

 

visible을 내장 변수인 $true로 설정해주면 브라우저가 열릴 때 시각화해준다. 만약 사용하지 않는다면 (flase) url을 요청하긴 하지만 눈에 보이지는 않는다.

 

navigate 명령어를 사용하면 이미 켜져 있는 브라우저의 새 탭을 열어서 url을 요청한다.

만약 기존 탭이 아니라 새로운 프로세스를 켜고 싶다면 아래와 같은 명령어를 사용하면 된다.

Start-Process "원하는 url"		# default browser process 실행

[system.Diagnostics.Process]::Start("chrome","원하는 url")  # 새 chrome에서 url 열기

기본 브라우저가 아닌 다른 브라우저에서 url을 요청하고 싶다면 위와 같이 입력하면 된다.

PowerShell 한글 변수 오류

# variable section
$KEY_WORD1="검색할 키워드"
$KEY_WORD2="검색할 키워드2"

해당 스크립트를 만들면서 한글 변수를 사용할 때, 인코딩이 깨지는 것을 발견했다.

 

예를 들어 네이버 검색창에 $KEY_WORD1이라는 변수에 "안녕하세요" 문자열을 저장하고 네이버 검색창에 해당 변수를 기입하게 했을 때 "?뛝뷁퓈툴?퉬줘?"처럼 되는 것을 말한다.

 

결론부터 말하자면, windows에 저장된 powershell 파일(. ps1 파일)의 인코딩 방식을 "uft8(bom)"으로 저장해야 하는 것.

 

해당 스크립트를 mac 환경에서 작성했고 테스트를 windows에서 했다는 것이 문제였었다.

 

분명 utf8 인코딩 방식으로 잘 저장했는데 왜 안 되는 거지?라고 생각하며 스택 오버 플로우를 숱하게 뒤졌지만 명확한 방법을 찾을 순 없었다. 나와 비슷한 질문이 몇 개 있었지만 정확한 해결책은 없었었다.

 

일단 이 문제를 이해하려면 BOM(Byte Order Mark)에 대해서 알아야 하는데, 간단히 설명하자면 컴퓨터가 해당 파일이 어떠한 인코딩 방식을 사용하지는 알기 위해서 파일 가장 앞부분에 "매직넘버"라는 숫자를 입력하는 것이다.

 

컴퓨터는 해당 파일을 읽을 때, 먼저 매직넘버를 읽어 들여 uft8인지 utf16인지를 확인하는 것이다. 조금 더 자세히 알고 싶다면 위키백과를 참고...

https://ko.wikipedia.org/wiki/%EB%B0%94%EC%9D%B4%ED%8A%B8_%EC%88%9C%EC%84%9C_%ED%91%9C%EC%8B%9D

바이트 순서 표식 - 위키백과, 우리 모두의 백과사전

최근에는 utf8의 경우 이 매직넘버를 생각한다고 한다. 내가 스크립트 파일을 작성한 환경에 mac이었기에 이 BOM은 생략된 것이다.

하지만, windows의 몇몇 프로그램이 아직 이 BOM을 생략하지 않는다고 한다. 대표적으로 txt 파일인데 powershell script 파일인 ps1파일도 사실상 txt이기 때문에 인코딩 방식을 정확히 알기 위해서 BOM이 필요했던 것이다.

 

따라서 단순히 utf8인코딩 방식으로 저장하는 것이 아니라 utf8 with bom 방식인 uft8(bom)으로 저장해 주어야 했다.

 

혹시 인코딩 방식을 변경하는 법에 대해서 모르는 사람이 있을 수 있기에 저장 방법에 대해서 간략히 소개하자면

파일 왼쪽 상단 "파일 -> 다른 이름으로 저장 -> 맨 아래 인코딩 탭 클릭 -> uft8(bom) 선택 -> 저장" 이러한 방식으로 저장하면 된다.

 

위 문제를 해결하기 위해서 열심히 구글링 하여 알아냈던 방법들은 아래와 같았다.

[System.Text.Encoding]::UTF8;
$env:LC_ALL='C.UTF-8';

내 문제의 경우 애초에 이러한 방법이 해결이 되지는 않았다... 이미 UTF8 방식으로 인코딩했지만, BOM이 없어서 생겼던 문제였기에...

 

하지만 그중에 재미있는 것을 발견했는데 바로 uft8로 인코딩 되어있는 text를 읽어서 변수에 저장하면 문제없이 해결할 수 있었다.

$KEY_WORD1=get-content -encoding utf8 "var1.txt";   
$KEY_WORD2=get-content -encoding utf8 "var2.txt";

스크립트와 동일한 폴더에 "var1.txt"라는 파일에 변수에 저장할 문자열을 기입해 놓으면 인코딩이 깨지지 않고 변수에 잘 저장된다.

물론, var1.txt 파일도 utf8 인코딩 방식으로 저장되어있어야 한다. with BOM 방식이 아님에도 해당 경우는 잘 동작하는 것은 windows 자체가 txt 파일을 uft8로 저장할 때 BOM을 포함시키기 때문인 것 같다.

 

굉장히 간단한 스크립트 문이었지만, 처음으로 powershell도 사용해보고 에러도 겪어보면서 windows와 mac의 차이, utf8 인코딩과 BOM에 대해서 조금 자세히 알아볼 수 있었던 시간이 된 것 같다.

 

스택오버플로우에 위와 동일한 문제를 해결 못한 인도 친구가 있었는데 다시 그 질문을 찾게 된다면 답변해주는 걸로...