이미지 관련 2차삽질 (hack this site : Bypass the image captcha)

해결 : http://qkqhxla1.tistory.com/442

1차 삽질 : http://qkqhxla1.tistory.com/257

1. grayscale 부드럽게 보정 (이거 더 찾아볼것)

http://codereview.stackexchange.com/questions/41688/rotating-greyscale-images

2. opencv공식 홈페이지 warpaffine

http://opencv-python-tutroals.readthedocs.org/en/latest/py_tutorials/py_ml/py_svm/py_svm_opencv/py_svm_opencv.html?highlight=warpaffine

3. python-tesseract

https://code.google.com/p/python-tesseract/wiki/CodeSnippets

위에 링크한 자료를 찾아보고, ocr방법론도 이것저것 거의 다 찾아본것 같다. 

그러나 opencv의 ocr은 내가 opencv를 따로 공부한 적이 없기도 하지만 너무 쓰기가 복잡했고, 원래 쓰던 pytesser은 넣을수 있는 옵션이 너무 적었으며,(사실 넣을수 있는 옵션이 없는것같다.) python-tesseract 라는걸 찾았는데 이건 opencv처럼 어렵지도 않고, 내가 원하는 옵션도 있었지만(내가 원하는 문자만 인식하도록 하는 옵션 등.) 아는 사람만 알아서 잘 찾아서 쓰라는듯이 공식 홈페이지의 설명이 별로 없다. (예제 코드만 잔뜩 있다.)

이 문제가 어려운 이유가, 일단 글자나 숫자가 너무 작고, 회전을 하면 글자가 우그러진다. 그래서 pytesser같은것들이 인식률이 매우 낮아진다. 보정을 해봐도 해봐도 우그러지는게 별 진전이 없어서 혹시 어떠한 이미지를 손실없이 통째로 돌리는게 있지 않을까(마치 직접 보고있는 사진을 손으로 잡고 돌리듯이) 찾아봤지만 그런건 없다고한다.

이 한문제를 풀기 위해 몇일동안 삽질했는데...... 결국 답의 근사치만 내고 끝났다.

(인식률을 계산해보니 95%) 나중에 완벽하게 풀면 추가 예정..

눌러보면 253개의 캡챠가 나오는데 안에서부터 시계방향으로 읽어서 보내면 된다. 신기한건 자바스크립트로 글자를 그린다. 그래서 내가 직접 캡쳐해서 이미지 파일로 만들어줘야 한다.(심지어 실행시마다 캡챠의 위치도 변함.) 내가 한건 파이썬의 스크린샷찍는 모듈로 적절한 부분을 스크린샷으로 찍은후, 

픽셀값을 계산해서 캡챠의 중심부를 찾아내서 알아서 조정한다.(십자선은 조정용으로 그려놓은것.)

그다음에 10도씩 반시계방향으로 이미지를 돌리면서 위의 빨간색 네모부분의 값을 인식해서 일일히 가져온 후, 가져온 문자열을 보정한다. 특히 숫자 4같은경우는 매우 더럽게도 잘 인식이 되지 않고, *4, 4$, *&등으로 계속 바뀌어서 인식되서 매우 보정하기가 어려웠다. 보정은 그냥 replace함수로 노가다하듯이 하나하나 다 썼다.

보정 후 내부부터 나오도록 순서를 연결해서 보냈다. 위의 예는 449B8AC1~ ... ~4167이 답이다.

어쨋든 억지로 성능을 끌어올려서

요렇게 대부분 잘 나왔지만..... 하나하나 비교해보면 몇개씩 문자 또는 숫자가 틀린다. (ex) 40도의 마지막 6이 아니라 캡챠를 보면 8이다. 잘못 인식됨.) 대략 갯수를 세보니 253개중 15~25개정도는 틀린 것으로 나타났으며, 이정도의 정확도면 브루트포싱처럼 우연히 다 맞을때까지 계속 보내서 될 문제가 아니라는걸 깨달았다. 그래서 일단 2차 삽질은 여기서 포기한다..

해결 : http://qkqhxla1.tistory.com/442

# -*- encoding: cp949 -*-
import pyscreenshot as ImageGrab
import time,Image
import cv2
import numpy as np
import cv2.cv as cv
import pytesser
import urllib2

time.sleep(1) #스크립트 실행 후 1초를 쉼. 이 1초 이내에 캡챠 화면으로 돌릴 것.....
min = [1000,1000]; max = [0,0]
im = ImageGrab.grab(bbox=(0,100,1000,860)).save('cap.png') #적당히 넓은 범위 캡쳐후 저장.
im = Image.open('cap.png').convert('RGB')
min = [1000,760]; max = [0,0]
for i in range(im.size[1]): #범위 조정을 위해 최소점과 최대점을 찾아서 그 부분을 잘라냄.
    for j in range(im.size[0]):
        if im.getpixel((j,i)) == (0,128,0) and i < min[0]: min[0] = i
        if im.getpixel((j,i)) == (0,128,0) and j < min[1]: min[1] = j
        if im.getpixel((j,i)) == (0,128,0) and i > max[0]: max[0] = i
        if im.getpixel((j,i)) == (0,128,0) and j > max[1]: max[1] = j
im = Image.open('cap.png').crop((min[1],min[0],max[1]+32,max[0]+32)).save('cap.png') #이미지 위치에 맞게 적당히 잘라냄.
im = Image.open('cap.png').convert('RGB') #잘 보기위해서 글자는 흰색으로 칠함.
for i in range(im.size[1]):
    for j in range(im.size[0]):
        if im.getpixel((j,i)) != (0,0,0):
            im.putpixel((j,i),(255,255,255))

#for i in range(im.size[1]): #위의 사진의 십자선. 실전에서는 이렇게 주석처리해놓고 한다.
#    im.putpixel((im.size[0]/2,i),(255,255,255))
#for i in range(im.size[0]):
#    im.putpixel((i,im.size[1]/2),(255,255,255))
im.save('cap.png')
answer = []

for i in range(0,360,10): #돌아갈 각도. 0,10,20....
    img = cv2.imread('cap.png',0)
    rows,cols = img.shape
    M = cv2.getRotationMatrix2D((cols/2,rows/2),i,1) #이미지를 돌림.
    dst = cv2.warpAffine(img,M,(cols,rows))
    cv2.imwrite('cap1.png',dst) #돌린 이미지를 cap1.png라고 저장.
    im = Image.open('cap1.png').convert('RGB') #cap1.png를 열어서...
    im.crop((335,0,355,270)).save('cap2.png') #위의 빨간색 사각형 부분을 잘라내서 cap2.png에 저장..
    s = pytesser.image_to_string(Image.open('cap2.png')) #pytesser로 인식해봄. 아래 replace는 다 보정.....
    #print s.split('\n')
    s = s.replace('(I','C').replace('1 `','1').replace('  \\\\','3').replace('A<','A').replace('E?','B').replace('Y','7').replace('\'%','4').replace('y `','7').replace('$\'','7').replace('S.','4').replace('^+','4').replace('\'F','4')
    s = s.replace('`','4').replace('?','7').replace('t','7').replace('(','C').replace('S','5').replace('I','1').replace('%','4').replace('J','7').replace('i','1')
    s = s.replace('6 4','6').replace(' 7','F').replace('q','1').replace('5*','7').replace('#','4').replace('P','F').replace('U','0').replace('G','4').replace('O','0')
    
    s = s.replace('2;','2').replace('Z','2').replace('@','4')
    s = s.split('\n')
    s = map(lambda x:'4' if len(x)>1 and x.find('4')!=-1 or x.find('*')!=-1 else x,s)
    s = map(lambda x:'4' if x>'F' or len(x)>1 else x,s)
    s = ''.join(s)
    print '%3s = %s' %(i,s)
    #exit(1)
    if len(s)<7: #어쩌다가 한글자씩 인식못하는 경우가 있는데 실패한것이므로 그런건 미리 종료시킴.
        print '실패.'
        exit(1)
    answer.append(s[::-1])
send = ''
for j in range(len(answer[0])):
    for i in range(len(answer)):
        try:
            if answer[i][j]==' ': send += ' '
            else: send += answer[i][j]
        except: pass
print send

req = urllib2.Request('https://www.hackthissite.org/missions/prog/6/','solution='+send)
req.add_header('cookie','PHPSESSID=g8kl8ggr529uqoq86o48i6d2s7')
req.add_header('referer','https://www.hackthissite.org/missions/prog/6/index.php')
print urllib2.urlopen(req).read()[:10000]