Iterator, Generator, Decorator

예전에 참고하라고 링크를 블로그에 올리긴 했는데...(올려놓기만 하고 자세히 들여다보지는 않았다.) 이터레이터는 뭔지 알겠는데 데코레이터와 제너레이터의 개념을 잘 모르겠어서 좋은 블로그를 보고 정리했다.

이터레이터, 제너레이터 참고 : http://friberry.com/?p=254

데코레이터 참고 : http://ravenkyu.github.io/python_investigation/2015/09/07/decorator/

이터레이터.

이터레이터가 뭔지 쓰려다가 말로 표현을 못 하겠어서 예시를 찾아봤다.

간단한건데 여기 블로그(c로 설명됨)처럼 반복적으로 처리하는 것을 말한다. 이터레이터에 관한 설명은 저 블로그보다는 자바나 c++(을 아는 사람은)관련해서 같이 참고하면 이해하기가 조금 더 편할것 같다.

c++관련 : http://kks227.blog.me/60208809639

for 반복문같은 경우 for i in ~~처럼 쓰는데 단순 문법이 저렇다.. 가 아니라 ~~부분에는 이터러블한 또는 몇몇 객체 같은 것들을 사용 가능하다. 등등을 알아두면 코드 짤대 좋을것 같다. 내부 동작을 이해하는데 도움을 준다고 해야 하나.. 사소한거지만 이런거 알아두면 코드 짤때 더 많이 방법론이 생각나는것 같다.

이터레이터의 활용. 아래는 위의 이터레이터 참고 블로그(http://friberry.com/?p=254)의 일부 내용이 너무 좋아서 통째로 가져왔다.(문제있을시 지우겠습니다. 댓글남겨주세요.)

이터레이터의 활용

이터레이터를 잘 활용하면 문법상의 이점 외에도 여러가지 장점을 기대할 수 있습니다.

1. Lazy evaluation

이터레이터를 활용하면 값의 계산을 실제 그 값이 필요한 시점으로 미룰 수 있습니다. 

value_list = [very_slow_function(x) for x in xrange(1, 100)]
for value in value_list:
    print(value); break

처럼 리스트를 사용하면 불필요한 계산을 미리 하게 되지만

value_generator = (very_slow_function(x) for x in xrange(1, 100))
for value in value_generator:
    print(value); break

처럼 이터레이터를 이용하면 느린 계산을 필요한 시점까지 미룰 수 있으며, 불필요한 계산을 하지 않을 수 있습니다.

2. 메모리

for student in Student.objects.all():
    print(student)

파이썬 웹 개발 프레임워크인 django에서 특정 테이블의 모든 행(row)를 확인하기 위해 위와 같이 코드를 작성할 수 있습니다. 그러나 이 코드는 리스트 형태로 테이블의 모든 정보를 한번에 가져오기 때문에 메모리 에러가 발생하기 쉽습니다. 대신

for student in Student.objects.iterator():
    print(student)

와 같이 코드를 작성하면 django에서 적당한 단위로 끊어서 데이터를 가져오기 때문에 메모리 문제가 생기지 않습니다.

더 일반적인 예로

[x for x in xrange(1, 10000000000000)]

은 큰 메모리 공간을 차지하지만

(x for x in xrange(1, 10000000000000))

은 메모리를 거의 차지하지 않습니다. (참고로 위의 (x for x in xrange(~~))이 구문은 제너레이터 구문이다.)

3. 무한 수열

list 등의 기본적인 자료형은 유한한 크기의 값만 표현할 수 있습니다. 그러나 이터레이터를 활용하면 무한한 수열의 표현도 가능합니다. 예를 들어 모든 자연수는

def all_natural_numbers_generator():
    x = 1
    while True:
        yield x
        x += 1
all_natural_numbers = all_natural_numbers_generator()

또는

from itertools import count
all_natural_numbers = count(1)

과 같이 표현할 수 있습니다.

제너레이터.

피보나치 수열을 제너레이터로 표현한 건데 일반적 구현인 재귀로 구현된것과 비교하면서 보자. (사실 이 제너레이터때문에 글을 씀)

# -*- encoding: cp949 -*-
def fibonacci(i): #재귀를 이용
    if i<=1:
        return 1
    else:
        return fibonacci(i-1)+fibonacci(i-2)

def g_fibonacci(n): #제너레이터를 이용.
    """Fibonacci numbers generator, first n"""
    a, b, counter = 0, 1, 0
    while True:
        if (counter > n): 
            return
        yield a
        a, b = b, a + b
        counter += 1
 
 
f = g_fibonacci(5)
for x in f:
    print(x)  # 0, 1, 1, 2, 3, 5

제너레이터 함수는 yield라는걸 쓰는데 동작을 살펴보면 일반 함수는 return시 그냥 리턴하고 함수 자체를 끝낸다. 그런데 yield는 해당 값을 리턴하고, 함수는 계속 도는 그런 느낌??인것 같다.

여기도 참고 : http://anandology.com/python-practice-book/iterators.html

제너레이터 또한 이터레이터라고 한다.

데코레이터.

위에 적었듯이 http://ravenkyu.github.io/python_investigation/2015/09/07/decorator/ 를 참고했다.

함수 위에 @로 시작하는게 있는게 데코레이터다. 이거 바로 이전글에 데코레이터 예제가 하나 있다.

(실행하려면 https://pypi.python.org/pypi/singledispatch#downloads 모듈 다운로드가 필요하다.)

# -*- encoding: cp949 -*-
from singledispatch import singledispatch
@singledispatch
def fun(arg, verbose=False):
    if verbose:
        print("Let me just say,")
    print(arg)

@fun.register(int)
def _(arg, verbose=False):
    if verbose:
        print("Strength in numbers, eh?")
    print(arg)

@fun.register(list)
def _(arg, verbose=False):
    if verbose:
        print("Enumerate this:")
    for i, elem in enumerate(arg):
        print(i, elem)

fun(10)
fun(['rara','roro'])

지금 다시 앞의글을 읽어보니 앞의 글 자체가 데코레이터를 사용하기에 좋은 예제이다. 그리고 파이썬에서의 함수 오버로딩 구현시 데코레이터를 이용하면 되는 경우가 많을 것 같다.

추가.

요 링크도 좋다 : http://thecodeship.com/patterns/guide-to-python-function-decorators/