CVE 크롤링 프로그램 수정

CVE 크롤링 하는 프로그램으로 ios, android, windows에 관련한 취약점들을 조사하는 중인데 프로그램을 사용하면서 불편한 점이 생겨서 좀 더 편리하게 이용하고자 코드를 추가했다.

관련 정보를 기록해보고자 한다.

 

일단 내가 불편했던 건

 

 

1. 최초 명령문을 확인해야 하는 불편함.

 

크롤링 프로그램 돌려놓고 다시 돌아왔을 때 콘솔에 출력된 내용을 보고 내가 뭘 크롤링 하려고 돌려놨는지(Description인지 Severity인지 등)을 까먹어서 확인할려면 검색된 수백개의 리스트를 다 위로 올려서 최초 명령문을 확인해야 하는 불편함이 있었다.

 

이건 엄청 단순한 문제라 그냥 프린트 문에 각각 어떤 걸 크롤링 해오고 있는지를 추가만 하면 되어서

 

print('---', cnt, ' description :', cve, '---')

 

이런식으로 추가하고 실행시켜보면

콘솔에

 

 

이렇게 뜨기 때문에 내가 지금 뭘 조사하는 걸 돌려놨는지 일일히 확인하지 않아도 된다.

 

 

 

2. 에러난 CVE 찾기 힘들어짐

 

이게 무슨말이냐면,

작업이 끝나고 나면 맨 마지막에 

 

 

이렇게 뜨게 된다. 성공한 개수와 에러가 생긴 개수.

 

에러가 생긴건 관련 내용이 없거나, 잠시 인터넷 연결이 불안정했거나 하면 생긴다. 확실하지 않음

그럴 경우에는 내가 직접 CVE 일련번호를 가지고 https://nvd.nist.gov/vuln/detail/[CVE-일련번호] 여기로 들어가서 직접 긁어와야 하는데, 그럴때 어느 CVE 일련번호에서 에러가 났는지를 또 결과 목록을 보고 저 749개 중에서 찾아야 한다.

이게 불편한게 

 

 

이런식으로 나오기 때문에 검색한 아이템의 개수가 많으면 많아질수록, 그리고 에러난 개수가 적을수록 저걸 스크롤 해가면서 찾기가 힘들어서, 일단 배열 하나를 정의한 후, 에러가 날 때 저

'>>> ERROR : CVE 일련번호 <<<'

이렇게 출력 시키는 구문 안에서 배열에 하나씩 저장을 시킨 후 맨 마지막에 에러난 목록을 한꺼번에 출력하면 되지 않을까 생각해서 실행에 옮겼다.

 

근데 이놈의 파이썬은 진짜 헷갈려 죽겠다. 배열을 어떻게 초기화 하는지를 모르겠어서 좀 애를 먹었는데 알고보니까 그냥 C나 JAVA랑 비슷한듯 이상하다.

 

배열 초기화는 그냥

list[1000]

이렇게 해도 됐다. 첨엔 무조건 초기화를 해야한다 생각하고 list[1000] = {0} 혹은 list[1000] = {None} 이런식으로 했는데 자꾸 웬

TypeError: 'type' object does not support item assignment

이런 오류가 났다. 그래서 아 뭐야 이러고 그냥 저렇게만 정의했더니 됐다;;; 파이썬 진짜 이상하다 정이 안감

 

일단은 저렇게 정의하고, 이제 Error 문구를 출력하는 구문에

 

 except:
        print('>>> ERROR :', cve, '<<<')
        f.write('-\n')
        err += 1
        list[err] = cve
        pass

 

저렇게 리스트에 저장시키는 코드를 추가한 후, 작업을 마치고 종료하기 전에

 

print('error   :', err)
for i in range(err):
    print(list[i])

 

이렇게 출력할 수 있도록 코드를 짜놨다.

 

아직 에러가 나질 않아서 저게 잘 작동하는지는 모르겠는데 잘 작동하는 예시가 등장하면 다시 추가해야겠다.

 

 

 

---

References

 

https://blog.naver.com/star7sss/222268831723