CVE ID, Date, Severity 한번에 크롤링

실행 과정

printDateCVESeverity.py

 

한번에 3가지 정보를 다 담을 수 있는 txt 파일을 생성할 수 있으면 엑셀에 복붙하기 편할 것 같아서(+ 21.09.13 14:25 알고보니 안편하다. 그냥 다 따로 하는게 편하다..ㅋ) 따로따로 있던 py 파일들을 그냥 하나의 코드에 합쳐버려서 Date - CVE ID - Severity 정보 순으로 출력하는 프로그램을 만들었다.

딱히 어려운 건 없고 그냥 원래 있던 코드들을 적당히 합치면 되었다.

 

for line in data:
    cve = line.strip()
    try:
        url = 'https://nvd.nist.gov/vuln/detail/' + cve
        urlDate = 'https://cve.mitre.org/cgi-bin/cvename.cgi?name=' + cve
        response = requests.get(url)
        soup = BeautifulSoup(response.text, 'html.parser')
        temp = soup.find('a', {'id': "Cvss3NistCalculatorAnchor"})
        if temp == None:
            temp = soup.find('a', {'id': "Cvss3CnaCalculatorAnchor"})
        if temp == None:
            temp = soup.find('a', {'id': "Cvss3NistCalculatorAnchorNA"})
        m = re.search(r'([a-zA-Z]+)', temp.text)
        severity = m.group(1)

        responseDate = requests.get(urlDate)
        mDate = re.search(r'<b>(\d+)</b>', responseDate.text)
        date = mDate.group(1)

        f.write(date + '\n')
        f.write(cve + '\t')
        f.write(severity + '\t')

        cnt += 1
        print('---', cnt, ':', cve, '---')

 

먼저 searchCVE.py를 실행시켜서 CVE ID들 부터 받아오고, 그것들을 하나씩 읽어가면서 해당 CVE ID의 일자, 위험도를 긁어온다. 그래서 사실 url로 만들어서 request 보내는 건 date랑 severity 구할 때 두번이면 돼서 두가지 url 만들어서 요청 보내고 적절하게 파싱해서 정보 긁어온 다음에 f.write()한다. 

 

 

실행 terminal

 

실행결과 .txt