파이썬으로 쉽게 이미지 크롤링 및 파일 저장

이번 포스팅은 파이썬으로 쉽게 이미지를 크롤링하고 파일에 저장하는 방법입니다.

첫번째로 구글 검색창에 이미지 검색을 위한 단어를 검색합니다.

(저의 경우 식물이 필요하기 때문에 plant로 검색하였습니다.)

 

 

이미지란으로 이동한 이후 ctrl+shift+j 를 입력하면 콘솔창이 나타나게 되는데, 

거기에 아래와 같은 코드를 입력하시면 됩니다.

urls=Array.from(document.querySelectorAll('.rg_i')).map(el=> el.hasAttribute('data-src')?el.getAttribute('data-src'):el.getAttribute('data-iurl'));
window.open('data:text/csv;charset=utf-8,' + escape(urls.join('\n')));

 

코드를 입력한 후 실행하게 되면 파일이 다운로드가 되는데, csv의 형태로 다운받으시면 됩니다.

 

csv를 확인하면 각 셀에 이미지 URL이 첨부되있는 걸 확인할 수 있습니다.

파이썬 코드를 통해 로컬 드라이브에 저장해보겠습니다.

import csv
import urllib.request
import os
 
num=450
#make num for saving image
 
sun=open('sunburn_real.csv','r',encoding='utf-8')
#open the csv/rename csv file what you make
 
sunurl = csv.reader(sun)
#read csv var
 
for line in sunurl:
    try:
        outpath='C:/Users/lur06/Desktop/peoplespace/'
        #write your own local location
        out="sunburn"
        file=".jpg"
        outfile=out+str(num)+file
        #set your img name
        urllib.request.urlretrieve(line[0],outpath+outfile)
        #save your img in local destination using urlib
        num=num+1
    except:
    #out the code incase of error
        print("error!")
        sun.close()
        break
        
    

다음 포스팅에서는 colab을 활용해 식물의 질병유무를 판단하는 머신러닝모델에 대해 알아보겠습니다.