AI인턴 irvine(5)

드디어 이번주 수요일이면 people space프로그램이 끝난다..나의 프로젝트도 끝, 여기 어바인에서의 숙소 생활도 끝!

프로젝트는 정말 말 그대로 최악이었다

머신러닝 데이터셋은 한달이 다될때까지 클래스에 사진이 석장 밖에 없는 놀라운 모습을 보여줬다.

?

대한민국 최고의 데이터셋

근데 사진이 3장이면 validation set은 그럼 1장이야?...오

말도 안되는 정확도!

말도 안되는 정확도!
98.8% 실화야? 심지어 결과물을 보니 몇개는 아예 질병을 판단하지도 못하고 종만구분하고 있었다.(그와중에 계속 multi classfication으로 하려고..)게다가 데이터셋도 없는데 resnet50으로 하니 resnet34하니 뭔 소용이 있나 ㅜ

결국 내가 머신러닝 모델에 필요한 이미지 크롤링부터 전처리, 모델학습까지 전부 하게 되었다
일단 첫째로, 특수식물의 질병을 모으다보니(이중 클래스) 당연히 데이터 셋이 적어질 수 밖에 없었고, 그러다보니 모델의 학습이 미진했다. 그래서 전반적으로 식물에 공통적으로 일어나는 질병에 대한 조사를 먼저 시작했다. 열심히 알아보니 powdery mildew, sunburn, bacterial spot 같은 단순한 질병의 경우에는
특수/일반 식물에 가리지 않고 나타났고 질병을 통틀어 구하는게 낫겠다는 생각을 하게 되었다.

결국 multi classification을 포기하고 식물의 종을 구별하는 모델과 식물의 질병을 판단하는 모델 두가지로 나누어 데이터셋을 구하게 되었다. github에 비슷한 모델의 좋은 데이터 셋이 있길래 다행히 공통적인 질병에 대한 데이터를 모을 수 있었다.
(토마토, 포도의 powdery mildew와 bacterial spot이 이에 해당했다.)

그와중에 데이터 collecting하려고 이미지파일을 직접 구하다보니 url csv가 아니어서 fastai처럼 gcp안에 직접 저장할수가 없었다...(썩을) 사진이 한장도 아니어서 파일업로드도 못하는데 그러려면 버킷형성에 정말 복잡해져서 머리를 썩히고 있었다.
게다가 로컬로 돌리려고 하니까 코드창에 나보고 램이나 다시사라고....하더라.. 이젠 주피터도 날 농락하는구나..

다행히 구글 코랩을 찾을 수 있었고....ㅠㅠㅠ
구글 드라이브에 연동해서 이미지를 업로드해서 사용할 수 있었다
각 클래스 당 400장의 사진을 가지고 머신러닝 모델을 학습시킨 결과 다행히도 92%의 정확도를 보였다!

여기도 여긴데..다시 서버로 돌아가서 머신러닝 모델로 학습시킨 결과물을 내놓자니 참 답답했다.
그러던 와중에 딥러닝 flask 예제를 간단히 잘 만들어놓은 블로그가 있어서 참고할 수 있었다.pkl파일로 model을 load_lerner로 불러와서 predict함수로 이미지를 분석하고 결과값이 신기하게 리스트에 저장되길래 리스트에서 찾아서 반환해줬다.

민규오빠가 드디어!AWS등록해서 내 서버 파일을 드디어 올릴 수 있었다! 정말 여기와서 너무 힘들었다..
물론 논것도 많았지만..