캐글(Kaggle) 알아보기

 

캐글(Kaggle) 알아보기 

 

구글 LCC 자회사인 캐글(Kaggle)은 2010년 설립된 예측모델 및 분석 대회 플랫폼이다. 2017년 3월 구글에 인수되었으며 기업 및 단체에서 데이터와 해결과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 

kaggle 홈페이지

2017년 캐글을 이용하는 데이터 전문가는 100만 명을 넘었으며 2021년 860만 명이 넘는 사용자를 보유하고 있다. 캐글 커뮤니티는 전 세계 194개국에 퍼져있으며 가장 인기 있는 사이트가 되었다. 

 

캐글 운영 방안

캐글 운영방안

 

① 문제의뢰 : Company에서 우수한 기술을 획득하기 위하여 Kaggle에 대회 운영 요청(기간 설정, 상금 설정)

② 정보제공 : 대회 운영을 위하여 정보제공이 가능한 별도의 사이트를 개설 및 운영(기본정보 온라인 개제 (Overview) - 개요, 평가방법, 상금 정보, 수행기간)

③ 결과 제공 : 대회 참가자들은 자신만의 방법으로 대회에 참가 → 자신만의 방법 및 결과를 Kernels에 등록 → 기본 주제에 대하여 토론(Discussion) 가능 → 기업은 기술대회 결과 수집, 대회 기간 중 우수기술 적용 참가자 리스트 확보가 가능한 Leaderboard 제공

④ 심사 후 우승자 선정 : 평가방법에 가장 우수한 기술을 확인한 후 우승자 선정 → 우승자의 라이선스 유형은 각각 다름 (case by case) - 오픈소스(Opensource), 통상실시 사용권 (Non-Exclusive) 등

 

⑤ 문제 해결 : 대회를 통해서 획득한 우수한 기술을 의뢰한 기업에 결과 제공

 

 

 

캐글의 서비스

- 머신러닝 대회 : 회사는 문제를 게시하고 기계 학습기는 일반적으로 상금과 함께 최고의 알고리즘을 구축하기 위해 경쟁한다.
- Kaggle Kernels : 데이터 과학 및 기계 학습을 위한 클라우드 기반 워크벤치입니다. 데이터 과학자가 Python, R 및 R Markdown에서 코드 및 분석을 공유할 수 있다. 감정 분석에서 객체 감지에 이르기까지 모든 것을 다루는 "커널"(코드 조각)이 Kaggle에서 공유되었다.
- 공개 데이터 세트 플랫폼 : 커뮤니티 구성원이 서로 데이터 세트를 공유한다. 엑스레이 사진에서부터 권투 시합 결과에 이르기까지 모든 것에 대한 데이터 세트가 있다.
- Kaggle Learn : 관리 가능한 덩어리의 AI 교육을 위한 플랫폼이다.

 

캐글은 설립 이후 수백 개의 머신 러닝 대회를 개최했다. HIV 연구, 체스 등급 및 교통 예측 분야의 첨단 기술을 발전시키는 것을 포함하여 많은 성공적인 프로젝트가 이루어졌다. 캐글의 연구는 심층 신경망의 힘을 보여주는 데 도움이 되었고 캐글 커뮤니티의 다른 사람들이 이 기술을 채택하게 되었습니다. 

 

캐글을 사용하는 이유에 대해서 몇가지를 정리해 보면

1) 무료로 데이터를 제공 : 기업에서 실제로 하용하는 데이터를 무료로 공개하며, 사용자는 이를 풀 수 있는 최적 알고리즘을 제공하고 있어 캐글은 고품질 데이터를 고사양 알고리즘을 적용할 수 있는 기반을 마련하게 되었다.

 

2) 패키지 및 커널 제공 : 데이터 분석을 위하여 Python, R 등 다양한 라이브러리를 설치해야 하는데, 캐글에서는 가상 IDE를 제공하기 때문에 번거로운 설치 과정이 없어도 바로 데이터 분석을 할 수 있다. 

 

3) 상금 및 채용연계 : 캐글을 통해 우승을 하게되면 상금을 함께 얻을 수 있다. 이러한 내역은 캐글 커뮤니티 등에 등록이 되고 이 사용자는 채용까지 함께 연계할 수 있는 기술적 기반이 된다. 자신을 증명하는 수단으로 사용되기 때문에 해당 사이트가 폭발적인 인기를 가지게 되었다. 

 

▼캐글홈페이지 바로가기

https://www.kaggle.com/

Kaggle: Your Machine Learning and Data Science Community

 

케글과 비슷한 인공지능 경진대회 플랫폼은 데이콘, 시그네이트, 탑코더 등이 있다. 

 

최근 트렌드는 빅데이터를 이용해 문제 해결 방법을 필요로 하고 있고 이러한 사람들이 모여 그들만의 커뮤니티를 형성하고 있다. 이러한 기술이 쌓여 캐글은 연구자, 기업, 사회, 세계가 원하는 문제를 해결할 수 있는 커뮤니티로 성장할 것이라고 예상한다.