Bay Area DL School Live Stream!

스탠포드 대학에서 열리는 베이 에어리어 딥러닝 스쿨(Bay Area Deep Learning Schoolbayareadlschool.org)이 25일 새벽 1시(한국시간)부터 유튜브에서 라이브로 스트리밍됩니다! 손흥민 경기보고 바로 이어서 보면 되겠네요! 낮잠을 자 두어야 할 것 같습니다.🙂

dlschool-speaker

(업데이트) 발표자들의 슬라이드가 일부 공개되었습니다.

OpenAI cleverhans training with adversarial examples

logo

OpenAI의 이안 굿펠로우(Ian Goodfellow)가 에러가 포함된 데이터(adversarial example)를 사용하여 모델을 더욱 견고하게 만들어 줄 수 있는 프레임워크 cleverhans를 오픈소스로 공개하였습니다. cleverhans는 파이썬2를 기반으로 하고 있으며 케라스(Keras)와 텐서플로우를 사용합니다. 아직 개발 초기 단계라 딱히 설치 방법을 제공하고 있지 않고 레파지토리를 클론해서 소스가 들어있는 cleverhans 디렉토리를 임포트해서 사용하면 됩니다. 현재는 MNIST 데이터를 사용한 예제만 제공되는 데 앞으로 튜토리얼이 더 추가될 수 있을 것 같습니다.

이 라이브러리는 현재 FGSM(Fast Gradient Sign Method) 방식으로 에러가 포함된 데이터(adversarial example)를 생성해 냅니다. 그리고는 이 데이터를 사용하여 모델을 다시 학습시키도록 하고 있습니다.

# Craft adversarial examples using Fast Gradient Sign Method (FGSM)
...
adv_x_2 = fgsm(x, predictions_2, eps=0.3
predictions_2_adv = model_2(adv_x_2)

# Perform adversarial training
tf_model_train(sess, x, y, predictions_2, X_train, Y_train, predictions_adv=predictions_2_adv)

처음 모델의 정확도는 약 95.9% 였지만 에러가 들어 있는 데이터에 대해서는 불과 3.5% 밖에 되지 않았습니다. 하지만 에러가 들어있는 데이터를 이용해 두번째 모델을 만들어 손실 함수(loss function)를 보정하여 학습을 시킵니다. 이로 인해 테스트 데이터의 정확도는 95.1%로 조금 낮아졌지만 에러가 있는 데이터에 대한 정확도는 56.2%로 크게 성장한 것을 확인할 수 있습니다.

Test accuracy on legitimate test examples: 0.9589203125
Test accuracy on adversarial examples: 0.03577734375
...
Test accuracy on legitimate test examples: 0.951059375
Test accuracy on adversarial examples: 0.5620109375

텐서플로우 0.10.0 + 케라스 1.1.0 에서 테스트하였습니다.

Deep Learning Textbook Study Group

샌프란시스코 지역의 한 딥러닝 스터디 그룹이 이안 굿펠로우(Ian Goodfellow)의 딥러닝북(Deep Learning Book)을 이용하여 매주 스터디를 진행하고 있습니다. 지난 주부터 강의 진행 영상을 유튜브로 실시간 스트리밍해 주고 있습니다. 지난 주에는 이안 굿펠로우가 직접 9장 콘볼루션 네트워크에 대해서 강의를 진행했습니다. 다음 주 월요일에도 이안 굿펠로우가 11장 Practical Methodology에 대해 스터디를 진행합니다. 이 영상도 실시간으로 중계될 예정입니다. 한국 시간으로는 27일 오전 10시 30분입니다.

Rajat Monga’s Quora Session

rajat-monga

텐서플로우 엔지니어링 디렉터인 라잣 몽가(Rajat Monga)의 쿠오라 세션이 열립니다. 라잣 몽가는 텐서플로우 페이퍼의 공동 저자이며 텐서플로우 엔지니어링 팀을 이끌고 있어 텐서플로우에 관한 질문이 많이 올라올 것으로 보입니다. 질문은 지금부터 등록이 가능하며 대답은 다음주 목요일 오전 4시(한국 시간)에 시작됩니다.

Google opensource new image captioning model-im2txt

example_captions

출처: 텐서플로우 모델 깃허브

구글이 그동안 개발해 온 이미지 캡셔닝 모델을 텐서플로우 모델로 만들어 공개했습니다. 이 시스템은 2014년 처음 개발되어 2015년 마이크로소프트 이미지 캡셔닝 대회에서 가장 좋은 성과를 냈었습니다. 처음에는 디스트빌리프(DistBelief) 프레임워크를 사용하여 Inception V1 모델을 사용했다가 V2로 바꾸었고 프레임워크를 텐서플로우로 바꾸어서 공개한 이번 버전은 Inception V3 모델을 사용하였습니다. 모델의 소스는 텐서플로우 모델의 깃허브에서 확인하실 수 있으며 자세한 설명이 담긴 관련 페이퍼도 함께 릴리즈 되었습니다.

서울대학교 딥러닝 세미나 동영상

서울대학교 컴퓨터공학부 BI lab 석박사과정의 학생들이 주도가 되어 진행하는 CM(Connectionist Model) 세미나의 동영상이 유튜브에 꾸준히 공유되고 있습니다. 내부적으로 진행하는 세미나를 공개하는 게 쉽지 않은 일인데 정말 반갑네요. 감사합니다!

모두연의 강화학습 튜토리얼

모두의연구소 이웅원님이 만드신 강화학습(reinforcement learning) 튜토리얼이 깃북으로 공개되었습니다. 이 튜토리얼은 무려 160여 페이지 분량입니다. 한글로 된 강화학습 자료가 많지 않은 가운데 이런 자료가 공개되어 매우 반갑네요. 이 튜토리얼은 데이빗 실버(David Silver) 교수의 강의와 리처드 서튼(Richard S. Sutton) 교수의 ‘Introduction to Reinforcement Learning‘ 책, 유다시티(Udacity)의 강화학습 강의등을 참고했다고 합니다.

참고로 데이빗 실버 교수의 강의는 유튜브에서 볼 수 있으며 리처드 서튼 교수의 Introduction to Reinforcement Learning 책은 2판을 무료로 드롭박스에서 읽을 수 있습니다. 2판은 2012년 부터 쓰여져서 최근까지 마무리 작업이 진행되었는데 지금은 거의 완결된 상태입니다. pdf 버전은 여기서 다운 받을 수 있습니다.

BayLearn 2016 Registration Open

baylearn2016

베이런(BayLearn. Bay Area Machine Learning Symposium) 2016 심포지엄의 등록이 시작되었습니다. 베이런은 2012년부터 시작된 심포지엄으로 올해에는 10월 6일에 열립니다. 올해에는 딥러닝 분야에 할애가 많이 되지 않을까 생각됩니다. 실리콘 밸리에 살고 있는 사람들이 부럽네요.🙂

카이스트 머신러닝 워크샵 강의 동영상

지난 8월 22~23일에 열린 카이스트 머신러닝 워크샵에서 1일차와 2일차에 각각 한시간씩 진행된 동영상 강의가 유튜브에 공개되었습니다. 첫째날 강의는 ‘Introduction to Machine Learning’ 입니다. 둘째날 영상도 공개되면 업데이트 하겠습니다.

conda supports TensorFlow

파이썬의 서드파티 패키지 관리 툴인 콘다(conda)가 텐서플로우 패키지를 제공하기 시작했습니다. 현재는 리눅스 64비트 버전만 제공되며 파이썬 2.7, 3.4, 3.5 버전을 지원합니다. 컴파일된 텐서플로우 버전은 0.10.0rc 의 CPU 버전입니다. 이제 64비트 리눅스에서 텐서플로우는 간단히 conda install tensorflow 명령으로 설치할 수 있습니다.

콘다를 포함하고 있는 아나콘다(anaconda) 인스톨러는 scipy, numpy, pandas 같은 수치, 과학 패키지들을 플랫폼에 맞게 컴파일하여 제공하고 있어서 인기가 많습니다. 콘다에서 씨아노(Theano)에 이어 텐서플로우까지 제공하니 훨씬 편해질 것 같습니다. 하지만 윈도우와 맥용 패키지가 만들어질지는 아직 미지수 입니다.