Tensor Processing Unit(TPU)

구글 IO가 시작하자마자 여러 뉴스로 시끌벅적합니다. 그 중에서도 관심을 끄는 것은 바로 Tensor Processing Unit, TPU 입니다. 구글 선다 피차이 CEO는 구글 IO 2016 기조 연설 마지막 부분에서 머신러닝에 관해 발표하면서 최초로 TPU를 공개했습니다.

구글 블로그에 따르면 TPU는 머신러닝 특히 텐서플로우에 최적화된 반도체 칩으로 주문 제작되어 구글 데이터센터에서 일년전부터 사용되고 있다고 합니다. 검색, 스트릿뷰 등 많은 구글 팀에서 뿐만 아니라 알파고와 이세돌의 대국에도 바로 이 칩이 사용되었습니다. 오른쪽 사진이 이세돌과의 대국에 사용된 TPU가 꽂힌 서버랙 입니다. TPU는 서버의 하드드라이브 디스크에 슬롯에 꽂아서 사용할 수 있습니다. 랙 측면에 바둑판 사진이 붙어 있는게 보이네요.

구글이 머신러닝을 위한 칩을 직접 만들어 사용하는 것은 인텔이나 Nvidia에게는 슬픈소식이 될 것 같습니다. 이미 마이크로소프트도 직접 칩을 만든 적이 있고 애플도 오랫동안 아이폰과 아이패드에 직접 만든 칩을 사용해 왔습니다. 범용 GPU를 사용하지 않고 직접 만든 최적화된 칩을 이용해서 딥러닝 모델 학습을 보다 빠르게 하려는 경쟁에 불이 붙을 것 같습니다. 정말 놀랍고 두렵기도 합니다.

구글이 칩에 대한 상세 내용을 발표할 것 같지는 않습니다. 구글이 텐서플로우를 공개하고 개발자들이 열심히 배우게 한다음 세상에서 가장 빠른 딥러닝 칩이 꽂힌, 특히 텐서플로우에 최적화된, 구글 클라우드를 쓰라고 말하는 것 같습니다. 아마존은 계속 GPU를 쓸지 다른 선택을 할지 궁금합니다.

(추가) TPU에 대해 여러 기사가 나왔지만 대부분 구글이 많은 정보를 공개하지 않았기 때문에 구글 블로그에 있는 내용을 크게 벗어나지 못했습니다. 하지만 넥스트플랫폼에서 낸 이 기사는 흥미로운 점 몇가지를 알려주고 있습니다. TPU가 성능을 위해 부동 소숫점 연산의 복잡함을 어느정도 희생할 것이라 예상하는데 16비트 부동소숫점 연산인지 8비트 부동소숫점 연산인지에 대해 설왕설래 했었습니다. 그런데 이 기사에서 TPU는 8비트 정수라고 밝히고 있습니다. 또 TPU가 모델을 학습하는 것과 모델을 이용해 실행하는 곳 모두 사용되는 것으로 추측하고 있으며 정확히 구글의 머신러닝 중 얼만큼이 TPU를 통해 처리되는 지는 밝혀지지 않았다고 합니다. 여러 미디어들이 언급한 것 처럼 TPU의 성능이 명확히 공개되지는 않는 상황에서 이번 발표는 상당부분 마케팅 적인 측면이 있다고 여기고 있습니다. 보통 새로운 칩을 설계하고 제조하는 데에는 수십억에서 많게는 수백억 이상이 든다고 합니다. 그래서인지 구글이 이 칩에 대해 보다 상세한 자료를 공개할 것이라고 기대하지는 않고 있습니다.

awesome-tensorflow 깃허브를 관리하고 있는 Json Toy는 그의 블로그에서 TPU에 관해 저와 유사한 의견을 피력했습니다. 바로 개발자와 연구가들이 구글 클라우드 머신러닝을 쓰게끔 만드려는 것 같다는 겁니다. 그러나 이런 구글의 행보가 아직도 비싼 제품을 생산하는 GPU 시장을 압박하여 보다 저렴하고 전문화된 칩이 나올 것이라는 긍정적인 면에 대해서도 말하고 있습니다.