2019년 2월 정기 모임 <로봇 수업>
<로봇 수업>
발제
박종찬
발제문
위치
서울 관악구 과천대로 939 르메이에르강남타운2차 2층 207호 <와우카페>
후기
정준민
<로봇 수업>에서는 반인반마처럼 사람과 로봇이 함께 협력해서 일하는 켄타우로스라는 개념이 가장 인상적이었습니다.
저는 비교적 켄타우로스에 가깝게 일하는 편이라고 생각합니다. 전 회사에서도 지금 회사에서도 A.I까지는 아니지만 데이터를 활용해서 일을 합니다. 데이터야 웹에 많이 있으니까요. 제가 원하는 데이터를 알아서 수집해주면 로봇하고 일한다고 할 수 있을텐데… 지금은 제가 찾아서 정리해야 하니… 그래도 온전히 제가 가지고 있는 지식에만 의존해서 일을 하지는 않습니다.
그럴 수 있는 건 지금까지 일해왔던 분야를 비교적 잘 아는 편이라 그럴 겁니다. 책이랑 음악이니까요. 다른 분야였다면 지금보다 훨씬 더 헤맸을 겁니다. 기계와 일을 할 때 필요한 건 해당 산업에 대한 지식과 툴의 활용 능력이니까요. 그나마 지식이 있는 분야였으니 툴의 활용이 부족해도 어찌 어찌 버텼던 것 같습니다.
지금 당장은 로봇과 함께 일을 한다고 해도, 그 로봇이 사람의 말을 온전히 이해할 기대는 하지 않는 게 좋을 겁니다. 결국 로봇이 알아먹을 수 있는 말을 할 수 있도록 공부를 해야지요. 네, 결국엔 공부를 해야 합니다.
독한녀석들에도 로봇이 있으면 좋겠습니다. 사실 후기를 사람이 한땀 한땀 쓰고 있는 게 은근히 불편합니다. 후기를 쓰는 게 싫다는 건 아닙니다. 어떤 순간의 자신의 언어로 돌아보는 건 어쨌든 의미 있으니까요.
하지만 후기는 토론의 순간을 담아내지 못합니다. 후기에는 대체로 자신들이 하고 싶은 이야기를 하기에 토론 그 자체를 담는 경우는 드뭅니다. 후기를 읽으면서 그런 때가 있었지 기억을 떠올릴 수야 있겠지만, 아무래도 불완전한 요소가 더 큽니다. 참석하지 않은 사람이 모임이 어땠을지 알아보는 건 불가능합니다.
누군가 서기를 전담으로 하면 기록이 남겠지만 그러면 부담이 커지니 결국 로봇이죠. 알아서 발언자 촬영도 좀 하고 편집도 하고 뭐 그런 거. 어떤 이야기가 주로 나왔는지 브리핑도 좀 해주고.
기왕이면 오마이걸 유아의 목소리로 들려주면 좋겠네요.
이종락
자동차의 본래 이름을 갖기 전 '말 없는 마차'로 불렸던 것 처럼 현재 로봇의 이름을 갖는 단어는 휴머노이드, 사이보그, 인공지능, 자율 행동 로봇 등으로 다양하지만 인간의 역할과 기능을 하는 존재를 만들고자함은 확실해 보인다.
마차가 자동차로 대체되는 시점에서 위험성, 자동차 도로나 주유시설과 같은 인프라, 마차꾼들의 생계 등 필요했던 논의들이 있었다면 이제 로봇이 사람으로 대체되며 필요한 사항들에 대해 논의가 이루어지는 과정 중에 있는 것 같다.
다양한 사람들이 이루는 사회 속에서 작은 의견조차도 합의하는데 쉽지 않은데, 우리가 신적인 존재가 되어서 로봇이라는 인간과 닮은 피조물을 만드는데 있어 끝없는 논쟁이 계속되고 여러 잡음들이 발생하는 것은 필연적으로 보인다.
인간에게서도 기대하기 힘든 높은 윤리적 기준과 원리 원칙(가령 우리도 융통성이라는 이름으로 포장한 예외 조항들)들이 요구되다보니 끝이 보이지 않는 길을 걷고 있는 듯하다라고 느껴졌고, 이 부분은 참 정치와 같다고 생각이 들었다.
여기까지 생각이 닿자, 로봇을 만드는데 세우는 기준들에 대해서 개개인이 눈을 크게 뜨고 옳지 않은 방향에 대해서는 손을 들고 입을 열어야 할 권리와 책임이 있어 보인다.
일부 공학자와 회사 정책을 만드는 소수 인원의 판단만으로 결정되서는 안된다. (책에서 언급한대로 우리의 생활과 직접적으로 연결되어 있기 때문이라는 내용과 같은 맥락이기도 하다.)
이 책을 읽고 사람들과 다양한 주제로 이야기를 나누며 나도 알지 못한 사이, 로봇에 대한 바뀌어있는 나의 인식이 재미있었다.
어떤 종류의 존재가 본인이 생각하는 로봇중에 가장 가깝냐는 질문에 1초만에 나온 답변은 공항의 안내 로봇이었다.
모터 돌아가는 소리가 나는 물리적인 형태를 띄는 기계 그리고 나아가 인간의 형태를 닮은 기기장치를 먼저 떠올린 셈이라고 생각했는데,
단순한 업무이긴해도 사람 대신에 내가 믿고 의지했기 때문이었다.
개인적으로는 사람처럼까지는 아니더라도 주체적으로 움직이는 (실제로는 명령을 받고 있더라도) 존재에 대해서 로봇이라고 생각한다.
알파고가 이세돌 9단과의 대국 이후, SNS에서 알파고에 대해 He, She로 언급된 횟수가 크게 증가한 것으로 보면, 사람들도 비슷하게 받아들이고 있지 않을까.
그리고 알파고는 단순히 시스템, 프로그램에 불과하지만 관련 홈페이지에는 휴머노이드와 같은 형태의 이미지를 띄워놓은 것에 사람들이 거부감없이 받아들였단 것은 무의식중에 그만큼 사람과 닮은 존재라고 생각해서였을지도.
단순하게는 일자리를 타의에 의해서 빼앗기지 않으려면 나는 지금 로봇이랑 어떤 의미에서 다르고 더 나은 점은 무엇인지 조금 진지하게 고민해본 시간이었고,
로봇에 대한 공부를 하다가 자연스레 인간의 고유성이나 나의 정체성에 대해 깊이 탐구할 수 있었던 유익한 시간을 가질 수 있었네요. 감사합니다.
배송이
저는 '문송합니다'의 대표주자입니다. 대학에 와서는 이런 저런 교양을 들으며 나름대로 간학문적 소양을 쌓으려 애쓰고있지만... 여전히 기술관련 분야는 문외한이네요. 그래서 일부로 '로봇수업' 책에 투표한 것도 있습니다. 새로운 인식의 지평을 열고싶었거든요.
사실 책이 나를 읽는건지 내가 책을 읽는건지 애매할 때가 종종 있었지만 그래도 완독하고나니 꽤나 뿌듯하더군요! 발제자님이 장문의 글로 책 선정에 대해 사과하셨지만, 충분히 이야기할 거리가 많으면서도 평소엔 절대 안 읽어볼(...) 책이기 때문에 전 책 선정에 매우 만족합니다.
모임 당일에도 이야기했지만 이번 토론은 로봇도 로봇이지만 '인간'에 대한 논의가 많이 오고 간 것 같습니다. 로봇과 인간의 경계는 무엇이며, 인간적이라는 건 어떤 것일까요? 특히 토론 도중에 누군가 '인간이 완전하지 않기때문에 그런 인간이 만드는 로봇 또한 완전하지 않다' 라고 말씀하신게 계속 기억에 남네요. 로봇이 완벽하다고 생각하는 로봇신화는 어쩌면 인간이 완벽하다는 오만에서부터 나온걸 수도 있겠어요.
책 구절 중에 로봇에 관한 논의는 관련 전문가들 뿐만 아니라 인문학자 등 로봇과 관련 없어보이는 사람들도 참여해야한다는 구절이 있어요. 로봇이 만들어지는건 공학분야겠지만 어쨌든 로봇이 쓰이는 건 우리가 함께 살아가고 있는 사회니까요. 또한, 로봇이나 사람 등 단일 개체로만 구성된 팀 보다 로봇과 사람으로 구성된 팀이 더욱 좋은 성과를 거두었다는 연구 결과는 결국 상생의 중요성을 언급하는 것 같아요. 로봇이든 사람이든 말이죠.
모임 다음날이 이사날이라 뒷풀이에 참여 못해 너무 아쉽지만(제가 회를 완전 좋아하거든요ㅠ) 역시 오고간 말들이 유의미했습니다. 토요일에 있었던 모임이 로봇수업의 갈무리를 멋있게 장식한게 아닐까 합니다. 아무래도 글만 읽는 수업보다는 함께 이야기하는 수업이 더욱 기억에 남으니까요 :)
조동진
사실 과학 관련 책은 우리 독토에서 어려운 귀한(?)책이라고 할 수 있다
다소 생소한 내용에 번역의 문제가 아쉬움이 있었지만 발제문에서 로봇 애기지만 결국은 인간에 대한 많은 이야기들이 나와서 좋았다.
토론을 하면서 아이러니하게도 개인적으로 든 생각은 우리가 애기하고 걱정하는 이런 상황에 마주하려면 자율주행차 정도를 제외하고 꽤 오랜시간이 지나야 될 것 같다는 생각도 한다
번외로 발제문의 로봇의 지적생명체로의 인정에대해 든 생각이 있다 로봇의 어원을 살펴보니 체코말로 일하다는 뜻인데 즉 로봇은 스스로 일하는 존재이다. 이럴경우
로봇이 의도를 가지고 놀 수있고 놀고 싶다고 욕망할경우
지적생명체로 볼 여지가 있지 않는가 생각해봤다 그리고 나는 진정한 지적생명체이고,,,
배병준
"휴머노이드 로봇인 피노(PINO)는 상징적으로 인간의 욕망뿐만 아니라 나약함을 표현한다. 인간은 이러한 로봇을 통해서 성장을 향한 불확실한 발걸음을 내디디며, 인간의 진정한 의미로 한걸음 더 다가가게 된다." P.54
먼저 책의 첫 접근법은 좋았다. 대부분의 보통명사가 기존의 것과 다르거나 부재한 것에서 비롯되는데 반해 ‘로봇’은 문학적 상상력으로 잉태되어 기술이 이를 카피하고 있다는 시각은 충분히 독창적이다. 또한 그로인해 기술의 발전이 일정 정도에 이르렀음에도 불구하고 명확한 정의나, 규율, 정책도 없는 두루뭉술한 상태가 되어 버렸다는 현실 인식 또한 감탄할만 하다. 문제가 되었던 번역의 오류는 보는 내내 오히려 원문으로 읽어보고 싶다는 의욕을 불러일으켰다.
발제문 역시 작가의 접근법에 맞게 충실하게 잘 짜여졌다고 본다. 많은 부분 로봇과 인간을 비교했지만, 오히려 나로 하여금 ‘인간다움이란 무엇인가?’에 대한 철학적 고민을 하게 했다. 먼 훗날 로봇이 상업화를 넘어 일상화된 시대에 이번 토론을 되돌아 본다면 어떤 기분이 들지 묘한 기대감도 들었다.
토론 때도 언급한 적이 있지만, 로봇과 인간을 구분 짓는 것은 ‘자립성’이라고 본다. 만약 로봇이 인간의 지시를 거부하고 본인들의 삶을 살거나 단체를 구성한다면 그들은 이미 로봇을 넘어섰다는 것이 나의 의견이다. 다른 의미에서는, 로봇으로 살지 않기 위해 우리는 적당히 미친 짓을 하기도 하고, 꿈틀대기도 하며, 무엇보다 본인의 의사를 명확히 하며 살아야 하겠다. 정답이 없는 불확실한 미래를 향해 맞든 틀리든 자신감있게 발을 내딛을 수 있느냐가 결국 우리를 갈라놓을 것이다.
김미정
로봇은 전지전능한 존재일까. 로봇을 정의하기 나름인 것 같다. 정의에 따라서 논의가 사방으로 흩어질수 있다는 것을 이제까지의 독토에서 경험하였다. 이 책은 이러한 위험성을 너무 잘 알고 있다는 양 로봇에 대한 정의로 시작하였다. 사실 로봇이 어떤 것인지 각자가 정의가 다른데, 로봇이 전지전능하고인간을 대체할 수 있는지에 대한논의가 잘 흘러갈 수 없다. 우리는더 심오해보이는 문제를 논하려 하면서도 가장 근본적인 중심소재가도대체 무엇인지를 잊고 있었다.
발제자가 말했듯 로봇은 결국 사람에 대한 이야기라면, 우리는 미래를 논하기 전에 로봇을 잘 정의해야 한다. 로봇이 나쁘다, 착하다 혹은 인간의 일자리를 대체할 것이다, 더 발전시킬 것이다 라는 등의이세계의 논의는 지금은 너무나 복잡하다.
책, 토론이 끝났다고 해서 사실 정의가 완벽히 내려진 것은 아니다.적어도 정의가 내려졌다고 한다고해도, 논의는 그 때부터 시작이다.
그래도 책을 읽고 한 가지 명확하게 정리된 것은 로봇이 현 세계에서 인간에 더 나은 존재로 발전하기 위해서는 로봇을 연구하고, 개발하는 초기 단계에서부터 ‘더 나은 로봇’이 아니라 ‘어떠한 목적을수행하기 위해 더 나은 로봇’을 개발하는 것이라는 생각이 든다. 목적이 없는 무색무취의 기술은 결국기술 발전을 위한 기술 발전이지,인간을 위한 발전이 될 수 없기 때문이다.
전세진
알파고가 연일 뉴스를 장식했을 때, 인간이 로봇의 노예가 되는 세상이 곧 도래할 것처럼 떠들어댔던 것을 기억합니다. 저로 말하자면 솔직히 나쁘지 않을 것도 같은데? 라고 생각했던 것 같습니다. 아무리 안정적이고 평화로운 사회라도 범죄가 있고 악이 존재하는 불완전한 세상에서, 완전무결한 합리성에 기반을 둔 힘이 존재하면 세상이 더 좋은 곳이 되지 않을까 하고요.
우리는 로봇 시대에 대한 환상과 공포를 가진 만큼 인간을 미신적으로 맹신한다는 생각이 들었습니다. 자율주행차가 운전하는 게 불안하다면 인간인 택시기사의 운전은 믿을 수 있나요? 솔직히 도로에 있는 불특정다수의 인간들 가운데 어떤 제정신 아닌 인간이 섞여있을지 모를 위험보다 자율 주행 자동차의 오작동 가능성이 훨씬 적다고 생각합니다. 의료용 로봇이 집도하는 수술을 믿을 수 없다면 인간인 의사가 행하는 의료행위는 안전한가요? 오히려 보이지 않는 수많은 의료사고를 생각하면 정밀한 수술을 로봇의 손에 넘기는 것도 나쁘지 않다고 생각합니다. 그럼에도 우리는 왜 그렇게 인간을 신뢰할까요? 인간의 인식, 판단, 행동 그 어느 것도 완전한 것은 없습니다. 데카르트가 말했던 것처럼 그저 의심하고 생각하는 인간이 ‘존재’할 뿐, 그것이 대단한 의미가 있는 것은 아닙니다. 소위 ‘인간성’은 뭐 그렇게 대단한가요. 불완전한 인간이 창조주와 같은 완전무결함을 동경하며 스스로를 특별한 존재로 규정하고 싶어 하는 욕망이 저런 미신적인 사고를 낳은 것뿐입니다.
그럼에도 불구하고 ‘인간’을 사랑하고 애정하고 신뢰합니다. 제가 <아이, 로봇>을 열 번 넘게 본 이유를 생각해보니 딱 저 지점이더라고요. 로봇 3원칙을 통해 ‘불완전한 인간은 자기파괴적인 행동을 하기에 로봇의 보호를 받아야하며 때로는 통제되고 개체수를 조절해야한다’는 결론을 내린 비키(VIKI)의 목소리는 오싹하지만 선뜻 반박하기 쉽지 않습니다. 그럼에도 불구하고 ‘그건 너무 비인간적이잖아’라고 옹호하는 써니(sonny)의 말과 인간의 감정을 이해하고 공유하는 행동들이 좋았습니다. 말이 통하지 않는다고 생각했던 존재들과도 노력해서 관계를 맺고 감정을 공유할 수 있는 열린 가능성, 이 인간 존재의 의미라고 생각합니다. 비록 불완전하고 엉망진창일지라도 인간들 사이에서 느껴지는 감정과 사회적 관계의 세상이 익숙하고 인간적이고 좋습니다. 그런 인간에 대한 얘기를 로봇을 통해서 할 수 있었던 시간이었던 것 같습니다. 합리와 윤리는 별개의 문제라는 화두를 생각하면서, 더 따뜻하고 사람 냄새 나는 사람이 되어야겠다는 생각을 해봅니다.
조영진
어릴 때 로봇이 너무나 멋있어서 로봇을 ‘만드는’ 사람이 되고 싶었다.
‘만든다’라는 것을 로봇의 머리, 몸, 관절, 부스터를 뚝닥뚝닥 한다고만 생각했다. 한마디로 눈에 보이는 것, 뽀대(?)나는 것을 만들고 싶었던 것 같다. 하지만 ‘뽀대(?)’나는 골격만 만들어선 그냥 동상이라는 것을 깨달았는데, 상상한 것처럼 ‘살아있는’ 로봇이 되려면 소프트웨어가 더 중요하다는 것을 알고는 로봇에 대한 흥미가 반감되었더랬다. 소프트웨어는 전혀 다른 분야라 소프트웨어에 로봇만큼 흥미를 가지기 너무 귀찮았던 것 같다.
지금은 그저 간간히 로봇 관련 뉴스기사의 스크롤을 내리는 정도로 만족한다.
로봇은 만드는 것 보다 구매해서 즐기는 게 좋을 것 같다.
김은선
4차산업혁명 시대에 살고 있다지만, 나는 여전히 이 변화의 속도를 현실에서는 많이 체감하지 못하고 있다. 그냥 새로운 핸드폰이나 디스플레이 기술을 볼 때, 혹은 어디서 무슨 로봇을 만들었다더라, AI가 어떠하다더라는 짤막한 기사를 볼때나 ‘아 기술이 발전하는구나’의 정도만 알고 있는 기술맹이라고 표현해도 좋을 것 같다.
그래도 기술의 흐름이 어떻게 흘러가는지에 대해 알아 두면 좋겠다는 생각으로 가벼운 마음으로 책을 읽었는데, 전체적인 흥미의 측면에서 작가가 끌고가는 로봇의 세계는 무질서하면서도 질서 있는 그런 세계였던 느낌이 컸다. 정말 로봇세계에 발을 들여놓으려는 학생들에게 가볍게 맛보기 해주는 교수님의 강의 같았다. 그 중 전체적으로 기억에 남는 부분은 로봇의 발전이 다른 타 산업들과는 다르게 대중문화 속에서 먼저 발현이 된 후 기술 개발이 진행되었다는 점이었다. 이런 로봇의 역사적 한계로 인해 이 책이 끌고가는 진행 또한 앞부분의 절반이 작품을 나열하거나 작가들의 로봇 세계관에 대한 설명을 주로 이루었던 점이 조금 아쉬웠기도 했다. (그렇지만 전체적으로는 여전히 흥미롭고, 유익했다고 하고 싶다.)
이 책을 읽고나서 가장 많이 드는 생각은, 로봇의 경계를 도대체 어디까지로 보아야 할까라는 의문이었다. 생각해보면 학교에서 현장 체험으로 제조업 회사들의 공장을 방문하며 생산 현장을 보았을 때 그곳에는 넓은 범주에 해당하는 로봇이 많이 있었다. 우리는 이 기계들이 사람의 형상으로 움직였더라면, 그 생산공장의 기계들 모두 태초부터 로봇이라고 칭하였을까? 저자는 로봇의 정의를 여러 측면에서 쉽사리 정하지 못했던 것 같아, 읽는 나로서도 무엇이 로봇인지 다 읽고 나서도 혼동스러웠다. 이런 로봇이 무엇이다고 정의하는 것은 현재의 기술발전으로 가져올 미래가 어떻게 변화할 지에 대해 예측하는 것과 같기에, 저자 또한 다양한 측면을 보여주기만 했던게 아닌가 싶기도 하다.
알파고와 이세돌이 놓던 바둑돌을 보며 16년의 우리는 로봇, 및 AI가 우리의 직업을 가져갈 것에 큰 두려움을 떨었다. 하지만 의외로 로봇이 발전한다고 해서 우리의 미래가 그렇게 흑빛 미래까지는 아니다는 부분이 조금 마음이 놓이기도 했다. 10년이면 강산도 변한다는 말처럼 세대의 발전, 변화를 위한 역동성은 살아 있는 존재에게는 죽음만큼 당연한 의무같은 것이 아닐까 생각이 들었다. 다만 저자의 미래 예측에서 다소 아쉬운 부분은 거시적으로 봤을 때 당연한 측면을 너무 당연하게 서술하고 있어서(예를 들어 일본의 고령화가 여러가지의 로봇도입을 가져온 것임에 반해, 로봇의 도입이 일본의 실업률을 낮추지 않았다 라는 해석) 이런 통찰은 저자의 통찰이 좀 더 필요한 부분이 아닐지 아쉬웠다.
하지만, 현재 로봇의 개발이 어디까지 왔고 어디까지가 한계인지를 보고 나니 사람은 아주 자연스럽게 하고 있는 여러 행동들, 기능들 혹은 자연에서 볼 수 있는 여러 모습을 로봇으로 똑같이 구현하는 것이 상당히 어렵고 아직도 해결하지 못한 부분이 많다는 것을 보고, 역설적이지만 ‘사람’이라는 존재가 얼마나 대단한 건 지(우리의 몸은 모든 것을 유기적으로, 무의식적으로 잘 하지 않던가..!) 알고 나니 우리가 늘 당연하다고 생각했던 것에 대한 감사함을 다시금 느끼게 되었다.
오늘부터는 로봇혁명에 맞춰 짤리지 않고 유능한 근로자가 되기 위해 무엇을 공부해야 할지 조금 고민해보아야겠다. . .
박종찬
1.
로봇은 독특한 감정을 불러 일으키는 소재입니다. 항상 소설이나 영화 속의 캐릭터로 만나서 그런 건지도 모르겠습니다. 그래서 그런지 로봇에 대한 이야기를 하면 항상 조금은 말랑말랑한 감정이 듭니다.
이번 토론을 준비하는 데 많은 도움이 됐어요. 일하는 느낌이라기보다는 로봇에 대한 단편소설 한 편을 쓰는 느낌이었어요.
2.
세탁기는 빨래 로봇이었습니다. ‘알아서’ 불리고, ‘알아서’ 세제도 넣고, 거품도 내고, 헹구고, 물도 뺍니다. 이 로봇의 등장은 사회 곳곳에 변화를 일으켰습니다. 적어도 꽤 많은 사람들의 허리 관절을 지키는 데 도움이 됐을 것이고, 그만큼이 삶의 질 향상으로 이어졌을 거에요.
청소기가 이제 알아서 뭘 막 쓸어담고 있습니다. 우리는 그 시간에 로봇 수업을 읽을 수도 있고 자율 주행 자동차를 개발할 수도 있겠죠.
그게 언젠가는 졸음운전이나 음주운전으로 도로에서 목숨을 잃거나 다치는 사람들이 더는 생기지 않는 결과로 이어질 수도 있겠습니다.
3.
하지만 이건 자율 주행 자동차가 사고를 줄이는 데 도움이 될 때의 이야깁니다. 요컨데 ‘믿을 수 있느냐’는 겁니다. 세탁기와 로봇 청소기도 자동차보단 덜하더라도 시간이 좀 걸렸죠.
로봇의 신뢰성에 대해 이야기할 때 우리는 은연중에 ‘인간에 비해서’ 라는 전제를 달고 생각합니다. “자율 주행 자동차를 신뢰할 수 있는가.” 라는 말은 “사람이 운전하는 차에 비해서 자율 주행 자동차를 신뢰할 수 있는가.” 하는 말과 비슷하게 받아들여지니까요.
하지만 우리가 인간 운전를 신뢰하나요? 그렇다기 보다는 면허 시스템과 교통법규를 신뢰하는 것에 가깝지 않을까요. 자율 주행 자동차에게도 이런 장치들이 필요합니다. 그러려면 모두의 관심이 필요하죠.
4.
...라고 폼잡고 써 봤지만, 사실 그냥 재미있는 소재 같아요. 판타지로 출발한 소재가 현실화되는 것만큼 재밌는 게 어디 있을까요.
5.
노이즈를 소음으로 번역한 걸 봤을 때 눈앞이 깜깜했어요. 그런데도 모두가 열심히 읽어주신 것에 더해 열정적으로 참여해 주시기까지 했어요. 덕분에 좋아하는 로봇 얘기 실컷 하고 좋아하는 회 실컷 먹고, 좋은 주말을 보낸 것 같아요. 행복했습니다. 감사해요.
다음 토론날 봐요!
<로봇 수업>에서는 반인반마처럼 사람과 로봇이 함께 협력해서 일하는 켄타우로스라는 개념이 가장 인상적이었습니다.
저는 비교적 켄타우로스에 가깝게 일하는 편이라고 생각합니다. 전 회사에서도 지금 회사에서도 A.I까지는 아니지만 데이터를 활용해서 일을 합니다. 데이터야 웹에 많이 있으니까요. 제가 원하는 데이터를 알아서 수집해주면 로봇하고 일한다고 할 수 있을텐데… 지금은 제가 찾아서 정리해야 하니… 그래도 온전히 제가 가지고 있는 지식에만 의존해서 일을 하지는 않습니다.
그럴 수 있는 건 지금까지 일해왔던 분야를 비교적 잘 아는 편이라 그럴 겁니다. 책이랑 음악이니까요. 다른 분야였다면 지금보다 훨씬 더 헤맸을 겁니다. 기계와 일을 할 때 필요한 건 해당 산업에 대한 지식과 툴의 활용 능력이니까요. 그나마 지식이 있는 분야였으니 툴의 활용이 부족해도 어찌 어찌 버텼던 것 같습니다.
지금 당장은 로봇과 함께 일을 한다고 해도, 그 로봇이 사람의 말을 온전히 이해할 기대는 하지 않는 게 좋을 겁니다. 결국 로봇이 알아먹을 수 있는 말을 할 수 있도록 공부를 해야지요. 네, 결국엔 공부를 해야 합니다.
독한녀석들에도 로봇이 있으면 좋겠습니다. 사실 후기를 사람이 한땀 한땀 쓰고 있는 게 은근히 불편합니다. 후기를 쓰는 게 싫다는 건 아닙니다. 어떤 순간의 자신의 언어로 돌아보는 건 어쨌든 의미 있으니까요.
하지만 후기는 토론의 순간을 담아내지 못합니다. 후기에는 대체로 자신들이 하고 싶은 이야기를 하기에 토론 그 자체를 담는 경우는 드뭅니다. 후기를 읽으면서 그런 때가 있었지 기억을 떠올릴 수야 있겠지만, 아무래도 불완전한 요소가 더 큽니다. 참석하지 않은 사람이 모임이 어땠을지 알아보는 건 불가능합니다.
누군가 서기를 전담으로 하면 기록이 남겠지만 그러면 부담이 커지니 결국 로봇이죠. 알아서 발언자 촬영도 좀 하고 편집도 하고 뭐 그런 거. 어떤 이야기가 주로 나왔는지 브리핑도 좀 해주고.
기왕이면 오마이걸 유아의 목소리로 들려주면 좋겠네요.
이종락
자동차의 본래 이름을 갖기 전 '말 없는 마차'로 불렸던 것 처럼 현재 로봇의 이름을 갖는 단어는 휴머노이드, 사이보그, 인공지능, 자율 행동 로봇 등으로 다양하지만 인간의 역할과 기능을 하는 존재를 만들고자함은 확실해 보인다.
마차가 자동차로 대체되는 시점에서 위험성, 자동차 도로나 주유시설과 같은 인프라, 마차꾼들의 생계 등 필요했던 논의들이 있었다면 이제 로봇이 사람으로 대체되며 필요한 사항들에 대해 논의가 이루어지는 과정 중에 있는 것 같다.
다양한 사람들이 이루는 사회 속에서 작은 의견조차도 합의하는데 쉽지 않은데, 우리가 신적인 존재가 되어서 로봇이라는 인간과 닮은 피조물을 만드는데 있어 끝없는 논쟁이 계속되고 여러 잡음들이 발생하는 것은 필연적으로 보인다.
인간에게서도 기대하기 힘든 높은 윤리적 기준과 원리 원칙(가령 우리도 융통성이라는 이름으로 포장한 예외 조항들)들이 요구되다보니 끝이 보이지 않는 길을 걷고 있는 듯하다라고 느껴졌고, 이 부분은 참 정치와 같다고 생각이 들었다.
여기까지 생각이 닿자, 로봇을 만드는데 세우는 기준들에 대해서 개개인이 눈을 크게 뜨고 옳지 않은 방향에 대해서는 손을 들고 입을 열어야 할 권리와 책임이 있어 보인다.
일부 공학자와 회사 정책을 만드는 소수 인원의 판단만으로 결정되서는 안된다. (책에서 언급한대로 우리의 생활과 직접적으로 연결되어 있기 때문이라는 내용과 같은 맥락이기도 하다.)
이 책을 읽고 사람들과 다양한 주제로 이야기를 나누며 나도 알지 못한 사이, 로봇에 대한 바뀌어있는 나의 인식이 재미있었다.
어떤 종류의 존재가 본인이 생각하는 로봇중에 가장 가깝냐는 질문에 1초만에 나온 답변은 공항의 안내 로봇이었다.
모터 돌아가는 소리가 나는 물리적인 형태를 띄는 기계 그리고 나아가 인간의 형태를 닮은 기기장치를 먼저 떠올린 셈이라고 생각했는데,
단순한 업무이긴해도 사람 대신에 내가 믿고 의지했기 때문이었다.
개인적으로는 사람처럼까지는 아니더라도 주체적으로 움직이는 (실제로는 명령을 받고 있더라도) 존재에 대해서 로봇이라고 생각한다.
알파고가 이세돌 9단과의 대국 이후, SNS에서 알파고에 대해 He, She로 언급된 횟수가 크게 증가한 것으로 보면, 사람들도 비슷하게 받아들이고 있지 않을까.
그리고 알파고는 단순히 시스템, 프로그램에 불과하지만 관련 홈페이지에는 휴머노이드와 같은 형태의 이미지를 띄워놓은 것에 사람들이 거부감없이 받아들였단 것은 무의식중에 그만큼 사람과 닮은 존재라고 생각해서였을지도.
단순하게는 일자리를 타의에 의해서 빼앗기지 않으려면 나는 지금 로봇이랑 어떤 의미에서 다르고 더 나은 점은 무엇인지 조금 진지하게 고민해본 시간이었고,
로봇에 대한 공부를 하다가 자연스레 인간의 고유성이나 나의 정체성에 대해 깊이 탐구할 수 있었던 유익한 시간을 가질 수 있었네요. 감사합니다.
배송이
저는 '문송합니다'의 대표주자입니다. 대학에 와서는 이런 저런 교양을 들으며 나름대로 간학문적 소양을 쌓으려 애쓰고있지만... 여전히 기술관련 분야는 문외한이네요. 그래서 일부로 '로봇수업' 책에 투표한 것도 있습니다. 새로운 인식의 지평을 열고싶었거든요.
사실 책이 나를 읽는건지 내가 책을 읽는건지 애매할 때가 종종 있었지만 그래도 완독하고나니 꽤나 뿌듯하더군요! 발제자님이 장문의 글로 책 선정에 대해 사과하셨지만, 충분히 이야기할 거리가 많으면서도 평소엔 절대 안 읽어볼(...) 책이기 때문에 전 책 선정에 매우 만족합니다.
모임 당일에도 이야기했지만 이번 토론은 로봇도 로봇이지만 '인간'에 대한 논의가 많이 오고 간 것 같습니다. 로봇과 인간의 경계는 무엇이며, 인간적이라는 건 어떤 것일까요? 특히 토론 도중에 누군가 '인간이 완전하지 않기때문에 그런 인간이 만드는 로봇 또한 완전하지 않다' 라고 말씀하신게 계속 기억에 남네요. 로봇이 완벽하다고 생각하는 로봇신화는 어쩌면 인간이 완벽하다는 오만에서부터 나온걸 수도 있겠어요.
책 구절 중에 로봇에 관한 논의는 관련 전문가들 뿐만 아니라 인문학자 등 로봇과 관련 없어보이는 사람들도 참여해야한다는 구절이 있어요. 로봇이 만들어지는건 공학분야겠지만 어쨌든 로봇이 쓰이는 건 우리가 함께 살아가고 있는 사회니까요. 또한, 로봇이나 사람 등 단일 개체로만 구성된 팀 보다 로봇과 사람으로 구성된 팀이 더욱 좋은 성과를 거두었다는 연구 결과는 결국 상생의 중요성을 언급하는 것 같아요. 로봇이든 사람이든 말이죠.
모임 다음날이 이사날이라 뒷풀이에 참여 못해 너무 아쉽지만(제가 회를 완전 좋아하거든요ㅠ) 역시 오고간 말들이 유의미했습니다. 토요일에 있었던 모임이 로봇수업의 갈무리를 멋있게 장식한게 아닐까 합니다. 아무래도 글만 읽는 수업보다는 함께 이야기하는 수업이 더욱 기억에 남으니까요 :)
조동진
사실 과학 관련 책은 우리 독토에서 어려운 귀한(?)책이라고 할 수 있다
다소 생소한 내용에 번역의 문제가 아쉬움이 있었지만 발제문에서 로봇 애기지만 결국은 인간에 대한 많은 이야기들이 나와서 좋았다.
토론을 하면서 아이러니하게도 개인적으로 든 생각은 우리가 애기하고 걱정하는 이런 상황에 마주하려면 자율주행차 정도를 제외하고 꽤 오랜시간이 지나야 될 것 같다는 생각도 한다
번외로 발제문의 로봇의 지적생명체로의 인정에대해 든 생각이 있다 로봇의 어원을 살펴보니 체코말로 일하다는 뜻인데 즉 로봇은 스스로 일하는 존재이다. 이럴경우
로봇이 의도를 가지고 놀 수있고 놀고 싶다고 욕망할경우
지적생명체로 볼 여지가 있지 않는가 생각해봤다 그리고 나는 진정한 지적생명체이고,,,
배병준
"휴머노이드 로봇인 피노(PINO)는 상징적으로 인간의 욕망뿐만 아니라 나약함을 표현한다. 인간은 이러한 로봇을 통해서 성장을 향한 불확실한 발걸음을 내디디며, 인간의 진정한 의미로 한걸음 더 다가가게 된다." P.54
먼저 책의 첫 접근법은 좋았다. 대부분의 보통명사가 기존의 것과 다르거나 부재한 것에서 비롯되는데 반해 ‘로봇’은 문학적 상상력으로 잉태되어 기술이 이를 카피하고 있다는 시각은 충분히 독창적이다. 또한 그로인해 기술의 발전이 일정 정도에 이르렀음에도 불구하고 명확한 정의나, 규율, 정책도 없는 두루뭉술한 상태가 되어 버렸다는 현실 인식 또한 감탄할만 하다. 문제가 되었던 번역의 오류는 보는 내내 오히려 원문으로 읽어보고 싶다는 의욕을 불러일으켰다.
발제문 역시 작가의 접근법에 맞게 충실하게 잘 짜여졌다고 본다. 많은 부분 로봇과 인간을 비교했지만, 오히려 나로 하여금 ‘인간다움이란 무엇인가?’에 대한 철학적 고민을 하게 했다. 먼 훗날 로봇이 상업화를 넘어 일상화된 시대에 이번 토론을 되돌아 본다면 어떤 기분이 들지 묘한 기대감도 들었다.
토론 때도 언급한 적이 있지만, 로봇과 인간을 구분 짓는 것은 ‘자립성’이라고 본다. 만약 로봇이 인간의 지시를 거부하고 본인들의 삶을 살거나 단체를 구성한다면 그들은 이미 로봇을 넘어섰다는 것이 나의 의견이다. 다른 의미에서는, 로봇으로 살지 않기 위해 우리는 적당히 미친 짓을 하기도 하고, 꿈틀대기도 하며, 무엇보다 본인의 의사를 명확히 하며 살아야 하겠다. 정답이 없는 불확실한 미래를 향해 맞든 틀리든 자신감있게 발을 내딛을 수 있느냐가 결국 우리를 갈라놓을 것이다.
김미정
로봇은 전지전능한 존재일까. 로봇을 정의하기 나름인 것 같다. 정의에 따라서 논의가 사방으로 흩어질수 있다는 것을 이제까지의 독토에서 경험하였다. 이 책은 이러한 위험성을 너무 잘 알고 있다는 양 로봇에 대한 정의로 시작하였다. 사실 로봇이 어떤 것인지 각자가 정의가 다른데, 로봇이 전지전능하고인간을 대체할 수 있는지에 대한논의가 잘 흘러갈 수 없다. 우리는더 심오해보이는 문제를 논하려 하면서도 가장 근본적인 중심소재가도대체 무엇인지를 잊고 있었다.
발제자가 말했듯 로봇은 결국 사람에 대한 이야기라면, 우리는 미래를 논하기 전에 로봇을 잘 정의해야 한다. 로봇이 나쁘다, 착하다 혹은 인간의 일자리를 대체할 것이다, 더 발전시킬 것이다 라는 등의이세계의 논의는 지금은 너무나 복잡하다.
책, 토론이 끝났다고 해서 사실 정의가 완벽히 내려진 것은 아니다.적어도 정의가 내려졌다고 한다고해도, 논의는 그 때부터 시작이다.
그래도 책을 읽고 한 가지 명확하게 정리된 것은 로봇이 현 세계에서 인간에 더 나은 존재로 발전하기 위해서는 로봇을 연구하고, 개발하는 초기 단계에서부터 ‘더 나은 로봇’이 아니라 ‘어떠한 목적을수행하기 위해 더 나은 로봇’을 개발하는 것이라는 생각이 든다. 목적이 없는 무색무취의 기술은 결국기술 발전을 위한 기술 발전이지,인간을 위한 발전이 될 수 없기 때문이다.
전세진
알파고가 연일 뉴스를 장식했을 때, 인간이 로봇의 노예가 되는 세상이 곧 도래할 것처럼 떠들어댔던 것을 기억합니다. 저로 말하자면 솔직히 나쁘지 않을 것도 같은데? 라고 생각했던 것 같습니다. 아무리 안정적이고 평화로운 사회라도 범죄가 있고 악이 존재하는 불완전한 세상에서, 완전무결한 합리성에 기반을 둔 힘이 존재하면 세상이 더 좋은 곳이 되지 않을까 하고요.
우리는 로봇 시대에 대한 환상과 공포를 가진 만큼 인간을 미신적으로 맹신한다는 생각이 들었습니다. 자율주행차가 운전하는 게 불안하다면 인간인 택시기사의 운전은 믿을 수 있나요? 솔직히 도로에 있는 불특정다수의 인간들 가운데 어떤 제정신 아닌 인간이 섞여있을지 모를 위험보다 자율 주행 자동차의 오작동 가능성이 훨씬 적다고 생각합니다. 의료용 로봇이 집도하는 수술을 믿을 수 없다면 인간인 의사가 행하는 의료행위는 안전한가요? 오히려 보이지 않는 수많은 의료사고를 생각하면 정밀한 수술을 로봇의 손에 넘기는 것도 나쁘지 않다고 생각합니다. 그럼에도 우리는 왜 그렇게 인간을 신뢰할까요? 인간의 인식, 판단, 행동 그 어느 것도 완전한 것은 없습니다. 데카르트가 말했던 것처럼 그저 의심하고 생각하는 인간이 ‘존재’할 뿐, 그것이 대단한 의미가 있는 것은 아닙니다. 소위 ‘인간성’은 뭐 그렇게 대단한가요. 불완전한 인간이 창조주와 같은 완전무결함을 동경하며 스스로를 특별한 존재로 규정하고 싶어 하는 욕망이 저런 미신적인 사고를 낳은 것뿐입니다.
그럼에도 불구하고 ‘인간’을 사랑하고 애정하고 신뢰합니다. 제가 <아이, 로봇>을 열 번 넘게 본 이유를 생각해보니 딱 저 지점이더라고요. 로봇 3원칙을 통해 ‘불완전한 인간은 자기파괴적인 행동을 하기에 로봇의 보호를 받아야하며 때로는 통제되고 개체수를 조절해야한다’는 결론을 내린 비키(VIKI)의 목소리는 오싹하지만 선뜻 반박하기 쉽지 않습니다. 그럼에도 불구하고 ‘그건 너무 비인간적이잖아’라고 옹호하는 써니(sonny)의 말과 인간의 감정을 이해하고 공유하는 행동들이 좋았습니다. 말이 통하지 않는다고 생각했던 존재들과도 노력해서 관계를 맺고 감정을 공유할 수 있는 열린 가능성, 이 인간 존재의 의미라고 생각합니다. 비록 불완전하고 엉망진창일지라도 인간들 사이에서 느껴지는 감정과 사회적 관계의 세상이 익숙하고 인간적이고 좋습니다. 그런 인간에 대한 얘기를 로봇을 통해서 할 수 있었던 시간이었던 것 같습니다. 합리와 윤리는 별개의 문제라는 화두를 생각하면서, 더 따뜻하고 사람 냄새 나는 사람이 되어야겠다는 생각을 해봅니다.
조영진
어릴 때 로봇이 너무나 멋있어서 로봇을 ‘만드는’ 사람이 되고 싶었다.
‘만든다’라는 것을 로봇의 머리, 몸, 관절, 부스터를 뚝닥뚝닥 한다고만 생각했다. 한마디로 눈에 보이는 것, 뽀대(?)나는 것을 만들고 싶었던 것 같다. 하지만 ‘뽀대(?)’나는 골격만 만들어선 그냥 동상이라는 것을 깨달았는데, 상상한 것처럼 ‘살아있는’ 로봇이 되려면 소프트웨어가 더 중요하다는 것을 알고는 로봇에 대한 흥미가 반감되었더랬다. 소프트웨어는 전혀 다른 분야라 소프트웨어에 로봇만큼 흥미를 가지기 너무 귀찮았던 것 같다.
지금은 그저 간간히 로봇 관련 뉴스기사의 스크롤을 내리는 정도로 만족한다.
로봇은 만드는 것 보다 구매해서 즐기는 게 좋을 것 같다.
김은선
4차산업혁명 시대에 살고 있다지만, 나는 여전히 이 변화의 속도를 현실에서는 많이 체감하지 못하고 있다. 그냥 새로운 핸드폰이나 디스플레이 기술을 볼 때, 혹은 어디서 무슨 로봇을 만들었다더라, AI가 어떠하다더라는 짤막한 기사를 볼때나 ‘아 기술이 발전하는구나’의 정도만 알고 있는 기술맹이라고 표현해도 좋을 것 같다.
그래도 기술의 흐름이 어떻게 흘러가는지에 대해 알아 두면 좋겠다는 생각으로 가벼운 마음으로 책을 읽었는데, 전체적인 흥미의 측면에서 작가가 끌고가는 로봇의 세계는 무질서하면서도 질서 있는 그런 세계였던 느낌이 컸다. 정말 로봇세계에 발을 들여놓으려는 학생들에게 가볍게 맛보기 해주는 교수님의 강의 같았다. 그 중 전체적으로 기억에 남는 부분은 로봇의 발전이 다른 타 산업들과는 다르게 대중문화 속에서 먼저 발현이 된 후 기술 개발이 진행되었다는 점이었다. 이런 로봇의 역사적 한계로 인해 이 책이 끌고가는 진행 또한 앞부분의 절반이 작품을 나열하거나 작가들의 로봇 세계관에 대한 설명을 주로 이루었던 점이 조금 아쉬웠기도 했다. (그렇지만 전체적으로는 여전히 흥미롭고, 유익했다고 하고 싶다.)
이 책을 읽고나서 가장 많이 드는 생각은, 로봇의 경계를 도대체 어디까지로 보아야 할까라는 의문이었다. 생각해보면 학교에서 현장 체험으로 제조업 회사들의 공장을 방문하며 생산 현장을 보았을 때 그곳에는 넓은 범주에 해당하는 로봇이 많이 있었다. 우리는 이 기계들이 사람의 형상으로 움직였더라면, 그 생산공장의 기계들 모두 태초부터 로봇이라고 칭하였을까? 저자는 로봇의 정의를 여러 측면에서 쉽사리 정하지 못했던 것 같아, 읽는 나로서도 무엇이 로봇인지 다 읽고 나서도 혼동스러웠다. 이런 로봇이 무엇이다고 정의하는 것은 현재의 기술발전으로 가져올 미래가 어떻게 변화할 지에 대해 예측하는 것과 같기에, 저자 또한 다양한 측면을 보여주기만 했던게 아닌가 싶기도 하다.
알파고와 이세돌이 놓던 바둑돌을 보며 16년의 우리는 로봇, 및 AI가 우리의 직업을 가져갈 것에 큰 두려움을 떨었다. 하지만 의외로 로봇이 발전한다고 해서 우리의 미래가 그렇게 흑빛 미래까지는 아니다는 부분이 조금 마음이 놓이기도 했다. 10년이면 강산도 변한다는 말처럼 세대의 발전, 변화를 위한 역동성은 살아 있는 존재에게는 죽음만큼 당연한 의무같은 것이 아닐까 생각이 들었다. 다만 저자의 미래 예측에서 다소 아쉬운 부분은 거시적으로 봤을 때 당연한 측면을 너무 당연하게 서술하고 있어서(예를 들어 일본의 고령화가 여러가지의 로봇도입을 가져온 것임에 반해, 로봇의 도입이 일본의 실업률을 낮추지 않았다 라는 해석) 이런 통찰은 저자의 통찰이 좀 더 필요한 부분이 아닐지 아쉬웠다.
하지만, 현재 로봇의 개발이 어디까지 왔고 어디까지가 한계인지를 보고 나니 사람은 아주 자연스럽게 하고 있는 여러 행동들, 기능들 혹은 자연에서 볼 수 있는 여러 모습을 로봇으로 똑같이 구현하는 것이 상당히 어렵고 아직도 해결하지 못한 부분이 많다는 것을 보고, 역설적이지만 ‘사람’이라는 존재가 얼마나 대단한 건 지(우리의 몸은 모든 것을 유기적으로, 무의식적으로 잘 하지 않던가..!) 알고 나니 우리가 늘 당연하다고 생각했던 것에 대한 감사함을 다시금 느끼게 되었다.
오늘부터는 로봇혁명에 맞춰 짤리지 않고 유능한 근로자가 되기 위해 무엇을 공부해야 할지 조금 고민해보아야겠다. . .
박종찬
1.
로봇은 독특한 감정을 불러 일으키는 소재입니다. 항상 소설이나 영화 속의 캐릭터로 만나서 그런 건지도 모르겠습니다. 그래서 그런지 로봇에 대한 이야기를 하면 항상 조금은 말랑말랑한 감정이 듭니다.
이번 토론을 준비하는 데 많은 도움이 됐어요. 일하는 느낌이라기보다는 로봇에 대한 단편소설 한 편을 쓰는 느낌이었어요.
2.
세탁기는 빨래 로봇이었습니다. ‘알아서’ 불리고, ‘알아서’ 세제도 넣고, 거품도 내고, 헹구고, 물도 뺍니다. 이 로봇의 등장은 사회 곳곳에 변화를 일으켰습니다. 적어도 꽤 많은 사람들의 허리 관절을 지키는 데 도움이 됐을 것이고, 그만큼이 삶의 질 향상으로 이어졌을 거에요.
청소기가 이제 알아서 뭘 막 쓸어담고 있습니다. 우리는 그 시간에 로봇 수업을 읽을 수도 있고 자율 주행 자동차를 개발할 수도 있겠죠.
그게 언젠가는 졸음운전이나 음주운전으로 도로에서 목숨을 잃거나 다치는 사람들이 더는 생기지 않는 결과로 이어질 수도 있겠습니다.
3.
하지만 이건 자율 주행 자동차가 사고를 줄이는 데 도움이 될 때의 이야깁니다. 요컨데 ‘믿을 수 있느냐’는 겁니다. 세탁기와 로봇 청소기도 자동차보단 덜하더라도 시간이 좀 걸렸죠.
로봇의 신뢰성에 대해 이야기할 때 우리는 은연중에 ‘인간에 비해서’ 라는 전제를 달고 생각합니다. “자율 주행 자동차를 신뢰할 수 있는가.” 라는 말은 “사람이 운전하는 차에 비해서 자율 주행 자동차를 신뢰할 수 있는가.” 하는 말과 비슷하게 받아들여지니까요.
하지만 우리가 인간 운전를 신뢰하나요? 그렇다기 보다는 면허 시스템과 교통법규를 신뢰하는 것에 가깝지 않을까요. 자율 주행 자동차에게도 이런 장치들이 필요합니다. 그러려면 모두의 관심이 필요하죠.
4.
...라고 폼잡고 써 봤지만, 사실 그냥 재미있는 소재 같아요. 판타지로 출발한 소재가 현실화되는 것만큼 재밌는 게 어디 있을까요.
5.
노이즈를 소음으로 번역한 걸 봤을 때 눈앞이 깜깜했어요. 그런데도 모두가 열심히 읽어주신 것에 더해 열정적으로 참여해 주시기까지 했어요. 덕분에 좋아하는 로봇 얘기 실컷 하고 좋아하는 회 실컷 먹고, 좋은 주말을 보낸 것 같아요. 행복했습니다. 감사해요.
다음 토론날 봐요!
워드 클라우드
댓글
댓글 쓰기