Discover Top Posts Tagged with #snow app

below is a machine translation of the article into english. If you see any discrepancies lmk and I’ll fix it asap. Thanks everyone for your help and continued patience

Ten Million Downloads for the Photo App 'SODA'… Criticism Over AI Being Out of Control Subsidiary of Naver, Snow, Responds Mechanically to AI-Generated Inappropriate Content

Snow, a subsidiary of Naver and the creator of the camera application 'SODA', has come under fire for generating sexually inappropriate images using its AI editing function. The company has stated that it "cannot 100% control AI-generated content," sparking criticism from experts who argue that commercializing an uncontrollable AI service is irresponsible. SODA is a popular camera app with over 10 million downloads on the Google Play Store.

Ms. G, an office worker, complained in an online messenger conversation with Hankyoreh on the 9th, “I didn't expect to feel shame while using the app. It's so unpleasant and traumatizing.” On the 4th, she applied the 'AI background expansion' feature, a paid service of the Soda app, to her photo. The intention was to correct the photo, which was cropped in the middle of her shoulders, to show her entire upper body, but the AI generated a result that made her appear to be clutching her chest with both hands. The rest of the results were normal, but Ms. G said it was hard to get over the shock of the image she suddenly received while using the app.

In response, Snow explained, “Due to the nature of the service that applied A.I. technology, the result was unexpected.” Snow explained that the AI-generated images are filtered to remove offensive or sexualized images as much as possible before they are finally displayed to the user, but this feature did not work perfectly in G's case.

However, experts argue that the issue is more complex. The core problem lies in the AI image generation engine applied to the SODA app, called 'Stable Diffusion'. Developed primarily by the UK startup Stability AI, it was revealed that this model had included explicit content in its training data. Professor Kim Myung-joo of Seoul Women’s University (Information Security) explained, “Unlike other AI models, Stable Diffusion was designed to generate graphic images and included pornographic content in its training data, which has raised concerns since its release.”

Experts are calling for measures like age restrictions on the app to prevent irresponsible commercialization. At the moment, SODA is rated for use by individuals aged 3 and older. Jang Yeo-gyeong, the director of the Information Rights Research Institute, stated, "Even if it doesn't lead to sexual exploitation, consumers who suffer mental harm from AI tools should be able to hold the companies that release these services accountable. Snow's response that 'current technology can't prevent this' is irresponsible."

In response to The Hankyoreh, a Snow representative said, "All companies utilizing AI are struggling to address issues like this. We are working to enhance the service by strengthening filters to prevent similar cases in the future."

plain text in the original Korean

카메라 애플리케이션(앱) ‘소다’(SODA)의 인공지능(AI) 편집 기능이 성적 불쾌감을 일으키는 사진을 생성한 사례가 발생한 것에 대해 이 앱을 만든 네이버의 자회사 스노우가 ‘인공지능 생성물을 100% 통제할 수 없다’는 입장을 내놨다. 통제할 수 없는 인공지능 서비스를 상업화한 것에 대해 무책임한 행태라는 전문가들의 지적이 나온다. 소다는 스마트폰 앱 장터인 ‘구글 플레이 스토어’에서 1000만회 이상 다운로드된 인기 카메라 앱이다.

직장인 ㄱ씨는 9일 한겨레와 온라인 메신저 대화를 통해 “앱을 사용하다 수치심을 느낄 줄 몰랐다. 너무 불쾌하고 정신적 충격이 크다”고 호소했다. 그는 지난 4일 소다 앱의 유료 서비스인 ‘인공지능 배경 확장’ 기능을 자신의 증명사진에 적용했다. 어깨 부분 중간에 잘린 증명사진을 상반신 전체가 나오는 모습으로 보정하려는 의도였는데, 실제 인공지능이 생성한 결과물에선 자신이 가슴을 양손으로 움켜쥐고 있는 듯한 모습이 나왔다. 이 이미지를 제외한 다른 나머지 결과에선 정상적인 사진이 나왔지만, ㄱ씨는 앱을 사용하다 갑자기 받은 이미지의 충격에서 벗어나기 힘들었다고 했다.

이에 대해 스노우 쪽은 “인공지능 기술이 적용된 서비스의 특성상 결과물이 예상치 못한 형태로 구현된 것”이라고 설명했다. 인공지능이 생성한 이미지를 사용자에게 최종적으로 노출하기 전 필터 기술을 통해 모욕적이거나 선정적인 이미지를 최대한 제거하고 있지만, ㄱ씨의 사례에선 이 기능이 완벽하게 작동하지 않았다고도 설명했다.

하지만 문제가 간단치 않다는 게 전문가들의 지적이다. 소다 앱에 적용된 인공지능 이미지 생성 엔진인 ‘스테이블 디퓨전’ 자체에 문제가 있다는 이유에서다. 스테이블 디퓨전은 영국 스타트업 ‘스태빌리티 에이아이(AI)’가 개발을 주도한 모델인데, 개발 단계에서 음란물을 학습 데이터에 포함시킨 것으로 알려져 있다. 김명주 서울여대 교수(정보보호학)는 “다른 인공지능 모델과 달리 스테이블 디퓨전은 그래픽 이미지를 생성하기 위한 목적으로 포르노 영상물을 학습 데이터에 포함했기 때문에 공개될 때부터 많은 우려가 제기됐다”고 말했다.

전문가들은 소다 앱의 이용자 연령을 제한하는 등의 방식으로 기업의 무책임한 상업화를 막아야 한다고 지적했다. 현재 소다 앱은 3살 이상이면 누구나 사용할 수 있다. 장여경 정보인권연구소 상임이사는 “성착취물로 연결되지 않는다고 해도 인공지능 도구로 정신적 피해를 입은 소비자들이 서비스를 출시한 기업에 대해 최소한의 주의 의무를 요구할 수 있어야 한다”며 “‘현재 기술로는 막을 수 없다’는 스노우의 태도는 무책임하다”고 꼬집었다.

스노우 관계자는 한겨레에 “인공지능을 활용하는 모든 회사가 이번과 같은 이슈를 해결하기 위해 분투하고 있다. 유사한 사례가 발생하지 않도록 필터를 더욱 강화하는 등 서비스 고도화를 노력하겠다”고 했다.

#snow app

Trending Tags

Recently Viewed Tags

#snow app