손으로 그린 ​​그림과 같은 구도의 이미지 ‘스크리블 디퓨전’이 등장했다.

말만으로 원하는 그림을 만드는 것은 상당히 어렵습니다. “낙서 확산손으로 그린 ​​그래피티와 텍스트 입력을 통해 Stable Diffusion을 사용하여 원하는 것에 가까운 그림을 만들고 브라우저에서 데모를 테스트할 수 있습니다.

낙서 확산
https://scribblediffusion.com/

낙서 확산

AI를 사용하여 스케치를 세련된 이미지로 변환

scribblediffusion.com

이 Scribble Diffusion은 이미지의 구성이나 깊이와 같은 추가 정보를 단서로 제공하는 신경망입니다.“제어 네트워크”의 적용~을 위한 것이다

Scribble Diffusion 데모 페이지를 방문했을 때의 느낌입니다. 정사각형 캔버스에 그림을 그리고 그 아래에 힌트를 입력하고 “시작” 버튼을 클릭하세요.

다음 예제는 기본적으로 들어가 있으며 산등성이에서 태양을 엿보는 사진과 글은 있지만 “산 너머로 보는 태양” 같은 것은 그리지 않습니다.

아래는 일러스트를 조금 더 자세히 그려주면 어떨까 생각하며 그린 것입니다. “고양이가 기타를 치고 있다”라는 문구가 심플하고 일러스트가 그대로 그려져 있습니다.

결과 이미지는 다음과 같습니다. 표정은 다소 위엄이 있지만 그림은 구도에 맞게 그려져 있고 인쇄된 그림은 기대에 가깝다.

이번에는 “소금바(Salt Bae: The Turkish Chef Salt Sprinkler Meme)케이크에 설탕을 뿌린 엘론 머스크

결과는 다음과 같습니다. 엘론 머스크의 재발률은 높은데 케이크가 이상하게 나온다.

그래서 아래 그림과 같이 일러스트의 오른손과 케이크 부분을 약간 수정했는데, 인쇄된 글자는 그대로입니다. 그런 다음 케이크 위에 설탕을 뿌린 Elon Musk의 사진을 인쇄했습니다.

그런데 Scribble Diffusion의 코드는 다음과 같습니다. GitHub에 게시되었습니다.자신의 서버에 구축할 수 있습니다.

GitHub – replicate/scribble-diffusion: AI를 사용하여 대략적인 스케치를 세련된 이미지로 변환
https://github.com/replicate/scribble-diffusion

GitHub – replicate/scribble-diffusion: AI를 사용하여 대략적인 스케치를 세련된 이미지로 변환

AI를 사용하여 러프 스케치를 세련된 이미지로 변환

github.com