Featured image of post 음성으로 컨트롤되는 인공지능 스마트홈 자랑하는 글

음성으로 컨트롤되는 인공지능 스마트홈 자랑하는 글

만든 스마트홈 미리보기 (일본어 주의)

1. HomeAssistant?

이전에 한번 글을 쓴 적이 있는 HomeAssistant라는 플랫폼에서 출발합니다.

2023년은 HomeAssistant에겐 음성의 해 였습니다.

LLM을 필두로 한 인공지능이 점점 고도화되며, 이제는 정말 자비스를 만들 수 있겠다! 는 생각을 하던 해였죠.

자비스

2. 그래서 말하고 싶은게 뭔데?

그냥 자랑 한번 해 보고 싶었습니다(…)

전체 파이프라인

3. 사용/참고한 정보

HotWordPlugin - 안드로이드에서 Wake word 감지

Tasker - 안드로이드에서 HotwordPlugin 이벤트를 감지해서 특정 앱 실행

Whisper - Speech To Text 엔진

extended_openai_conversation - 집에 있는 디바이스 정보를 이용, function calling 기능을 이용해 실제 디바이스 상태 조절 함수를 호출해 줌.

Bert-VITS2 (TTS) - 캐릭터 목소리 귀엽죠?

Zigbee2Mqtt Zigbee 신호를 MQTT Queue와 연결해 주는 오픈소스 프로젝트에요.

SONOFF ZBDongle-P - 라즈베리 파이에서 Zigbee 신호를 쏘게 해 주는 동글이에요

Tuya IR 리모컨 - Zigbee를 받아서 IR 신호를 쏴 줘요

Lemon Blog
Hugo로 만듦
JimmyStack 테마 사용 중