Script: foto do aviso com o quadro da gravação e o rosto ampliado
Python que pega na API do Frigate o quadro do instante do rosto e cola o rosto ampliado no canto. Fica muito melhor que o snapshot.
#!/usr/bin/env python3
"""Monta a foto do aviso de rosto reconhecido (automação rosto_conhecido_chegou_avisa).
Uso (shell_command.rosto_foto): python3 /config/scripts/rosto_foto.py <Nome> <saida.jpg>
A foto do evento que o Frigate guarda é a de maior confiança de *pessoa*, que muitas vezes
pega a pessoa de costas. O rosto, ao contrário, só é reconhecido quando ela está de frente.
Então este script:
1. acha o recorte de rosto mais recente desse nome em /media/frigate/clips/faces/train
(arquivo <evento>-<ts>-<nome>-<score>.webp) e, desse evento, o de maior score;
2. pega na gravação do Frigate o quadro exato daquele instante (de frente) e recorta em
volta da pessoa usando o trajeto do evento (path_data) e o tamanho da caixa;
3. cola o rosto ampliado no canto e salva em JPEG.
Sem gravação, usa a foto limpa do evento; sem nada do Frigate, sai com erro e a automação
cai na imagem do HA. Imprime JSON {"foto", "score", "camera"} para o response_variable.
"""
import io
import json
import os
import sys
import time
import urllib.request
from PIL import Image, ImageOps
FRIGATE = os.environ.get("FRIGATE_URL", "http://ccab4aaf-frigate:5000") # env: teste fora do HA
FACES = os.environ.get("FACES_DIR", "/media/frigate/clips/faces/train")
JANELA_S = 180 # só considera rostos reconhecidos nos últimos 3 min
def baixar(caminho, timeout=15):
with urllib.request.urlopen(FRIGATE + caminho, timeout=timeout) as r:
return r.read()
def rostos(nome, janela):
"""[(evento, ts, score, arquivo)] do nome, reconhecidos na janela (s)."""
agora = time.time()
out = []
for nome_arq_completo in os.listdir(FACES):
if not nome_arq_completo.endswith(".webp"):
continue
arq = os.path.join(FACES, nome_arq_completo)
base = nome_arq_completo[:-5]
# <evento = "<ts>-<id>">-<ts>-<nome>-<score>; nome pode ter hífen, score não.
try:
resto, score = base.rsplit("-", 1)
ev_ts, ev_id, ts, nome_arq = resto.split("-", 3)
ts, score = float(ts), float(score)
except ValueError:
continue
if nome_arq.lower() == nome.lower() and agora - ts < janela:
out.append((f"{ev_ts}-{ev_id}", ts, score, arq))
return out
def recorte_pessoa(img, evento, ts):
"""Recorta em volta da pessoa no instante ts, pelo trajeto do evento."""
try:
dados = json.loads(baixar(f"/api/events/{evento}"))["data"]
caixa_h = dados["box"][3] # normalizado
pontos = dados.get("path_data") or []
if not pontos:
return img
(x, y), _ = min(pontos, key=lambda p: abs(p[1] - ts)) # pé da pessoa, normalizado
except Exception:
return img
w, h = img.size
lado = int(min(h, max(caixa_h * h * 1.3, h * 0.45)))
cx, base = x * w, y * h + lado * 0.08
esq = int(min(max(cx - lado / 2, 0), w - lado))
topo = int(min(max(base - lado, 0), h - lado))
return img.crop((esq, topo, esq + lado, topo + lado))
def main():
nome, saida = sys.argv[1], sys.argv[2]
janela = float(sys.argv[3]) if len(sys.argv) > 3 else JANELA_S # 3º arg: só para teste
lista = rostos(nome, janela)
if not lista:
sys.exit(f"nenhum rosto de {nome} nos últimos {janela:.0f}s")
evento = max(lista, key=lambda r: r[1])[0] # evento mais recente
_, ts, score, arq_rosto = max((r for r in lista if r[0] == evento), key=lambda r: r[2])
try:
camera = json.loads(baixar(f"/api/events/{evento}"))["camera"]
except Exception:
camera = ""
img = None
if camera:
try: # quadro da gravação no instante do rosto
img = Image.open(io.BytesIO(baixar(f"/api/{camera}/recordings/{ts}/snapshot.jpg")))
img = recorte_pessoa(img.convert("RGB"), evento, ts)
except Exception:
img = None
if img is None:
try: # foto do evento, sem caixa nem data, recortada na pessoa
img = Image.open(io.BytesIO(baixar(
f"/api/events/{evento}/snapshot.jpg?bbox=0×tamp=0&crop=1&quality=95&height=1080")))
except Exception:
img = None
rosto = Image.open(arq_rosto).convert("RGB")
if img is None:
img = rosto.resize((rosto.width * 6, rosto.height * 6), Image.LANCZOS)
else:
img = img.convert("RGB")
if img.height != 1080:
img = img.resize((round(img.width * 1080 / img.height), 1080), Image.LANCZOS)
alt = 330
ins = rosto.resize((round(rosto.width * alt / rosto.height), alt), Image.LANCZOS)
ins = ImageOps.expand(ins, border=6, fill="white")
img.paste(ins, (20, img.height - ins.height - 20))
os.makedirs(os.path.dirname(saida), exist_ok=True)
img.save(saida, "JPEG", quality=90)
print(json.dumps({"foto": saida, "score": round(score * 100), "camera": camera}))
if __name__ == "__main__":
main()
Como usar
Salve em /config/scripts/rosto_foto.py e chame por um shell_command. As instruções estão no começo do arquivo.
0 comentários
Carregando comentários…
Também respondo os comentários no YouTube.
Escolhidos para você
Veja também
Aviso de porta ou janela aberta quando todos saem
Casa vazia por 2 minutos e algo ficou aberto? Chega uma notificação dizendo exatamente o quê.
26:31VídeoFingerprint Sensor - Sensor Biométrico integrado ao Home Assistant
Fingerprint Sensor - Sensor Biométrico integrado ao Home Assistant
10:41VídeoMapa da família no Home Assistant: rastro, zona num clique e aviso de caminho novo (passo a passo)
Meu Home Assistant percebe quando alguém fica muito tempo num lugar que ele não conhece, me avisa no celular, e com um toque o mapa abre no ponto para eu criar a zona. Neste vídeo…
11:33VídeoO jogo do seu time no Home Assistant: horário, onde passa e aviso antes da bola rolar
Que horas é o jogo do seu time? No meu Home Assistant está no painel: data, horário, adversário, estádio, campeonato e onde passa, para qualquer time da Série A e da Série B.…
15:50VídeoPainel de Saúde no Home Assistant: o que a sua casa esconde de você (passo a passo)
O sensor de movimento da minha sala estava com 3% de bateria e o Home Assistant não avisou nada. Neste vídeo eu mostro, passo a passo e com calma, o painel de saúde que eu uso…
ArtigoTema Doug Futurista: passo a passo, cartões fx_ e como criar o seu
Instale o tema Doug Futurista, ajuste cor, vidro e cantos, cole os 9 cartões fx_ no seu painel e aprenda a criar um cartão novo do zero com o button-card.