Wie die Objekterkennung auf dem Gerät funktioniert
Was dieser Detektor leistet
Der KI-Objektdetektor durchsucht ein Foto und zeichnet um jedes erkannte Element einen beschrifteten Rahmen: eine Person, ein Auto, einen Hund, einen Laptop, einen Stuhl. Im Hintergrund läuft das Modell COCO-SSD über TensorFlow.js, ein neuronales Netz, das auf dem COCO-Datensatz trainiert wurde, um 80 alltägliche Objektklassen zu erkennen. Jede Erkennung liefert drei Angaben: den Klassennamen, einen Begrenzungsrahmen, der die Lage des Objekts markiert, und einen Konfidenzwert von 0 bis 100%, der zeigt, wie sicher sich das Modell ist.
Die Erkennung startet, sobald das Bild geladen ist, und die gesamte Analyse läuft auf dem Gerät: Die Modelldatei (~10MB) wird einmalig heruntergeladen und für spätere Besuche im Cache gehalten.
Wann sich der Einsatz lohnt
Er eignet sich, um einen Fotoordner automatisch zu verschlagworten, vor dem Training eines eigenen Modells zu prüfen, was ein Datensatz tatsächlich enthält, oder zu zählen, wie viele Personen oder Fahrzeuge in einer Szene auftauchen. Auch für Barrierefreiheit ist er praktisch, um eine schnelle Textbeschreibung eines Bildes zu erzeugen, und für alle, die Computer-Vision-Ideen prototypisieren, ohne eine Python-Umgebung aufzusetzen.
Da er strukturiertes JSON mit Koordinaten exportiert, fügt er sich in eine größere Pipeline ein: Detektor ausführen, die Rahmen abgreifen und an Skripte zum Zuschneiden, Weichzeichnen oder Annotieren weitergeben.
Ein konkretes Beispiel
Ziehen Sie ein Straßenfoto hinein. Das Modell könnte Person mit 92%, Auto mit 88% und Ampel mit 71% zurückgeben, jeweils in einem eigenen farbigen Rahmen. Erhöhen Sie die Mindestkonfidenz auf 80%, verschwindet die Ampel aus den Ergebnissen und es bleiben nur die beiden sichersten Erkennungen. Senken Sie sie auf 40%, tauchen schwächere oder teilweise verdeckte Objekte auf, samt gelegentlicher Fehldeutung. Laden Sie das annotierte Bild herunter, um die Überlagerungen zu behalten, oder exportieren Sie das JSON für die rohen Klassennamen, Werte und Rahmenkoordinaten.
Hinweise und Grenzen
COCO-SSD kennt 80 Klassen; alles außerhalb dieser Liste (eine bestimmte Hunderasse, ein Markenlogo, Text) wird nicht beschriftet. Überlappende oder sehr kleine Objekte sind die schwierigsten Fälle und rutschen oft unter die Schwelle. Der Konfidenz-Schieberegler ist Ihr Hauptregler: hohe Werte tauschen Trefferquote gegen Präzision, niedrige machen es umgekehrt. Liefert ein Foto nichts, bringt ein Absenken der Schwelle meist die Objekte zum Vorschein, die das Modell gesehen, aber nicht sicher zugeordnet hat.