Wir verwenden Neptune konsequent, um Hunderte verschiedener Experimente zu verfolgen, und es ist sehr einfach, die vorhandenen Funktionen zu nutzen, um diese Ergebnisse in Informationen umzuwandeln, die für andere Interessengruppen, einschließlich derjenigen, die keine technischen Rollen haben, verständlich sind. Es bietet eine konsistente Struktur, die sicherstellt, dass alle unsere Daten zuverlässig und intuitiv organisiert sind. Darüber hinaus ermöglicht uns Neptune, die Anwendung selbst zu hosten, was unsere Daten sicher hält, und sie haben großartigen Support geleistet, um uns so aktuell wie möglich zu halten. Bewertung gesammelt von und auf G2.com gehostet.

In einigen Fällen kann sich das Offline-Protokollierungsverhalten vom standardmäßigen asynchronen Verhalten unterscheiden. Zum Beispiel bei On-Premise-Servern, die eine Offline-Protokollierung erfordern und dann von der Hostmaschine synchronisiert werden müssen. Bewertung gesammelt von und auf G2.com gehostet.

Ich habe festgestellt, dass sich Neptune ziemlich einfach integrieren lässt. Obwohl ich es nicht auf die herkömmliche Weise nutze, verlasse ich mich darauf, um Experimente zu bewerten und die Leistung unserer LLM-basierten Anwendungen zu überwachen. Das Tool ist flexibel und passt sich den meisten Tracking-Bedürfnissen an. Kürzlich hatte ich das Bedürfnis, API-Call-Status, einschließlich Fehlercodes, zu erfassen, und der Prozess war nahtlos und schnell.

Ein weiterer sehr positiver Aspekt ist der unglaubliche Kundensupport. Wir haben regelmäßige Meetings, und das Team ist immer bereit, auf unsere Anfragen zu hören und sie in praktische Lösungen umzusetzen. Sie teilen konsequent wertvolle Ressourcen und versuchen, unseren Bedürfnissen gerecht zu werden. Bewertung gesammelt von und auf G2.com gehostet.

Der einzige Nachteil für mich ist der Mangel an Anpassungsmöglichkeiten im Frontend. Ich würde es lieben, die Möglichkeit zu haben, maßgeschneiderte Dashboards zu erstellen, die besser zu meinen spezifischen Daten passen und ein intuitiveres Visualisierungserlebnis für Teammitglieder mit weniger technischer Expertise bieten. Bewertung gesammelt von und auf G2.com gehostet.

Einfach einzurichten, viele Integrationen, nützliches Kollaborationswerkzeug. Das Team hat schnell aufgeholt und mit dem Tracking von Experimenten begonnen, trotz einiger Vorbehalte vor der Integration. Derzeit müssen alle Experimente in Neptune sein, wenn sie in die Produktion gehen sollen, was es uns ermöglicht, Qualität zu verfolgen und durchzusetzen. Ein definitiver Gewinn für das Team und das Unternehmen! Bewertung gesammelt von und auf G2.com gehostet.

Nicht in der Lage, Ergebnisse ohne die Lizenz mit jemandem zu teilen. Unseren Partnern zu helfen, den Leistungsfortschritt zu verstehen, ist etwas herausfordernd. Bewertung gesammelt von und auf G2.com gehostet.

Ich habe festgestellt, dass Neptune eine flexible, einfach zu bedienende Plattform ist, um alles in unserem ML-Entwicklungsprozess zu verfolgen. Die API ist einfach einzurichten und erfordert minimalen Code, um Experimente zu verfolgen. Ich liebe die Runs-Tabelle, sie macht es einfach, Experimente zu gruppieren und zu filtern, um schnelle Vergleiche anzustellen.

Ihr Support-Team war großartig darin, auf alle Fragen zu antworten und uns neue Funktionen zu zeigen, sobald sie veröffentlicht werden. Bewertung gesammelt von und auf G2.com gehostet.

Dashboard-Visualisierungen passen sich automatisch an, wenn Sie die Fenstergröße anpassen, was bedeutet, dass Sie die Visualisierungen in dieser Größe anpassen und neu anordnen müssen. Würde es lieben, wenn es eine Möglichkeit gäbe, die Größe der Dashboards zu fixieren, damit dies nicht passiert. Bewertung gesammelt von und auf G2.com gehostet.

- Filterfunktionalität für Läufe innerhalb eines Projekts

- Benutzerdefinierte Dashboards und speicherbare Tabellenschemata

- Zuverlässig funktionierende On-Premise-Bereitstellung (GCP)

- Protokollierte Inhalte sind unter Domains innerhalb von Läufen organisiert Bewertung gesammelt von und auf G2.com gehostet.

- Das Gruppieren von Läufen innerhalb eines Projekts ist schwierig, was die Nutzung für große Teams herausfordernd macht

- Plots sehen bereits großartig aus, aber es fehlt an Flexibilität

- Wir können immer fortschrittlichere Filterkriterien haben :) Bewertung gesammelt von und auf G2.com gehostet.

Neptune Ai ermöglicht es, praktisch alle notwendigen Daten zu speichern, basierend auf seiner Art der Datenspeicherung und Metadaten, bietet es eine vollständige Rückverfolgbarkeit auf einfache Weise.

Es verfügt über eine benutzerfreundliche Benutzeroberfläche, die auf einfache und nützliche Weise praktisch alle notwendigen Informationen bereitstellt und einige interessante Anpassungen ermöglicht, wie z.B. das Hinzufügen/Entfernen benutzerdefinierter Visualisierungen nur mit den notwendigen Daten/Spalten.

Es verfügt auch über ein Python SDK, das sehr einfach zu verwenden ist und eine flexible Anpassung an den Anwendungsfall ermöglicht, da Neptune einen zugänglichen Daten- und Metadaten-Container bereitstellt, sodass die Integration mit anderen Tools durchaus machbar ist.

Auf der Support-Seite sind sie in der Regel sehr schnell in der Reaktion und bieten viel Hilfe. Ein weiterer sehr interessanter Punkt ist, dass die Dokumentation ziemlich umfangreich ist und viele Beispiele enthält. Bewertung gesammelt von und auf G2.com gehostet.

Die große Flexibilität, die Neptune AI als Container für Daten und Metadaten bietet, ist sowohl ein Vorteil als auch ein Nachteil, da sie ein gutes Maß an Governance erfordert, um nicht zu viele Informationen aufzuzeichnen oder sie auf die richtige Weise zu organisieren, um wirklich nützlich zu sein. Dies ist kein „Problem“ des Tools selbst, aber es ist etwas, das bei der Verwendung in einem Anwendungsfall mit gewisser Komplexität berücksichtigt werden muss. Bewertung gesammelt von und auf G2.com gehostet.

Die Benutzerfreundlichkeit ist hervorragend, nur ein paar Zeilen Code, und Sie sind bereit, die gewünschten Metriken zu verfolgen und zu protokollieren. Die Dokumentation und der Kundensupport sind äußerst effizient, und Sie können eine Menge Metriken hochladen. Nach ein paar Verbindungsproblemen (leicht gelöst) konnten wir aus verschiedenen Pipelines im AzureML Studio integrieren. Bewertung gesammelt von und auf G2.com gehostet.

Wir haben einige Probleme mit der Verbindungsstabilität und Zeitüberschreitungen beim Hochladen von Metriken erlebt, aber alles wurde leicht gelöst nach einer schnellen Kommunikation mit dem Kundensupport. Auch ein etwas stärkerer Fokus auf die Bewertung von LLMs wäre wünschenswert, besonders in diesen LLM-zentrierten Tagen. Bewertung gesammelt von und auf G2.com gehostet.

Neptun funktioniert einfach für die Verfolgung von Experimenten: Es hat eine schöne und nicht überladene Benutzeroberfläche, die ziemlich schnell ist (besonders in der neuen Version), man kann Metriken verfolgen und verschiedene Läufe vergleichen. Das Team bietet auch großartigen Support und ist offen für die Implementierung neuer Funktionen auf Anfrage. Wir verwenden es für die Verfolgung all unserer Vortrainings, Nachtrainings und Bewertungen. Bewertung gesammelt von und auf G2.com gehostet.

Wenn Sie nur die endgültigen Metriken mehrerer Läufe als Tabelle vergleichen möchten, kann Neptune das tun, aber die Erfahrung kann verbessert werden.

Auch einige für uns wichtige Funktionen fehlen noch, wie zum Beispiel die Möglichkeit, Schritte eines Laufs nicht-monoton von verschiedenen Prozessen zu protokollieren. Bewertung gesammelt von und auf G2.com gehostet.

Neptune hilft dabei, Experimentdaten mit einer einfachen Benutzeroberfläche zu verfolgen. Das Dashboard zeigt wichtige Kennzahlen, Grafiken und ermöglicht es Ihnen, verschiedene Modellläufe nebeneinander zu vergleichen. Unser Team nutzt es, um Tausende von maschinellen Lernexperimenten zu verwalten, von der anfänglichen Schulung über die Feinabstimmung bis hin zur abschließenden Bewertung. Das System verarbeitet große Datenmengen gut und lädt Ergebnisse schnell. Sie können Experimente in Projekte organisieren, wichtige Läufe markieren und problemlos durch vergangene Ergebnisse suchen. Es ermöglicht Ihnen auch, sowohl Trainingsmetriken als auch Bewertungsergebnisse an einem Ort zu protokollieren. Bewertung gesammelt von und auf G2.com gehostet.

Insgesamt gibt es nicht viel zu bemängeln. Zwei hilfreiche Ergänzungen wären synchronisierte Legenden über mehrere Diagramme hinweg, wenn man über einen bestimmten Punkt der x-Achse schwebt, und die Möglichkeit, verwandte Metriken automatisch zusammenzufassen, um eine bessere Organisation zu erreichen. Bewertung gesammelt von und auf G2.com gehostet.

Die Tatsache, dass ich meine Experimente leicht verfolgen kann:

- Sie sind alle an einem Ort

- Ich kann zwischen den Durchläufen vergleichen

- Ich kann fast alles protokollieren, was ich möchte, selbst beim Tuning mit Optuna kann ich alle schönen Metadaten und Visualisierungen sehen. Bewertung gesammelt von und auf G2.com gehostet.

Einige kleinere Dinge:

- Die Tatsache, dass jedes Mal, wenn ich die Seite meiner Projekte besuche, die Farben für jeden Lauf unterschiedlich sind. Es gibt eine Option, die Farbe zu ändern, aber ich möchte nicht die Farbe jedes Laufs ändern müssen, besonders wenn ich ein Modell abstimme, was zu Hunderten von Läufen führt.

- Die stderr- und stdout-Protokolle sind unlesbar, besonders wenn ich Fortschrittsbalken verwende.

- Die Optuna-Visualisierungen im Vollbildmodus sind ziemlich klein, besonders die Konturen. Ich würde erwarten, dass sie sich beim Eintritt in den Vollbildmodus an meine Bildschirmgröße und Auflösung anpassen. Bewertung gesammelt von und auf G2.com gehostet.