neptune.ai Avaliações e Detalhes do Produto

Usamos o Neptune consistentemente para rastrear centenas de diferentes experimentos e é muito fácil aproveitar os recursos disponíveis para organizar esses resultados em informações que são compreensíveis para outras partes interessadas, incluindo aquelas que não estão em funções técnicas. Ele fornece uma estrutura consistente que garante que todos os nossos dados sejam organizados de forma confiável e intuitiva. Além disso, o Neptune nos permite hospedar a aplicação internamente, o que mantém nossos dados seguros, e eles têm oferecido um ótimo suporte para nos manter o mais atualizados possível. Análise coletada por e hospedada no G2.com.

Em alguns casos, o comportamento de registro offline pode divergir do comportamento assíncrono padrão. Por exemplo, com servidores locais que exigem registro offline e depois precisam ser sincronizados a partir da máquina host. Análise coletada por e hospedada no G2.com.

Achei o Neptune bastante fácil de integrar. Embora eu não o use da maneira tradicional, confio nele para rastrear avaliações de experimentos e monitorar o desempenho de nossas aplicações baseadas em LLM. A ferramenta é flexível e se adapta à maioria dos tipos de necessidades de rastreamento. Recentemente, tive a necessidade de mapear os status das chamadas de API, incluindo códigos de erro, e o processo foi tranquilo e rápido. Outro aspecto super positivo é o incrível suporte ao cliente. Temos reuniões regulares, e a equipe está sempre disposta a ouvir nossos pedidos e traduzi-los em soluções práticas. Eles consistentemente compartilham recursos valiosos e tentam atender às nossas necessidades. Análise coletada por e hospedada no G2.com.

a única desvantagem para mim é a falta de personalização no front-end. Eu adoraria ter a capacidade de construir painéis sob medida que se adequem melhor aos meus dados específicos e proporcionem uma experiência de visualização mais intuitiva para membros da equipe com menos conhecimento técnico. Análise coletada por e hospedada no G2.com.

Fácil de configurar, muitas integrações, ferramenta de colaboração útil. A equipe foi rápida em se atualizar e começar a rastrear experimentos, apesar de um pouco de reserva antes da integração. Atualmente, todos os experimentos precisam estar no Neptune se quiserem ir para produção, permitindo-nos rastrear e garantir a qualidade. Uma vitória definitiva para a equipe e para a empresa! Análise coletada por e hospedada no G2.com.

Incapaz de compartilhar resultados com qualquer pessoa sem a licença. Ajudar nossos parceiros a entender o progresso do desempenho é um pouco desafiador. Análise coletada por e hospedada no G2.com.

Encontrei o Neptune como uma plataforma flexível e fácil de usar para rastrear tudo no nosso processo de desenvolvimento de ML. A API é simples de configurar e requer código mínimo para rastrear experimentos. Tenho adorado a tabela de execuções, que facilita agrupar e filtrar experimentos para comparações rápidas.

A equipe de suporte tem sido ótima em responder a quaisquer perguntas e nos mostrar novos recursos à medida que são lançados. Análise coletada por e hospedada no G2.com.

As visualizações do painel redimensionam-se automaticamente quando você ajusta o tamanho da janela, o que significa que você precisa redimensionar e reorganizar as visualizações nesse tamanho. Adoraria se houvesse uma maneira de fixar o tamanho dos painéis para que isso não acontecesse. Análise coletada por e hospedada no G2.com.

- Funcionalidade de filtro em execuções dentro de um projeto

- Dashboards personalizados e esquemas de tabela que podem ser salvos

- Implantação local confiável (GCP)

- Conteúdo registrado é organizado sob domínios dentro de execuções Análise coletada por e hospedada no G2.com.

- Agrupar execuções dentro de um projeto é difícil, isso torna o uso para grandes equipes desafiador

- Os gráficos já parecem ótimos, mas faltam alguma flexibilidade

- Podemos sempre ter critérios de filtro mais avançados :) Análise coletada por e hospedada no G2.com.

Neptune Ai, permite armazenar praticamente qualquer dado necessário, com base em sua forma de armazenar dados e metadados, permite rastreabilidade completa de maneira simples.

Possui uma interface de usuário fácil de usar, que expõe, de maneira simples e útil, praticamente todas as informações necessárias, permitindo algumas personalizações interessantes, como poder adicionar/remover visualizações personalizadas apenas com os dados/colunas necessários.

Também possui um SDK Python que é bastante fácil de usar, permitindo adaptar-se ao caso de uso de maneira bastante flexível, já que o Neptune fornece um contêiner de dados e metadados acessível, então a integração com outras ferramentas é bastante viável.

No lado do suporte, eles geralmente respondem rapidamente e fornecem muita ajuda. Outro ponto muito interessante é que a documentação é bastante extensa e possui muitos exemplos. Análise coletada por e hospedada no G2.com.

A grande flexibilidade que o Neptune AI oferece como um contêiner de dados e metadados é tanto uma vantagem quanto uma desvantagem, pois requer um bom nível de governança para não registrar informações em excesso ou organizá-las da maneira correta, para ser realmente útil. Isso não é um 'problema' da ferramenta em si, mas é algo a ser levado em consideração ao usá-la em um caso de uso de alguma complexidade. Análise coletada por e hospedada no G2.com.

A facilidade de uso é excelente, apenas algumas linhas de código, e você está pronto para rastrear e registrar as métricas que deseja. A documentação e o suporte ao cliente são super eficientes, e você pode carregar toneladas de métricas. Depois de alguns problemas de conexão (resolvidos facilmente), conseguimos integrar de diferentes pipelines no azureML studio. Análise coletada por e hospedada no G2.com.

Experimentamos alguns problemas com a estabilidade da conexão e timeouts ao carregar métricas, mas tudo foi resolvido facilmente após uma comunicação rápida com o suporte ao cliente. Além disso, um foco um pouco maior na avaliação de LLM seria apreciado, especialmente nestes dias centrados em LLMs. Análise coletada por e hospedada no G2.com.

Netuno funciona bem para rastrear experimentos: tem uma interface agradável e não sobrecarregada que é bastante rápida (especialmente na nova versão), você pode rastrear métricas e comparar diferentes execuções. A equipe também oferece ótimo suporte e está aberta a implementar novos recursos mediante solicitação. Usamos para rastrear todo o nosso pré-treinamento, pós-treinamento e avaliações. Análise coletada por e hospedada no G2.com.

Quando você deseja comparar apenas métricas finais de várias execuções como uma tabela, isso é algo que o Neptune pode fazer, mas a experiência pode ser melhorada.

Além disso, alguns recursos importantes para nós ainda estão faltando, como a capacidade de registrar etapas de uma execução de forma não monótona a partir de diferentes processos. Análise coletada por e hospedada no G2.com.

O Neptune ajuda a rastrear dados de experimentos com uma interface simples. O painel mostra métricas chave, gráficos e permite que você compare diferentes execuções de modelos lado a lado. Nossa equipe o utiliza para gerenciar milhares de experimentos de aprendizado de máquina, desde o treinamento inicial até o ajuste fino e a avaliação final. O sistema lida bem com grandes quantidades de dados e carrega os resultados rapidamente. Você pode organizar experimentos em projetos, marcar execuções importantes e pesquisar facilmente por resultados passados. Ele também permite que você registre tanto métricas de treinamento quanto pontuações de avaliação em um só lugar. Análise coletada por e hospedada no G2.com.

No geral, não há muito do que não gostar. Duas adições úteis seriam legendas sincronizadas em vários gráficos ao passar o mouse sobre um ponto específico do eixo x, e a capacidade de agrupar automaticamente métricas relacionadas para uma melhor organização. Análise coletada por e hospedada no G2.com.

O fato de eu poder acompanhar facilmente meus experimentos:

- Eles estão todos em um só lugar

- Posso comparar entre execuções

- Posso registrar quase tudo o que quero, mesmo ao ajustar com optuna, posso ver todos os metadados e visualizações agradáveis. Análise coletada por e hospedada no G2.com.

Algumas pequenas coisas:

- O fato de que toda vez que visito a página dos meus projetos, as cores para cada execução são diferentes. Existe uma opção para mudar a cor, mas eu não quero ter que mudar a cor de cada execução, especialmente quando estou ajustando um modelo que resulta em centenas de execuções.

- Os logs stderr e stdout são ilegíveis, especialmente quando estou usando barras de progresso.

- As visualizações do Optuna no modo de tela cheia são bastante pequenas, especialmente os contornos. Eu esperaria que, ao entrar no modo de tela cheia, elas se ajustassem de acordo com o tamanho e a resolução da minha tela. Análise coletada por e hospedada no G2.com.