prompttools lets you systematically compare prompts across 10+ LLM providers and 7+ vector databases, all running locally. Export results as CSV, JSON, or to MongoDB. There is even a Streamlit playground for non-coders. If you are building anything with LLMs, structured prompt evaluation saves you from yourself.

Open-source tools for prompt testing and experimentation, with support for both LLMs (e.g. OpenAI, LLaMA) and vector databases (e.g. Chroma, Weaviate). - GitHub - hegelai/prompttools: Open-source t...

prompttools: LLM, VectorDB, Prompt 실험 및 테스트를 위한 오픈소스 도구 prompttools는 개발자들이 LLMs, 벡터 데이터베이스, 프롬프트를 실험하고 테스트하는 데 사용할 수 있는 도구로, Hegel AI에서 만들고 공개하였습니다. prompttools는 자체 호스팅 가능한 도구 세트를 제공하고 있으며, Apache-2.0 라이선스로 공개된 오픈소스입니다. 개발자는 prompttools를 사용하여 코드, 노트북, 로컬 플레이그라운드와 같은 친숙한 인터페이스를 사용하여 다양한 모델(OpenAI, Anthropic, LLaMA 모델 포함)에서 프롬프트와 매개변수를 테스트할 수 있으며, 벡터 데이터베이스의 검색 정확도도 평가할 수 있습니다. 소개 prompttools는 LLM, VectorDB, 프롬프트와 관련된 실험, 테스트, 평가를 위한 도구 세트를 제공합니다....