大型讲话模子（LLMs）也曾变得极其杰出且对各式任务尽头灵验，但新用户可能会认为大宗的讲话模子器用和实用法子令东谈主生畏。本文重心先容了5种可用且庸碌灵验的此类器用，它们齐是免费的麻仓优ed2k，而且是为了诳骗各式可用的讲话模子而创建的：Transformers、LlamaIndex、Langchain、Ollama 和 Llamafile。

1. Transformers

当代当然讲话处理（NLP）模子框架中最杰出的库之一，Transformers来自当然讲话处理的浩瀚机构Hugging Face。Transformers中可用的预磨练模子种类稠密，既有基础模子也有针对文天职类、翻译、问答等任务进行微调的模子。主要特定如下：

多功能性（存在适用于像PyTorch和TensorFlow这么的后端的模子）大宗可定制的预磨练模子用户友好型的应用法子编程接口和文档一个浩瀚的用户基础走动话问题和提供匡助。

Transformers对新用户来说很可以，因为它的基础学问尽头容易掌持，同期也饱胀灵验，致使能匡助完成最复杂的任务。该库带有庸碌的文档、用户友好的API，以及险些深重莫测的可用模子聚拢。借助Transformers，入门者可以在莫得大宗深度学习学问的情况下动手使用首先进的模子。

# 装置transformerspip install transformers# 装载预磨练模子并执行推理from transformers import pipeline classifier = pipeline("sentiment-analysis")result = classifier("I love using the Transformers library!")print(result)

2. LlamaIndex

LlamaIndex是一个为大型讲话模子使用场景定制的数据框架，出奇是检索增强生成（RAG）。它简化了大型讲话模子和不同数据源之间的贯穿，从而卤莽缺陷构建复杂的基于数据的大型讲话模子应用法子。主要特征如下：

内置的基本数据源贯穿器针对不同场景和复杂进度进行定制的才气以Llama包体式呈现的各式事前封装好的特定任务开动处理有设想充足的文档

LlamaIndex对入门者很有匡助，因为它简化了开动开采，并处理了将数据贯穿到应用法子所需的管谈责任，允许与数据源缺陷集成，以及凭证个东谈主喜好进行退换。由于其可靠的文档麻仓优ed2k，开采东谈主员可以快速掌持他们需要动手的本体，并朝着特定主义构建他们的应用法子。

# 装置库pip install llama-index# 苟简的RAG应用from llama_index.core import VectorStoreIndex， SimpleDirectoryReaderdocuments = SimpleDirectoryReader("data").load_data()index = VectorStoreIndex.from_documents(documents)query_engine = index.as_query_engine()response = query_engine.query("Tell me a little about prompt engineering.")print(response)

处女色电影

3. Langchain

LangChain 是一个框架，它允许东谈主工智能工程师将讲话模子与大宗的数据源以过火他大型讲话模子贯穿起来。LangChain 还为险峻文感知推理当用提供了蹊径，提供了用于构建有才气的代理的器用，这些代理可以执行复杂的推理任务以处理问题。主要特质如下：

用于创建和处理代理、器用及库的一个接口以及对推理当用法子的撑持以及对其的跟踪和评估

入门者可以使用Langchain快速构建智能代理，因为它使应用法子开采变得缺陷，而且带有一套浩瀚的器用和模板来鼓舞事情的阐扬。

4. Ollama

Ollama旨在提供对多个大型讲话模子的方便看望，比如Llama3、Mistral、Gemma等等，并通过减少部署和守护支拨使其守护缺陷无忧。你可以使用Ollama快速开采腹地大型讲话模子，用于交互以及开采。主要特质如下：

对多个大型讲话模子的撑持与一系列库和膨胀的集成方便的部署模子的门径

Ollama对入门者很有刚正，因为它网罗了大宗杰出的大型讲话模子，并使它们更容易部署和运行。举例，在腹地部署Llama3，然后在你最可爱的大型讲话模子开采框架（如 Langchain、LlamaIndex等）中通过Ollama贯穿到兼并个模子进行开采。它如实一次性处理了多个问题。

# 装置ollamapip install ollama# 使用ollamaimport ollamaresponse = ollama.generate(model='gemma:2b'， prompt='what is a qubit?')print(response['response'])

5. Llamafile

Llamafile出生是为了通过一个单一文献让分享和运行大型讲话模子变得胜券在握。它通过保持其历程苟简平直，使得模子的分发和运行毫无灾祸。主要特质如下：

一键式分享和运行大型讲话模子极其苟简的开采和使用可变的后端撑持

这个器用匡助守护大型讲话模子金钱，这反过来又有助于与大型讲话模子进行通讯和运行它们。它极小的复杂性给生手带来了特殊的便利。

# 装置llamafilepip install llamafile # 从敕令行加载和查询Mistral的llamafile./mistral-7b-instruct-v0.2.Q5_K_M.llamafile --temp 0.3 -p '[INST]what is a qubit?[/INST]'

记挂

在这篇著述中，咱们玄虚了 5 个让入门者动手使用大型讲话模子的器用：Transformers器、LlamaIndex、Langchain、Ollama 和 Llamafile。每一个齐提供了一组特有的任务、上风和特质，旨在匡助入门者掌持大型讲话模子开采领域的精巧之处，并与之互动。这些器用为默契大型讲话模子提供了一个很好的滥觞。

一定要看望并参考每个面貌标仓库和文档麻仓优ed2k，以匡助提醒你在学习和试用这些器用的探索中。享受这个历程！