================================================================================
🎯 CREWAI LLM REPLACEMENT - VISUAL GUIDE
================================================================================
PROBLEM: Why CrewAI Uses OpenAI Even When You Configure Another LLM
--------------------------------------------------------------------
CrewAI has 3 LEVELS where it looks for an LLM:
┌─────────────────────────────────────────────────────────────┐
│ LEVEL 1: AGENT LEVEL │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ Agent 1 │ │ Agent 2 │ │ Agent 3 │ │
│ │ llm=??? │ │ llm=??? │ │ llm=??? │ │
│ └──────────────┘ └──────────────┘ └──────────────┘ │
│ If llm=None → Goes to Level 2 │
└─────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ LEVEL 2: CREW LEVEL │
│ ┌──────────────────────────────────────────────┐ │
│ │ Crew │ │
│ │ manager_llm=??? │ │
│ └──────────────────────────────────────────────┘ │
│ If manager_llm=None → Goes to Level 3 │
└─────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ LEVEL 3: GLOBAL DEFAULT │
│ ┌──────────────────────────────────────────────┐ │
│ │ OpenAI (gpt-4 or gpt-3.5-turbo) │ │
│ │ ❌ CAUSES RATE LIMIT ERRORS! │ │
│ └──────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
THE SOLUTION: Assign LLM at ALL Levels
---------------------------------------
┌─────────────────────────────────────────────────────────────┐
│ STEP 1: Define LLM ONCE at the top │
│ ┌──────────────────────────────────────────────┐ │
│ │ llm = LLM( │ │
│ │ model="groq/llama-3.1-8b-instant", │ │
│ │ api_key=os.getenv("GROQ_API_KEY") │ │
│ │ ) │ │
│ └──────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ STEP 2: Assign to EVERY Agent │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ Agent 1 │ │ Agent 2 │ │ Agent 3 │ │
│ │ llm=llm ✅ │ │ llm=llm ✅ │ │ llm=llm ✅ │ │
│ └──────────────┘ └──────────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ STEP 3: Assign to Crew │
│ ┌──────────────────────────────────────────────┐ │
│ │ Crew │ │
│ │ manager_llm=llm ✅ │ │
│ └──────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ RESULT: Uses Groq Everywhere! ✅ │
│ ┌──────────────────────────────────────────────┐ │
│ │ ✅ No OpenAI calls │ │
│ │ ✅ No rate limit errors │ │
│ │ ✅ AgentOps shows correct model │ │
│ └──────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
CODE COMPARISON
---------------
❌ WRONG (Will use OpenAI):
```python
llm = LLM(model="groq/llama-3.1-8b-instant")
agent = Agent(
role="Researcher",
goal="Research",
backstory="Expert"
# ❌ Missing: llm=llm
)
crew = Crew(
agents=[agent],
tasks=[task]
# ❌ Missing: manager_llm=llm
)
```
✅ CORRECT (Will use Groq):
```python
llm = LLM(model="groq/llama-3.1-8b-instant")
agent = Agent(
role="Researcher",
goal="Research",
backstory="Expert",
llm=llm # ✅ Assigned
)
crew = Crew(
agents=[agent],
tasks=[task],
manager_llm=llm # ✅ Assigned
)
```
PROCEDURE FOR ANY CREWAI PROJECT
---------------------------------
Step 1: Choose Your Free LLM
┌────────────────────────────────────────────────────────────┐
│ Option A: Groq (Cloud, Fast, Free Tier) │
│ llm = LLM(model="groq/llama-3.1-8b-instant", │
│ api_key=os.getenv("GROQ_API_KEY")) │
│ │
│ Option B: Ollama (Local, Unlimited, No API Key) │
│ llm = LLM(model="ollama/llama3.1", │
│ base_url="http://localhost:11434") │
│ │
│ Option C: HuggingFace (Cloud, Free Tier) │
│ llm = LLM(model="huggingface/meta-llama/Llama-3.1-8B", │
│ api_key=os.getenv("HUGGINGFACE_API_KEY")) │
│ │
│ Option D: Google Gemini (Cloud, Free Tier) │
│ llm = LLM(model="gemini/gemini-1.5-flash", │
│ api_key=os.getenv("GOOGLE_API_KEY")) │
└────────────────────────────────────────────────────────────┘
Step 2: Create Agents with LLM
┌────────────────────────────────────────────────────────────┐
│ agent1 = Agent(role="...", goal="...", │
│ backstory="...", llm=llm) ← CRITICAL! │
│ │
│ agent2 = Agent(role="...", goal="...", │
│ backstory="...", llm=llm) ← CRITICAL! │
└────────────────────────────────────────────────────────────┘
Step 3: Create Crew with Manager LLM
┌────────────────────────────────────────────────────────────┐
│ crew = Crew(agents=[agent1, agent2], │
│ tasks=[task1, task2], │
│ manager_llm=llm) ← CRITICAL! │
└────────────────────────────────────────────────────────────┘
Step 4: Verify on AgentOps
┌────────────────────────────────────────────────────────────┐
│ Before: Model shows "gpt-4" or "gpt-3.5-turbo" │
│ After: Model shows "groq/llama-3.1-8b-instant" │
│ │
│ This confirms CrewAI is using YOUR LLM, not OpenAI! │
└────────────────────────────────────────────────────────────┘
VERIFICATION CHECKLIST
----------------------
For EVERY CrewAI project, verify:
□ Step 1: LLM defined at top of file
llm = LLM(model="...", api_key=...)
□ Step 2: EVERY agent has llm parameter
agent = Agent(..., llm=llm)
□ Step 3: Crew has manager_llm parameter
crew = Crew(..., manager_llm=llm)
□ Step 4: No OpenAI errors when running
No "RateLimitError" or "AuthenticationError"
□ Step 5: AgentOps shows correct model
Dashboard displays your model, not OpenAI
COMMON MISTAKES
---------------
Mistake 1: LLM defined but not assigned
❌ llm = LLM(...)
❌ agent = Agent(...) # Missing llm=llm
Mistake 2: Assigned to some agents, not all
❌ agent1 = Agent(..., llm=llm) # ✅ Good
❌ agent2 = Agent(...) # ❌ Missing llm=llm
Mistake 3: Assigned to agents but not crew
❌ agent = Agent(..., llm=llm) # ✅ Good
❌ crew = Crew(...) # ❌ Missing manager_llm=llm
Mistake 4: Using different LLMs inconsistently
❌ agent1 = Agent(..., llm=llm1)
❌ agent2 = Agent(..., llm=llm2)
❌ crew = Crew(..., manager_llm=llm3)
(This can work but is confusing and error-prone)
WHY AGENTOPS NOW SHOWS THE CORRECT MODEL
-----------------------------------------
Before Fix:
┌─────────────────────────────────────────┐
│ AgentOps Dashboard │
│ ┌─────────────────────────────────────┐ │
│ │ Session: abc123 │ │
│ │ Model: gpt-4 ❌ │ │
│ │ Provider: OpenAI ❌ │ │
│ └─────────────────────────────────────┘ │
└─────────────────────────────────────────┘
Reason: CrewAI was using OpenAI as fallback
After Fix:
┌─────────────────────────────────────────┐
│ AgentOps Dashboard │
│ ┌─────────────────────────────────────┐ │
│ │ Session: xyz789 │ │
│ │ Model: groq/llama-3.1-8b-instant ✅ │ │
│ │ Provider: Groq ✅ │ │
│ └─────────────────────────────────────┘ │
└─────────────────────────────────────────┘
Reason: CrewAI is now using your assigned LLM
SUMMARY
-------
The 3-Step Rule for EVERY CrewAI Project:
1. Define LLM ONCE:
llm = LLM(model="...", api_key=...)
2. Assign to ALL agents:
agent = Agent(..., llm=llm)
3. Assign to Crew:
crew = Crew(..., manager_llm=llm)
Follow this rule, and you'll NEVER get OpenAI rate limit errors again!
================================================================================
✅ YOU NOW KNOW THE COMPLETE PROCEDURE!
================================================================================
For detailed examples and code, see: REPLACING_OPENAI_GUIDE.md
================================================================================
