使用 CrewAI 为 NPC 注入生命--初步对话分析

Rifx.Online
Roleplay , Programming , Machine Learning
19 Jan, 2025

对话分析使用输出来自：使用代理通过 CrewAI 为 NPC 赋予生命

分析

模拟1：软件工程师、计算机科学家、计算机工程师的群体
结论
支持

分析方法

提取的特征
拆分 global_conversations.txt
情感、主题、词汇多样性、情绪
自相似性
笔记本

背景

之前我在我的文章使用代理为NPC注入生命和使用CrewAI为NPC注入生命中讨论了我为什么对模拟二维社会感兴趣。让我们分析一下使用对话派对模拟器进行的简短对话。请注意，这是在任何NPC与世界交互的开发之前。

软件工程师、计算机科学家、计算机工程师的人口

我们添加了在相关研究领域有背景的NPC。他们的初始任务应该使他们能够轻松地相互讨论。

NPCs

模拟中的非可玩角色

Carly Cummings — 计算机科学家，初始任务：应用位运算

Katherine Jones — 计算机工程师，初始任务：创建半加器

Ashley Brown — 电气工程师，初始任务：应用布尔逻辑

结论

三个 NPC 始终围绕主题，或者更具体地说，他们很少偏离起始话题。
在特定的对话中，词汇使用的范围令人印象深刻地多样化；然而，在回答中可以看到讨论的回响，这在比较文本之间的相似性时显而易见。
主题分析揭示了两个对话。需要注意的是，这可能是因为 2 个人没有互动。双向对话的组合是：Carly<->Katherine, Carly<-Ashley

支持

文本

对话文本可以在本笔记本的开头找到

情感分析：

记住：-1 是负面，0 是中性，+1 是正面

从分析的对话中，我们可以看到一些非常中性和相对积极的对话发生。

主题

识别出两个主题分组：

主题 0 包括：‘查询’，‘缓存’，‘查询’，‘优化’，‘数据库’，‘高效’，‘策略’，‘性能’，‘检索’，‘数据’

主题 1 包括：‘增强’，‘像’，‘算法’，‘数据’，‘高效’，‘布尔’，‘操作’，‘设计’，‘cpu’，‘逻辑’]

词汇多样性

请记住：这是单词集合与所有单词的比率。换句话说，随着词汇多样性接近1（最大独特性），更多的单词是独特的；而随着词汇多样性接近0（最小独特性），更多的单词被重复使用。

我们可以从这个图表中看到每次对话中单词使用的中到高独特性。

情感识别

使用 Hugging Face Transformers 进行情感识别：emotion_pipeline = pipeline(‘sentiment-analysis’, model=’bhadresh-savani/distilbert-base-uncased-emotion’)

在交流中识别出的情感是惊讶和快乐。

语义相似性

记住：1 表示完全相似，而 -1 表示完全不相似

显然，谈话保持在相似的话题上；例如，我们最不相似的余弦相似度约为 0.8，这相当相似。

分析方法

提取的特征

情感分析：使用 TextBlob 进行快速极性评估
主题建模：使用 LDA 识别主题；确保进行数据预处理以获得更好的结果（例如，去除停用词、词形还原）。
词汇多样性：简单的类型-标记比率。
情感识别：使用 Hugging Face 上的基于 BERT 的模型识别超越简单情感的情感。
语义相似性：利用 BERT 进行嵌入相似性的基本示例，指示对话轮次之间的上下文对齐。

分割 global_conversations.txt

我们有一个关于谁在和谁说话的模式，因此我们在这些向量上进行分割；忽略说话者和听众

import re
def split_conversation(raw_conversation):
  
  # 我们的对话大致是 "<person talking> (talking to <person>):..." 
  # 让我们在这个基础上进行分割 
  lines = re.split(r'^.*?\(talking to.*?\)\:', raw_conversation, flags=re.MULTILINE)
 
  
  # 移除空行以及每行的前后空白
  return [line.strip() for line in lines if line.strip()]

情感主题与情绪

import nltk
nltk.download('punkt_tab')
nltk.download('punkt')
nltk.download('stopwords')
nltk.download('vader_lexicon')
import gensim
import numpy as np
import pandas as pd
from textblob import TextBlob
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation
from nltk.corpus import stopwords
import transformers
from transformers import pipeline, BertTokenizer, BertModel
from gensim import corpora, models
from collections import Counter
import networkx as nx

def sentiment_analysis(conversations):
    sentiments = []
    for conversation in conversations:
        blob = TextBlob(conversation)
        sentiments.append(blob.sentiment.polarity)
    return sentiments

def topic_modeling(conversations, num_topics=2):
    cv = CountVectorizer(stop_words='english')
    dtm = cv.fit_transform(conversations)
    lda = LatentDirichletAllocation(n_components=num_topics, random_state=0)
    lda.fit(dtm)
    topic_results = lda.transform(dtm)
    topic_words = {}
    for i, topic in enumerate(lda.components_):
        topic_words[f"Topic {i}"] = [cv.get_feature_names_out()[j] 
                                     for j in topic.argsort()[-10:]]
    return topic_words

def lexical_diversity(conversations):
    diversities = []
    for conversation in conversations:
        words = nltk.word_tokenize(conversation)
        diversity = len(set(words)) / len(words) #"set of words"/"num words"
        diversities.append(diversity)
    return diversities

## 使用Hugging Face Transformers进行情感识别
emotion_pipeline = pipeline('sentiment-analysis', 
                            model='bhadresh-savani/distilbert-base-uncased-emotion')

def detect_emotions(conversation_texts):
    return emotion_pipeline(conversation_texts)

sentiments = sentiment_analysis(conversations)
topics = topic_modeling(conversations)
diversities = lexical_diversity(conversations)
emotions = detect_emotions(conversations)

print(f'Sentiments: {sentiments}')
print(f'Topics: {topics}')
print(f'Lexical Diversities: {diversities}')
print(f'Emotions: {emotions}')

自相似性

我们使用 Hugging Face transformers 初始化一个 BERT tokenizer 和模型，这些模型是在“bert-base-uncased”语料库上进行预训练的，用于计算给定文本列表之间的语义相似性。get_embeddings() 函数对句子进行分词，使用 BERT 生成其嵌入，并对向量进行平均以生成单个嵌入。calculate_cosine_similarity() 函数计算两个嵌入向量之间的余弦相似度，量化它们的语义相似性。semantic_similarity() 函数处理所有对话，获取它们的嵌入，并用成对的余弦相似度填充矩阵。在填充矩阵时，务必将自相似比较设置为 1.0。该矩阵是热图的基础，其中黄色表示更相似，蓝色表示不太相似。

from transformers import BertTokenizer, BertModel
import torch
import numpy as np
import matplotlib.pyplot as plt

## init BERT tokenizer and model
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

def get_embeddings(sentence):
    inputs = tokenizer(sentence, return_tensors='pt', truncation=True, padding=True)
    with torch.no_grad():
        outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1).squeeze()

def calculate_cosine_similarity(embed1, embed2):
    cos_sim = np.dot(embed1, embed2) / (np.linalg.norm(embed1) * np.linalg.norm(embed2))
    return cos_sim

def semantic_similarity(conversations):
    embeddings = [get_embeddings(conversation).numpy() for conversation in conversations]
    similarities = np.zeros((len(conversations), len(conversations)))

    for i in range(len(conversations)):
        for j in range(len(conversations)):
            if i != j:
                similarities[i][j] = calculate_cosine_similarity(embeddings[i], embeddings[j])
            else:
                similarities[i][j] = 1.0  # Similarity of a sentence with itself

    return similarities

## calculate semantic similarities for the entire conversation set
similarities = semantic_similarity(conversations)

## semantic similarity as a heatmap
plt.figure(figsize=(8, 6))
plt.imshow(similarities, cmap='viridis', interpolation='nearest')
plt.colorbar(label='Cosine Similarity')
plt.xticks(ticks=range(len(conversations)), labels=[f"Conv-{i+1}" for i in range(len(conversations))], rotation=45)
plt.yticks(ticks=range(len(conversations)), labels=[f"Conv-{i+1}" for i in range(len(conversations))])
plt.title('Semantic Similarity Heatmap Among Conversations')
plt.xlabel('Conversation Index')
plt.ylabel('Conversation Index')
plt.show()