数据清洗技术介绍，为什么说大语言模型AI应用创业是地狱难度等 | Chatopera 行业快讯
Hai
1. 多模态大语言模型幻觉问题综述论文
对多模态大语言模型中的幻觉问题进行了全面的调研。多模态大语言模型容易产生幻觉,即输出与图像不一致的文本。幻觉的成因可归结为数据质量、模型能力、训练方式、推理过程等多个层面。目前已有多种评估幻觉的基准和指标,但尚缺乏统一的标准。现有的幻觉消除方法包括数据增强、模型改进、训练策略优化、推理过程干预等。(来源 归藏 on X)
2. 为什么说大语言模型AI应用创业是地狱难度
看媒体炒作AI已经飞上天了，恨不得全部人类都要失业了，AI要统治世界了。但是这些都是炒作而已。事实是：基于大语言模型的AI应用创业是地狱难度。我认为可能半年内大部分纯做大语言模型应用的AI创业公司都会死掉。首先，今天的AI时代和过去的移动互联网时代最大的不同是，用户已经没有什么未满足的刚需了。其次，就算你找到了一个刚需痛点、就算你能实现一个好10倍的解决方案，大部分时候，用户用ChatGPT也可以达到类似的效果。最后，成本太高。因为前边说的AI准确率其实还不够，为了提升AI应用的成功率，往往需要大量的prompt engineering，很多的COT，很多的few shot example，甚至很多人要用multi-agent。也就是多个AI互相对话来解决一个问题。准确率是可以提高，但这往往意味着一次调用就要花费很大量的token数量。因此，大语言模型做应用基本不成立。(来源 虎嗅网)
3. 大语言模型推理服务框架 — Xinference
今天来介绍一下Xinference，与Ollama比较，Xinference自带Webui与用户交互更加友好，只需点一下所需要的模型，自动完成部署，同时，Xinference在启动时可以指定Modelscope社区下载模型，对于无法登陆抱抱脸的伙伴，可以大幅提升模型下载效率。(来源 CSDN)
4. 数据清洗技术-大语言模型
RAG中，文档摄取方式起着至关重要的作用。例如，如果我们的上下文文档含有对LLM来说不寻常的字符，如表情符号，这可能会混淆LLM对所提供上下文的理解。在将文本输入到任何类型的机器学习算法之前，清理文本是标准做法。无论是使用监督学习算法、非监督学习算法，还是为您的生成性AI模型制定上下文，使文本处于良好状态都有助于：确保准确性；提升质量；便于分析。数据清洗的四个步骤：步骤1，数据清洗和噪声减少；步骤2，文本标准化和规范化；步骤3，元数据处理；步骤4，上下文信息处理。(来源 53ai)
5. 王冠：发力人工智能 宁波有优势，胆子可大些
可之（宁波）人工智能科技有限公司董事长、上海交通大学宁波人工智能研究院智慧金融实验室主任王冠今日接受采访时表示，理解新质生产力，可以站在历史的维度来思考。我觉得，它是经过对人类生产力发展历史阶段的深刻洞察后，对未来生产力发展趋势的描述。发展人工智能产业，需要务实的宁波人迈出“大胆”的一步。(来源 宁波日报)
6. 在浏览器中加载运行开源大模型
https://github.com/abi/secret-llama 项目支持在浏览器中加载运行大语言模型。完全支持私有化，支持开源大语言模型：TinyLlama，Llama-3-8B，Mistral 等。(来源 GitHub)
本期导读结束。支持我们，敬请订阅、分享。
Chatopera 云服务低代码定制聊天机器人。
