大模型幻觉的本质与应对策略

xiejin77

大模型幻觉的本质与应对策略
近年来，大语言模型（LLM）如ChatGPT的迅速发展虽然显著提升了人工智能在人机交互中的表现能力，但其在生成文本时频繁出现所谓的“幻觉”现象，即生成出看似真实但实际上不符合事实、甚至完全荒谬的内容。然而，尽管大模型表现得颇为智能，其在生成文本内容时也频频出现所谓的“幻觉”现象，即模型生成出看似真实但并不符合事实、甚至是荒谬的内容。这种现象的存在，使得大语言模型的广泛应用在某些关键场景中存在显著风险。本文将结合现有理论，对大模型幻觉现象的来源及其可能的应对策略进行详细解读，试图为读者提供一个系统性的理解框架。
  n+ h7 ]" S* P( K2 ?9 k
# k6 ?  N3 b4 k  x4 [( C5 I幻觉的来源与本质
1. 预训练模型的泛化性与统计分布偏差
2 q: ]' S1 W3 E% ^) p大模型幻觉的来源可以理解为是预训练基础模型在处理泛化性问题时的表现，也可以理解为是模型统计分布偏差的体现。这两者在幻觉现象中可能是共存的。
, ]  A: m! ^' f% s- T7 V
0 r6 t# g3 f2 T3 }9 E- l
$ G$ n- |- a& K泛化性问题：预训练的大语言模型是基于大量文本数据进行训练的，其目标是学习语言的结构和统计规律，从而生成与人类语言相似的文本。例如，模型通过分析大量句子中的词汇共现关系，学习哪些词汇在特定上下文中更有可能出现。比如，给定“猫在树上”，模型通过统计规律推测出“猫”与“爬”这种词汇的高度关联性，进而生成合理的后续内容。模型还会利用语法结构学习句子的构造方式，以确保生成的句子符合语言规则，展现出自然流畅的语言风格。然而，由于模型是基于已有数据的统计来预测下一个最可能的词汇，这使得它在遇到从未见过的情境或内容时，只能根据已有知识进行“泛化”推测，而这种推测常常会偏离事实，形成幻觉。换句话说，泛化性问题即是模型在面对新问题时的扩展性表现，其最终生成内容可能并不准确。
4 ?. [5 X4 ^4 A1 W& Z
+ S& d) M* V$ {2 Q统计分布偏差：预训练语言模型的核心在于统计分布的学习，即通过大规模数据训练来学习词汇的共现概率。这种基于概率的推测在大多数情况下可以有效地生成合理的文本，但在一些内容稀缺的领域，或者在训练数据中存在偏差时，模型往往会生成不准确或荒谬的内容。幻觉的根源之一即是这种统计分布的偏差，这意味着无论模型如何进步，只要依赖于当前的概率推测方式，幻觉现象就无法完全消除。

3 Q* b- g3 c$ M% n大模型的泛化能力与统计分布偏差的共存，使得它在处理不同类型的任务时会表现出不同程度的幻觉。这种现象不仅对模型的输出质量提出了挑战，也要求我们在理解和应用大模型时，充分认识到其局限性。例如，在涉及到事实性强的任务中，如医学诊断或法律咨询，统计分布偏差可能会导致严重的幻觉，而泛化性问题则会使得模型在遇到未见过的情况时产生不准确的推测。因此，理解这两者的相互作用，对于有效地应对和减少幻觉现象至关重要。
, ?4 o3 \; }: ]& q$ A
2. 对模型进行外部校准的必要性
幻觉现象还表现在大模型对涌现现象和幻觉现象的混淆上。涌现现象通常是指模型在处理复杂问题时所展现出的超越预期的能力，但这种能力在一些情境下也会被误判为幻觉。因此，要区分模型在处理问题时是否真正产生了有价值的涌现，或者只是幻觉的产物，就需要对其进行“外部校准”。这种外部校准类似于区块链中的“预言机”，即通过外部来源来验证区块链内信息的正确性。在这里，“预言机”可以理解为一个从外部获取真实世界信息的桥梁，用于确认生成内容的真实性。
4 D. Y0 W. ?. P4 l* q5 q* j6 [

4 ]* J& y2 b+ P/ H7 Z在实际应用中，外部校准可以通过多种手段实现。例如，结合外部数据库进行事实核查，或者引入人类专家的审查，以确保模型生成的内容符合真实情况。然而，外部校准也面临实际的挑战和成本问题。一方面，事实核查需要可靠且丰富的数据来源，但在某些新兴领域或数据匮乏的场景中，权威数据的缺乏可能导致校准效果不佳。另一方面，引入人类专家进行审查虽然可以提高准确性，但同时也增加了时间和经济成本，特别是在高频应用的情况下，这样的审查难以做到全面覆盖。因此，如何在成本可控的情况下有效实现外部校准，是当前面临的重要问题之一。这种外部校准的机制，可以在一定程度上减少幻觉现象的发生，特别是在高风险的应用场景中，如医疗、法律和金融领域。通过外部校准，我们可以更好地控制模型的输出质量，从而提高其在关键任务中的可靠性。
3 a8 [9 Q* s- |$ F& {5 j7 Z6 |
  @" p2 S. N; k6 _! f& n外部校准在具体操作中也面临诸多技术挑战。比如，如何确保外部信息源的真实性和及时性，以及如何处理不同信息源之间的矛盾等问题，这些都需要在外部校准机制设计时予以重点考虑。进一步来看，外部校准还应与实时数据更新相结合，特别是在医疗和金融等需要高度准确性和及时响应的领域，模型需要能够动态访问并整合最新的信息，以减少幻觉风险。因此，外部校准不仅是一种解决方案，更是一项复杂的系统工程，需要结合技术、专家意见、外部资源和动态数据的多方协同来实现其最佳效果。

这一点也与哥德尔不完备定理中的自指性问题相似：一个系统无法通过自身来证明自身的完备性。对于大模型而言，其生成内容的真实性和正确性无法通过自身机制来验证，而必须依赖外部专家或者权威信息源进行确认。这种局限性进一步导致了幻觉现象的不可避免性。

0 s" F! h- G0 \/ H1 m. E' e7 Y从哥德尔不完备性的角度来看，大模型的局限性是内在的，即使不断优化和改进其结构和训练方式，幻觉现象仍然难以完全消除。要彻底解决这一问题，需要在技术层面之外，引入更多的外部审查和验证机制。这也为未来的大模型设计提供了新的方向，即如何在系统内部结构优化的同时，更好地结合外部信息源，以实现对内容的有效校准和验证。
9 {) ~0 ~, u0 u: `. ~/ _& H
3. 语言模型中的信任问题
. k# ]. C  P7 j/ h语言模型的幻觉问题背后还涉及到哲学层面的“认识信任”（epistemic trust）问题，即如何确认语言表达的内容是真实的。在传统科学中，实验、逻辑推理和同行评审是验证知识的手段。然而，大模型生成的文本并没有这样的验证机制，它们更多是基于训练数据中反映出的共识，或者说是一种“众包信任”的模式，即基于训练数据中的共现概率来推断某个陈述的真实性。正如文章所指出的，当某个领域的数据稀缺或者该领域本身存在争议时，模型就更容易生成幻觉内容。

随着互联网的发展，大模型的训练数据来源也越来越多样化，这在一定程度上提高了模型的泛用性，但也带来了信任问题。特别是当训练数据中存在偏见或错误信息时，模型可能会将这些偏见和错误“学到”并在生成内容中体现出来。这种信任问题，不仅涉及到模型本身的性能，也影响到用户对模型输出的信任程度。

5 u2 Y/ p4 _1 P0 E% m% O$ }在哲学上，认识信任的建立通常依赖于权威的验证和逻辑的推理，而大模型的输出却没有类似的验证机制。这使得我们在面对模型生成的内容时，必须保持警惕，不能盲目相信其输出的真实性。为了增强用户对模型的信任，可以在模型的应用中引入更多的透明性机制，例如显示生成内容的来源，或者在生成过程中提示用户哪些内容可能需要进一步验证。这些措施可以帮助用户更好地理解和评估模型输出的可靠性，从而减少因幻觉现象而导致的误导。
* s# J! U) n/ X+ _
9 M6 I( n# P" \$ l还可以通过建立多层次的信任体系来增强对模型输出的信任。例如，可以在模型生成的基础上引入辅助性的信息验证系统，或者结合用户反馈机制，逐步调整模型的输出策略，以提高其可靠性。这些方法在实践中需要考虑到用户体验的平衡，即如何在增加验证步骤的同时保持系统的易用性和高效性。这种多层次的信任体系设计，将有助于提高大语言模型在实际应用中的信任度和普及率。
; C. _8 T  h& ]2 g8 z! `% m9 [
幻觉应对策略与现有的技术手段
/ I9 m) W0 b5 L0. 多智能模型与多智能体协作
( g, R+ }* A6 f) e' l& Q单一大模型体系的幻觉问题，可以通过多智能模型协作，或者是多智能体（依托于不同大模型）的协作决策体系来进行处理。通过引入多个独立训练的大模型，或是利用多个具备不同能力的智能体进行协作，每个模型或智能体可以互相验证彼此的生成内容，从而减少幻觉的发生概率。这种协作机制类似于一种“集体智慧”模式，可以通过多个模型的相互补充与纠错来提高整体系统的可靠性。

5 c  A" w& z$ R4 r7 a8 z! [例如，在医疗领域，可以结合多个大模型对诊断结果进行交叉验证，从而减少单一模型由于训练数据偏差而产生幻觉的可能性。在法律领域，可以使用多个大模型分别生成法律建议，并由独立的智能体进行整合和验证，以确保最终输出的准确性和一致性。这种多智能体协作的方式，不仅可以提高模型的整体性能，还可以在某种程度上增强用户对系统输出的信任。

这种多模型协作的体系还可以结合不同类型的大模型，以充分利用每个模型的独特优势。例如，一个模型可以专注于语言理解，另一个模型则专注于事实核查，还有一些模型可以专注于情感分析和用户交互。通过这样的分工协作，不同模型之间可以取长补短，共同生成更加可靠和全面的内容。多智能体的协作也有助于在复杂决策中引入多样化的观点，避免单一模型可能出现的偏见和误导，从而更好地服务于实际应用需求。
, _+ a# ?. Z. X6 S: }1 t  N
1. 微调与对齐
. ]3 h- }) b) n' E0 {2 F针对幻觉现象的应对策略之一是通过微调和对齐来减少幻觉的发生概率。微调是指在基础模型的基础上，利用特定领域的高质量数据对模型进行二次训练，从而使其在该领域的表现更为准确。通过微调，模型可以更好地理解某些特定领域的知识，减少因数据稀缺而导致的幻觉。然而，微调的效果受到数据质量和多样性的限制，如果微调数据本身存在偏差，模型依然可能生成错误信息。

对齐则是通过在训练或微调的过程中引入人类反馈，使模型的输出更符合人类的价值观和预期。对齐技术的应用可以减少模型生成不适当或错误内容的概率，但也难以彻底消除幻觉，尤其是对于那些数据稀缺或争议性强的领域。
- j5 j! r4 V/ e" t
+ V1 e/ J* j3 G! X  }. Q微调与对齐的结合可以在一定程度上提高模型的可靠性，但这也意味着在应用模型时需要投入更多的资源。尤其是在高度专业化的领域，如医学和法律领域，微调和对齐的成本较高，这限制了其大规模应用的可能性。即便在进行了微调和对齐后，模型的输出依然可能受到训练数据的限制，特别是在处理涉及价值判断和伦理问题的内容时，这些方法的效果仍然有限。

为了进一步提高微调和对齐的效果，可以引入动态反馈机制，即通过用户在实际应用中的反馈不断调整模型的参数和输出策略。这种动态调整机制可以使模型逐渐适应变化的环境和需求，提高其在复杂情境中的表现能力。然而，这也对模型的可持续训练和数据管理提出了更高的要求，特别是在隐私保护和数据安全方面，需要采取有效措施以保障用户数据的安全性和合规性。
% L/ s7 O* r, ], B( c
7 B7 f3 d. @; j( X- q& c  N/ U  `2. 加强外部校验与事实检查
在应用大语言模型的过程中，可以引入外部校验机制，对模型生成的内容进行事实检查。这种方法的一个典型案例是结合搜索引擎或数据库来验证模型生成的内容是否与现有的权威信息一致。通过外部校验，可以有效减少模型生成幻觉的风险。然而，这种方法也存在局限性，比如对于一些没有权威参考资料的新领域，事实校验的效果会大打折扣。

还有一些研究尝试结合多个模型的输出进行交叉验证，从而判断某个陈述是否可靠。这种方法基于不同模型在训练数据和推断方式上的差异，利用多样性来提高生成内容的可靠性。通过这种交叉验证的方式，可以进一步减少幻觉现象的发生概率，但这也要求用户具备一定的专业知识，以便在不同模型的输出之间做出合理的判断。
) `: k, c  [3 |# M6 X  F" t) Y( M
外部校验与事实检查的结合，可以在一定程度上提高模型的输出质量，尤其是在涉及到事实性强的任务中。例如，在新闻生成、科学报告和政策分析等场景中，引入外部校验机制，可以有效防止模型生成虚假或误导性的信息。结合自动化的事实检查工具和人工审查，可以进一步提高内容的准确性和可信度。
6 i4 U8 A" W$ ]2 i
为了确保事实检查的有效性，未来可以探索更多自动化的事实验证工具，例如结合自然语言处理与知识图谱技术，自动识别并验证模型输出中的关键信息。这种自动化的事实验证不仅可以降低人力成本，还可以提高事实校验的效率和准确性，特别是在面对大规模内容生成的场景中，自动化工具的引入将是不可或缺的。

' a2 |4 \4 F2 |2 y* m5 p' P: d7 J2 a3. 理解模型的适用范围
, n) v. J+ O  n1 c幻觉现象的不可完全避免性意味着我们在使用大语言模型时必须理解其适用范围。模型在处理大量已有数据且存在明确共识的问题时，通常能够生成较为准确的内容，但在处理数据稀缺、存在争议或者高度专业化的问题时，生成幻觉的风险会大大增加。因此，在应用大模型时，尤其是在决策支持、法律咨询、医疗诊断等高风险场景中，必须谨慎对待其输出，必要时结合领域专家的审核与判断。

理解模型的适用范围，不仅有助于减少幻觉现象的负面影响，也可以提高模型的整体应用效果。例如，在低风险的日常任务中，如文本生成、聊天机器人等场景，大模型可以提供良好的用户体验，生成内容的幻觉风险相对较小。而在高风险的专业领域，我们则需要更为谨慎地应用模型，必要时结合人类专家的判断，以确保最终输出的准确性和可靠性。

对于用户来说，理解模型的适用范围还可以帮助其更好地利用模型的优势，避免因误用而导致的不必要风险。例如，在教育和培训场景中，用户可以利用模型进行辅助教学，但在涉及到考试评分或学术评估时，必须谨慎对待模型的输出，以防止因幻觉而导致错误的判断和决策。
- }  V* _+ h8 I2 u8 l
为了帮助用户更好地理解和应用模型，可以在系统中加入可视化工具和解释机制，使用户能够清楚地看到模型的推理过程和数据来源。这种透明化的设计将有助于用户判断模型输出的可信度，并对其做出适当的调整和使用。模型的开发者也应通过教育和培训，帮助用户理解模型的局限性和适用范围，以增强其在不同场景下的有效应用。
( U9 n5 ^9 ^- X$ {* x
4. 开脑洞的框架设计：基于混合专家的决策引擎
除了减少幻觉现象的应对策略之外，我们还可以考虑利用幻觉现象本身，通过开脑洞的框架设计，构建一个基于混合专家的决策引擎。这个引擎包含共识机制和外部预言机的架构，以多智能体协作的方式利用大模型的幻觉现象来推动创新。
6 K1 X7 }/ `( Y, i% c) j* X

具体来说，这种基于混合专家的决策引擎可以包括多个不同类型的大模型，每个模型代表不同的“专家”，具备各自的特长和优势。在决策过程中，模型之间可以互相验证对方的输出，并通过共识机制选择最优解。外部预言机的作用在于提供额外的信息源，对模型的生成内容进行真实性验证，从而减少因幻觉现象带来的风险。通过这样的设计，不仅可以利用幻觉现象产生的多样化观点，还可以通过外部验证确保输出的质量和准确性。

例如，在产品创意生成或科研创新的情境中，这种决策引擎可以利用幻觉现象生成大量新奇的想法，并通过共识和外部验证的方式筛选出可行性较高的方案。这种方法有助于在探索未知领域时激发创造力，同时减少因幻觉导致的错误和偏见。这种基于混合专家的框架为大模型的应用提供了一种新思路，即如何将模型的缺点转化为优势，通过巧妙的系统设计推动更多的创新和突破。

; Z8 ?& F& R/ V& {5 @7 }对幻觉现象的哲学思考与启示
1. 认识论上的挑战
幻觉现象的存在对人类的认识论提出了挑战。传统上，人类的知识获取主要依赖于经验、逻辑推理和权威验证，而大模型的知识生成方式则是基于统计共现，这种差异导致了知识质量的不确定性。正如文章所指出的，我们需要重新审视在没有明确实验验证和逻辑推理支持的情况下，如何判断一个陈述的真实性。

从某种意义上说，大模型的幻觉现象也揭示了人类知识的脆弱性，即当我们无法通过直接经验或逻辑推理验证某个知识时，我们很容易被貌似合理的陈述所误导。这种现象在哲学上与霍布斯所描述的“语言的滥用”有相似之处，即当语言的使用脱离实际经验时，就会导致错误和混乱。
: x- M. f0 E% A( G: m$ x/ @
8 C8 h5 |' d* ]在这一背景下，如何应对大模型幻觉现象带来的认识论挑战，成为一个值得深思的问题。特别是，在学术和科学研究领域，如何确保通过大模型获得的知识符合科学标准，这不仅涉及到技术层面的改进，也需要在认识论层面做出新的探索和规范。

% u% j3 z( }" n/ Z% ]) w2. 哥德尔不完备性与系统局限
* V+ C2 `) Z) F' D' p4 b7 J2 d; \* t哥德尔的不完备性理论指出，在任何一个复杂的系统中，总有一些命题是系统内部无法证明其真假的。大语言模型的幻觉现象与这一理论有相通之处，即模型无法通过自身验证其生成内容的真实性。因此，幻觉现象的存在并非是模型性能的缺陷，而是其内在局限性所致。要解决这一问题，必须通过外部信息源对模型生成的内容进行验证，这也为未来模型的设计和应用提供了新的方向。

% Y! a/ M7 H4 w0 n7 B从哥德尔不完备性的角度来看，大模型的幻觉现象是一种必然的表现，因为模型本身的结构和训练方式决定了其无法完全避免幻觉。这也提醒我们，在设计和应用大模型时，不能仅依赖于模型内部的优化，而需要更多地考虑如何结合外部的信息源和验证机制，以提高内容的可靠性和真实性。

( y% g$ u5 A  ~% n/ S* O哥德尔不完备性还意味着我们需要在大模型的设计中引入更多跨学科的合作，以确保不同领域的知识可以相互补充和验证。通过结合来自物理、数学、哲学等不同学科的知识，可以更好地应对大模型在生成内容时的局限性和不确定性，提高其在复杂任务中的表现能力。

3. 应对幻觉现象的伦理考量
- n, o! l7 t5 D; w4 x如何应对幻觉现象，不仅是一个技术问题，更是一个伦理问题。大语言模型在某些应用场景下的幻觉可能会导致严重后果，例如在医疗、法律等领域中生成错误信息，可能会对用户造成误导，甚至危及生命安全。因此，如何在模型应用中最大限度地减少幻觉的风险，并确保用户对模型输出的正确理解，是当前需要重点考虑的问题。
9 r! e+ Z$ N  D' w1 i7 o% L
8 v) F3 O1 s1 P9 f  O9 K) z一种可行的策略是提高用户对大模型局限性的认识，使其在使用过程中保持批判性思维，而不是盲目相信模型的输出。对于那些高风险场景，可以结合人类专家的判断，以确保最终决策的可靠性。

在伦理层面，我们还需要考虑如何在技术上加强模型的透明性，使得用户能够了解模型生成内容的依据和可能的局限性。例如，可以在模型生成的过程中提供提示，说明哪些内容是基于统计推测，哪些内容需要进一步验证。这种透明性不仅可以帮助用户更好地理解模型的输出，也可以增强用户对模型的信任。
, x$ A6 f5 ~& q/ H" k, r  w
# C+ e. ?8 p! v% r5 E3 ^制定相关的法律和监管框架，以规范大模型在高风险场景中的应用，也是减少幻觉现象负面影响的重要手段。例如，在医疗领域，可以要求大模型的输出必须经过专业医生的审核，在法律领域，可以规定模型生成的法律建议仅供参考，不能作为正式的法律依据。这些措施都可以有效减少因幻觉而导致的风险，确保大模型的应用更加安全和可靠。
' i& E. D" U- K' z1 C( N
& Z/ ^& N  E) Z在伦理考量中，还应充分关注数据的隐私保护和公平性问题。在大模型的训练过程中，数据的来源和使用方式应符合相关法律法规，确保用户隐私不受侵犯。模型的设计应尽可能避免由于训练数据中的偏见而导致的不公平结果，这对于建立一个公正和可信的人工智能系统至关重要。

. B2 T" I8 Q9 t7 Y% u% p+ H' `结论：幻觉现象对大语言模型应用的启示
大语言模型的幻觉现象不仅是技术上的挑战，也为我们提供了理解人工智能系统局限性的重要视角。从技术角度看，通过微调、对齐、外部校验等手段，可以在一定程度上减少幻觉现象的发生，但难以彻底消除。从哲学和伦理角度看，幻觉现象要求我们在使用人工智能系统时保持警惕，认识到其内在的局限性，并在应用过程中引入多层次的校验机制。
( m% H  Q% Y! ^/ {. @
/ G! Y8 W1 Y  q9 ~$ y  u% v( J3 \未来的大模型发展，需要更多地关注如何在技术上减少幻觉的发生，同时在应用上确保对高风险领域的严格把控。这不仅需要技术的进步，也需要社会各界共同参与，以制定合适的伦理准则和应用规范，确保大模型的发展真正服务于人类社会。

为实现这一目标，我们需要在以下几个方面进行努力： 一是在技术层面，需要不断改进模型的训练方式和结构设计，以减少统计分布偏差带来的幻觉现象；二是在应用层面，需要建立完善的外部校验和验证机制，以确保模型生成内容的可靠性；三是在社会层面，需要制定合适的伦理规范和法律框架，以规范大模型在高风险场景中的应用，确保其对人类社会的积极影响。
2 ~; P, x3 {2 H! }% O
0 R3 q5 `; V' D0 ~7 h2 t大语言模型的未来充满了可能性，但也伴随着风险和挑战。只有通过技术、伦理和社会各方面的共同努力，才能确保大模型的发展真正造福于人类，同时避免因幻觉现象带来的负面影响。对于每一个使用和开发大模型的人来说，理解幻觉的本质、局限性以及应对策略，都是必不可少的。 未来的研究还可以进一步探索如何在大模型中引入更多的认知机制，使其能够模拟人类的推理过程，从而提高对事实的理解和判断能力。同时，随着大模型的广泛应用，跨学科的合作和交流将变得越来越重要，以确保大模型在各个领域的应用都能遵循科学和伦理的标准，从而最大限度地减少幻觉现象的负面影响。

数值分析

首先，请允许我问一下，这篇文章是不是大模型写的？

xiejin77

数值分析 发表于 2024-11-6 14:54
首先，请允许我问一下，这篇文章是不是大模型写的？

( ]" U8 Q( d, W( H1 B" D6 U0 D没啥不可以问的，我写完文章放到GPT的画布里滚了一下，梳理润色，调整格式。
/ \4 O& f* L& @1 I) Y
/ _# u6 F* F9 Y$ h' D6 ?8 T单纯依赖大模型写文章是不会有这么多特定领域的关联的，比如哥德尔定理，有关预言机的基础思路之类的。

所以我的定位是gpt还是以工具为主，它省了我润色梳理校对的时间，也相对正规的把我的一些语病调整掉了，还有可以把文章的格式弄得很整齐。

我现在的习惯，先画思维导图，然后根据导图提纲把想要说的东西都列全。形成草稿。在扔到GPT中去滚滚，既能修改很基础问题，又能够相对快速的正规表达出自己想说的内容。

数值分析

xiejin77 发表于 2024-11-6 16:39
2 d5 x' S/ B( b没啥不可以问的，我写完文章放到GPT的画布里滚了一下，梳理润色，调整格式。

单纯依赖大模型写文章是不 ...

谢谢回答
其实是我总感觉AI处理过的文章，有一种特别的感觉，说不太出来，但能觉出来。。。

xiejin77

数值分析 发表于 2024-11-6 16:48
7 x) b! z; k# ~; F谢谢回答
其实是我总感觉AI处理过的文章，有一种特别的感觉，说不太出来，但能觉出来。。。 ...

, _9 D* p  V" C( G( F6 O这有专门的处理方式的，严格来说，如果不通过特定的水印技术，是很难精确区分AI生成的文字的。

宝特勤

我是人工智能用户，不懂原理，不懂术语，请指教。

最近我训练孩子熟悉人工智能，叫他用人工智能给印度小姑娘一张在纽约中央公园的画像。
. U. n6 T# ]7 N) z7 M, j9 W) c
! P8 C# S, o5 p. Q% G画出来很逼真。唯独小姑娘裙子上有面印度国旗。
8 W: x/ V* O" w9 f
# c! }0 ?+ W3 p, c! i  v于是孩子说 remove 印度国旗，其他都保持原状。

( Q9 d7 I' u; d" w: @3 V( {4 M于是裙子上变成一排五面印度国旗。
3 ?$ ~8 n+ U3 s5 n$ z) D
孩子说我要印度国旗消失。AI说消失了啊。
4 ~4 x  s$ U& r) Z; D
$ m2 D$ g% p8 S4 H% v. B" L+ }不知这是不是一种幻象，以及怎么处理。

xiejin77

宝特勤 发表于 2024-11-6 20:46
( {  m, ?9 T+ g; K# E( o我是人工智能用户，不懂原理，不懂术语，请指教。
9 n3 U9 r$ R) O! n; w3 r2 i$ l
最近我训练孩子熟悉人工智能，叫他用人工智能给印度小姑 ...

您这是多模态应用的范畴，理论上说，这个已经不是预训练大模型的标准框架支持的了。但是去年下半年以来已经成了大模型的标配也就是AIGC的典型分支。这个基础原理目前的理解还不像对于大语言模型那么清晰，我个人的理解，还是以大语言模型的语义空间为主，用clip进行多模态对齐，然后基于扩散模型的原理来生成图像。
" F5 \, S4 T9 n但这样带来的后果就是，很难对生成结果进行精确控制，对齐也有问题。这个不只是幻觉，而是更复杂的现象。我举个最直接的例子，就是目前的所有文生图模型，都很难生成准确的正确汉字画面。这是基本机制导致的。这方面我的研究还不够，可能要等到相对想的比较清楚之后才能进行相对清晰的解释。

宝特勤

xiejin77 发表于 2024-11-7 08:41
您这是多模态应用的范畴，理论上说，这个已经不是预训练大模型的标准框架支持的了。但是去年下半年以来已 ...

是的。人工智能图像汉字不可思议地差。