Mit der rasanten Entwicklung von Technologien wie neuronalen Netzen wird künstliche Intelligenz zunehmend in sicherheitskritischen oder geschäftskritischen Systemen wie autonomen Fahrsystemen für Kraftfahrzeuge, Krankheitsprävention und -kontrolle usw. eingesetzt. Diagnosesystem und Malware Erkennungssystem usw. Aufgrund des Mangels an umfassendem und tiefgreifendem Verständnis des Softwaresystems für künstliche Intelligenz treten häufig schwerwiegende Fehler im System auf. Die funktionalen Attribute und nichtfunktionalen Attribute des Softwaresystems für künstliche Intelligenz wurden vorgeschlagen um das umfassende Verständnis und die Qualitätssicherung von Softwaresystemen mit künstlicher Intelligenz zu stärken. Nach Untersuchungen widmen sich viele Forscher der Untersuchung funktionaler Attribute, aber die Menschen achten zunehmend auf die Qualität von Softwaresysteme für künstliche Intelligenz. Nicht-funktionale Attribute. Zu diesem Zweck konzentrieren wir uns auf die nicht-funktionalen Attribute von Softwaresystemen für künstliche Intelligenz und untersuchen 138 Arbeiten in verwandten Bereichen, einschließlich Attributdefinition und Attributnotwendigkeit und Attributdarstellung Systematische Sortierung und Zusammenfassung der vorhandenen Forschungsarbeiten anhand von Beispielen und gängigen Qualitätssicherungsmethoden sowie gleichzeitige Neudefinition und Analyse der Beziehung zwischen Nicht-< a i=6> funktionale Attribute. Beziehung und stellt die Open-Source-Tools vor, die bei der Erforschung von Softwaresystemen mit künstlicher Intelligenz verwendet werden können. Schließlich werden die zukünftigen Forschungsrichtungen und Herausforderungen nicht funktionaler Attribute künstlicher Es werden Softwaresysteme für die künstliche Intelligenz erforscht, um die Entwicklung von Softwaresystemen für künstliche Intelligenz in diesem Bereich voranzutreiben. Forscher liefern Referenzen. Schlüsselwörter: Softwaresysteme für künstliche Intelligenz; nichtfunktionale Attribute; Qualitätssicherung; neuronales Netzwerk China Library Classification Number: TP311 zusammen Forschungsarbeiten zu nichtfunktionalen Attributen von Softwaresystemen mit künstlicher Intelligenz. Gleichzeitig werden eine Zusammenfassung und eine Beziehungsanalyse zu den nichtfunktionalen Attributen von Softwaresystemen mit künstlicher Intelligenz präsentiert. Die Open-Source-Tools das kann verwendet werden in den Aspekten Attributnotwendigkeit, Attributdefinition, Attributbeispiele und gängige Qualitätssicherungsmethoden zusammen und fasst die der Untersuchung funktionaler Attribute, aber die Menschen widmen den nichtfunktionalen Attributen von Softwaresystemen mit künstlicher Intelligenz immer mehr Aufmerksamkeit. In diesem Artikel werden 138 Artikel untersucht in verwandten Fachgebieten, fasst systematisch die vorhandenen Forschungsergebnisse aus . Nachher Bei der Untersuchung widmen sich viele Forscher häufig. Die funktionalen Attribute und nichtfunktionalen Attribute von Softwaresystemen für künstliche Intelligenz werden vorgeschlagen, um das adäquate Verständnis und die Qualitätssicherung von Softwaresystemen für künstliche Intelligenz zu verbessern eines umfassenden und tiefgreifenden Verständnisses von Softwaresystemen mit künstlicher Intelligenz treten einige Fehler mit schwerwiegenden Folgen auf kritischen oder geschäftskritischen Bereichen eingesetzt. Kritische Systeme wie Autopilotsysteme, Krankheitsdiagnosesysteme und Malware-Erkennungssysteme. Aufgrund des Fehlens Zusammenfassung: Mit der rasanten Entwicklung neuronaler Netzwerke und anderer Technologien wurde künstliche Intelligenz in großem Umfang in sicherheits- (College of Computer and Information, Hohai University , Nanjing 211100, China) YE Shi-Jun, ZHANG Peng-Cheng, JI Shun-Hui, DAI Qi-Yin, YUAN Tian-Hao, REN Bin Umfrage zu nichtfunktionalen Attributen für KI-gestützte Softwaresysteme und Qualitätssicherungsmethoden org.cn/1000-9825/6409.htm Englisches Zitierformat: Ye SJ, Zhang PC, Ji SH, Dai QY, Yuan TH, Ren B. Umfrage zu nichtfunktionalen Attributen für KI-gestützte Softwaresysteme und Qualitätssicherungsmethoden. Ruan Jian Xue Bao/Journal of Software, 2023, 34(1): 103-129 (auf Chinesisch). http://www.jos. Journal of Journalism, 2023, 34(1): 103-129. http://www.jos .org.cn/1000-9825/6409.htm Chinesisches Zitierformat: Ye Shijun, Zhang Pengcheng, Ji Shunhui, Dai Qiyin, Yuan Tianhao, Ren Bin. Eine Rezension der nichtfunktionalen Eigenschaften von Softwaresystemen mit künstlicher Intelligenz und ihrer Qualitätssicherungsmethoden. Software Science
Die Forschung zu Softwaresystemen für künstliche Intelligenz wird untersucht. Abschließend werden die Gedanken zu möglichen zukünftigen Forschungsrichtungen und
Herausforderungen zu nichtfunktionalen Eigenschaften von Softwaresystemen mit künstlicher Intelligenz zusammengefasst, die hoffentlich Referenzen liefern
- Fondsprojekte: National Key Research and Development Program (2018YFC0407901); Jiangsu Provincial Natural Science Foundation (BK20191297); Fundamental Research Funds for Central Universities (B210202075)
Empfangszeitpunkt: 2020- 12 -17; Änderungszeit: 15.03.2021, 17.06.2021; Annahmezeit: 29.06.2021; Online-Veröffentlichungszeit: 03.08.2021
CNKI-Netzwerk zuerst Veröffentlichungszeit: 15.11.2022
Journal of Software, 2023, CODEN RUXUEW E-Mail: [email protected]
34(1): 103−129 [doi: 10.13328/j.cnki.jos.006409] http://www.jos.org.cn
©Institute of Software, Chinesische Akademie der Wissenschaften. Alle Rechte vorbehalten. Tel.: +86-10-62562563
für Forscher, die sich für die entsprechenden Richtungen interessieren.
Schlüsselwörter: Softwaresysteme für künstliche Intelligenz; nichtfunktionale Attribute; Qualitätssicherung; neuronales Netzwerk
Mit großen Durchbrüchen in den Bereichen Computerhardware, Cloud Computing und mobiles Internet wird künstliche Intelligenz (KI) nach und nach auf Anwendungen angewendet, darunter
Krebszellen Identifizierung, landwirtschaftliche Bodenüberwachung, genaue Werbung, Identifizierung von Finanzbetrug, Kreditbewertung und selbstfahrende Autos [1] sicherheitskritische oder geschäftskritische Systeme. In diesem Artikel wird diese Art simulierter menschlicher Systeme verwendet, die bestimmte Denkprozesse ausführen Intelligente Verhaltensweisen wie Lernen, Denken, Planen und Denken werden zusammenfassend als Softwaresysteme für künstliche Intelligenz bezeichnet. Softwaresysteme für künstliche Intelligenz haben relativ komplexe Strukturen, wie beispielsweise digitale Bilderkennungssysteme. Ein einfaches 4-schichtiges Faltungs-Neuronales Netzwerk hat mehr als 13.000 Parameter. Einige Kleine Störungen, die Menschen nicht erkennen können, können dazu führen, dass das neuronale Netzwerk gegensätzliche Urteile fällt. Leider treten aufgrund des Mangels an umfassenden Verständnis- und Bewertungsstandards für Softwaresysteme mit künstlicher Intelligenz häufig einige schwerwiegende Fehler auf -Risikoanwendungen, die bei Menschen Zweifel an der künstlichen Intelligenz hervorgerufen haben. Aufmerksamkeit und Forschung zu Qualitätssicherungsproblemen von Softwaresystemen. Forscher haben die Qualitätssicherung untersucht von Softwaresystemen für künstliche Intelligenz unter den Aspekten Analyse, Test und Verifizierung von Softwaresystemen für künstliche Intelligenz [2]. Grundlage Basierend auf den Ergebnissen von Tests und Verifizierung können Forscher Schutzideen vorlegen Eine Grundlage und eine Richtung. Derzeit haben Softwaresysteme mit künstlicher Intelligenz im Vergleich zu herkömmlicher Software Aufgrund des Unterschiedsproblems haben Forscher traditionelle Softwaretestmethoden verbessert und innoviert, was zu einer Vielzahl von Testmethoden geführt hat. Pei et al. haben beispielsweise eine White-Box-Testmethode für Deep-Learning-Systeme vorgeschlagen – DeepXplore[3]. Diese Methode verbessert die Genauigkeit des Modells, indem sie die generierten Testfälle verwendet, um das Modell neu zu trainieren. Pei et al. verwendeten Neuronen Abdeckung als erstes Experiment Metriken für die Generierung gegnerischer Stichproben, während sie die Anzahl der Fehlererkennungszeiten und die Kontaminationsresistenz von Trainingsdaten als Modellmetriken verwendeten; Cisse et al. führten eine Methode zur Generierung gegnerischer Beispiele namens Houdini ein. [4], dies a> wichtige Rolle bei der Sicherstellung der Qualität des Systems. Energieattribute sind Attribute, die von funktionalen Attributen abhängen. Sie schränken und stark ein begrenzen Softwaresysteme mit künstlicher Intelligenz und spielen eine sehr oder Probleme zu lösen. Bedingungen sind auch die Anforderungen, die Softwaresysteme mit künstlicher Intelligenz und ihre Komponenten Standards und Spezifikationen erfüllen müssen. Diese Attributindikatoren spielen eine wichtige Rolle bei der Leistungserhaltung und Qualitätssicherung von Softwaresysteme mit künstlicher Intelligenz. Die Funktion kann insbesondere in funktionale Attribute (FAs) und nichtfunktionale Attribute (NFAs) unterteilt werden. Funktionale Attribute beschreiben die Systemfunktionen, die sich auf die Fähigkeiten des Softwaresystems mit künstlicher Intelligenz beziehen, die zur Realisierung der Benutzeranforderungen erforderlich sind und Geschäftsanforderungen. Nicht-funktionale Attribute spiegeln die Qualität, Eigenschaften und Einschränkungen des Systems wider. Als Ergänzung zu funktionalen Attributen sind nicht-funktionale Attribute. Einerseits Der Vorschlag dieses Indikators hat das Verständnis der Praktiker für Softwaresysteme mit künstlicher Intelligenz gestärkt. =29> Kognition hingegen verbessert die Qualitätssicherung von Softwaresystemen mit künstlicher Intelligenz. Die Softwareattribute von Softwaresystemen mit künstlicher Intelligenz beziehen sich auf das, was sie benötigen Helfen Sie Benutzern, Ziele zu erreichen Die Diversifizierung von Tests, Verifizierungen und Andere Methoden schaffen auch das Problem inkonsistenter Systembewertungsstandards. Aus diesem Grund haben Forscher nach und nach Attributindikatoren für Softwaresysteme mit künstlicher Intelligenz entwickelt, die auf traditionellen Softwarebewertungsindikatoren basieren Die Rekonstruktionsrate (Zerstörungsrate) wird als Maß für die Modellleistung verwendet. gegnerischen Stichproben [5] haben Kurakin et al. auch die erzeugten gegnerischen Stichproben gedruckt und getestet, indem sie die Zielklassifizierung simuliert haben Szenarien in der realen Welt und durchgeführte Experimente wird in Experimenten verwendet (Prozentsatz der korrekt erkannten Schlüsselpunkte). , struktureller Ähnlichkeitsindex (SSIM) und Wahrnehmbarkeit als Metriken für die Modellmethode; Kurakin et al. verwendeten die symbolische Methode mit schnellem Gradienten (Fast Gradient Sign Method, FGSM), die einfache iterative Methode (BIM) und die ähnlichste iterative Methode (iterative kleinste Wahrscheinlichkeitsklassenmethode, ILCM) und andere Algorithmen zur Generierung von Konfrontationsstichproben-Methode kann kontradiktorische Beispiele basierend auf Testauswertungsindikatoren für Spracherkennung, Verarbeitung natürlicher Sprache und anderen Anwendungsmodellen generieren, und PCKh
Gleichzeitig wurden in gewissem Umfang auch die nichtfunktionalen Eigenschaften von Softwaresystemen für künstliche Intelligenz diskutiert. Wang Zan und andere diskutierten sie aus verschiedenen Blickwinkeln
, einschließlich Testmetriken . Ordnen Sie systematisch die damit verbundenen Arbeiten zum Testen tiefer neuronaler Netze; Zhang et al. fassen sie aus einem breiteren Spektrum maschineller Lerntests zusammen, einschließlich Testprozessen, Testkomponenten, Testattributen und Anwendungsszenarien für maschinelles Lernen. Erstellen Sie eine Zusammenfassung; Vinayagasundaram et al. Definieren Sie Metriken aus der Architekturperspektive des gesamten Softwaresystems für künstliche Intelligenz, um die Qualität der Systemsoftware zu messen. Darüber hinaus haben Gilpin et al. [8] und Mehrabi et al. People[9] die einzelnen nichtfunktionalen Attribute systematisch aussortiert und erklärt Softwaresysteme mit künstlicher Intelligenz. Bedauerlicherweise befasst sich der Inhalt dieser verwandten Arbeiten hauptsächlich mit der Forschung im Bereich der künstlichen Intelligenz a> 104 Journal of Software, Band 34, Ausgabe 1, 2023 Datenschutz< /span> Arbeit< /span>System< /span>Eigenschaft< /span> a> 17 % Abbildung 4 Anteil der Forschungsarbeit zu verschiedenen nichtfunktionalen Attributen Abschnitt 3 fasst die in diesem Artikel aufgeführten vorhandenen Tools oder Open-Source-Projekte zusammen Nicht-funktionale Attribute von Softwaresystemen mit künstlicher Intelligenz; Abschnitt 4 fasst den vollständigen Text zusammen und gibt einen Ausblick auf die Zukunft. In der frühen Phase der Entwicklung von Softwaresystemen mit künstlicher Intelligenz schenken die Menschen den funktionalen Attributen von Softwaresystemen mit künstlicher Intelligenz zu viel Aufmerksamkeit und haben daher weitaus weniger Aufmerksamkeit Verständnis nichtfunktionaler Attribute 1 Nicht -funktionale Attribute von Softwaresystemen mit künstlicher Intelligenz Zukünftige Forschungsrichtungen und Herausforderungen nicht-funktionaler Attribute. Abschnitt 1 dieses Artikels hängt von der Attributdefinition, der Attributnotwendigkeit, Beispielen und gemeinsamen Qualitäten ab. Die nichtfunktionalen Attribute von Softwaresystemen mit künstlicher Intelligenz werden anhand verschiedener Aspekte von Sicherungsmethoden detailliert zusammengefasst und sortiert. Abschnitt 2 fasst die nichtfunktionalen Eigenschaften von Softwaresystemen für künstliche Intelligenz zusammen und erörtert die Unterschiede zwischen ihnen. um die Beziehung zu diskutieren; Ye Shijun et al.: Eine Übersicht über nichtfunktionale Attribute von Softwaresystemen für künstliche Intelligenz und ihre Qualitätssicherungsmethoden 105 23 % 11 % 20 % 15 % 14 % Verfügbarkeit Datenschutz Sicherheit Interpretierbarkeit Fairness Abbildung 3 Zusammenfassung der Zeit der Papierveröffentlichung Fähigkeit 2015 Attributnotwendigkeit Jahr 0 10 20 Anzahl der Dokumente 30 40 21 21 23 20 12 41 Hindernismethode Abbildung 2 Forschungsumfang für nichtfunktionale Attribute 50 Gemeinsame Qualitätssicherung Attributbeispiele AttributdefinitionenAbbildung 1 Gemeinsame nicht standardmäßige Merkmale im Bereich der künstlichen Intelligenz Funktionale Attribute Funktionale AttributeAttributEnergieFunktionSystemSoftwareSoftwareFähigesIntelligenz Menschen Benutzerfreundlichkeit Interpretierbarkeit Fairness Sicherheit Verteilung von Artikeln zu Attributen. Klebrigkeit (7 Artikel), Journal of Software (2 Artikel), andere Konferenz- und Zeitschriftenbeiträge, die nicht im CCF enthalten sind (32 Artikel) und verwandte Bücher (5 Bücher). Abbildung 4 zeigt verschiedene Nichtfunktionen. Computerinteraktion und Ubiquitous Computing (1 Artikel). Darüber hinaus umfasst die in diesem Artikel zitierte Literatur auch arXiv (17 Artikel), CCF-bewertete Konferenzzeitschriftenbeiträge (18 Artikel), Computerarchitektur und paralleles verteiltes Rechnen und Speichersysteme (1 Artikel), Datenbank- und Data-Mining und Content Retrieval (1 Artikel), Mensch der Zitate und Zitierungen der durchsuchten Dokumente; dieser Artikel ist schließlich 138 relevante Arbeiten identifiziert und zitiert. Die Veröffentlichungszeitübersicht der Arbeiten ist in Abbildung 3 dargestellt. 75 der schließlich ausgewählten Arbeiten wurden an den Top-Universitäten in verschiedenen Bereichen mit CCF-Bewertungen von A und B veröffentlicht. Zeitschriften und Konferenzen, einschließlich des Bereichs der künstlichen Intelligenz (38 Artikel), Softwareentwicklung und System- und Programmiersprachenbereiche (15 Artikel), Informatiktheorie (1 Artikel), Netzwerk- und Informationssicherheitsbereich in wichtigen akademischen Suchmaschinen im In- und Ausland (wie Google Scholar, Springer, DBLP, (CiteSeerX, CNKI usw.) Relevante Papiere; anschließend haben wir Papiere überprüft und entfernt, die für die Überprüfungsfrage irrelevant waren. Drei Forscher, die mit Softwaresystemen für künstliche Intelligenz vertraut waren, beteiligten sich an diesem Prozess und eliminierten sie durch Diskussionsdivergenz; dann erhielten wir mehr relevante Arbeiten durch Konsultation der relevanten Arbeit in der Arbeit und der Liste der von den Forschern veröffentlichten Arbeiten sowie durch Schlüsselwörter und die Suche Um die Forschungsfragen systematisch zu ordnen und zu analysieren, kombiniert dieser Artikel zunächst „Nicht-funktionale Attribute/Eigenschaften für künstliche Intelligenz“ und „Robustheit/Sicherheit/Datenschutz/Fairness/Interpretierbarkeit“. „Usability of Artificial Intelligence“ usw. Auf die Suche, um Forschern auf diesem Gebiet eine Referenz zu bieten. werden Beispiele wie automatische Fahrsysteme für Kraftfahrzeuge verwendet, um nichtfunktionale Attribute darzustellen. Funktionsattribute. Funktionale Attribute; Der Abschnitt „Gemeinsame Qualitätssicherungsmethoden“ fasst die vorhandenen Qualitätssicherungsmethoden und Forschungsideen für nichtfunktionale Attribute von Softwaresystemen mit künstlicher Intelligenz zusammen. In diesem Artikel wird auch die Beziehung zwischen nichtfunktionalen Attributen definiert und definiert. Fassen Sie die Analyse zusammen und freuen uns auf die zukünftigen Forschungsrichtungen und Herausforderungen nichtfunktionaler Attribute von Softwaresystemen mit künstlicher Intelligenz Die Definition nichtfunktionaler Attribute wird angegeben in dieser Form; Attributnotwendigkeit zeigt die Bedeutung nichtfunktionaler Attribute bei der Entwicklung von Softwaresystemen für künstliche Intelligenz an; In den Attributbeispielen Sortiert häufige nichtfunktionale Attribute in Softwaresystemen für künstliche Intelligenz aus verschiedenen Aspekten von Qualitätssicherungsmethoden. Darunter werden Attributdefinitionen durch Textbeschreibungen und Formeln dargestellt. Konzentrieren Sie sich auf die nichtfunktionalen Attribute von Softwaresystemen mit künstlicher Intelligenz. Wie in Abbildung 2 dargestellt, wird systematisch mit der Attributdefinition, der Attributnotwendigkeit, Beispielen für nichtfunktionale Attribute und der allgemeinen Qualität begonnen Tests im Forschungsbereich und der Architektur künstlicher Intelligenz, die Forschung zu den nichtfunktionalen Attributen künstlicher Intelligenz hat kein System gebildet, effektive Abdeckungszusammenfassung. Dieser Artikel wird
liegt weit unter den funktionalen Attributen, was der Erkennung und Sicherung von Softwaresystemen für künstliche Intelligenz nicht förderlich ist. In den letzten Jahren haben die Menschen der Forschung zu nichtfunktionalen Attributen immer mehr Aufmerksamkeit geschenkt, und < /span> (3) Gegnerische Robustheit ist eine häufige Kategorie von Robustheit, die hauptsächlich gegnerische Eingaben verwendet, um die Systemrobustheit zu verbessern. Bezugnehmend auf die Arbeit von Katz et al. [24] Gerade jetzt Während die Menschen mit der Vermarktung autonomer Fahrsysteme für Kraftfahrzeuge zufrieden sind, weist ADS häufig einige fatale Lücken auf. Die Erkennungsfunktion im autonomen Fahrsystem ist eine der wichtigen Entscheidungsgrundlagen während des Fahrprozesses des Autos. Einschließlich Zeichenerkennung, Personenerkennung, Straßenerkennung usw. Das von der Honda Motor Company entwickelte automatische Fahrsystem wurde jedoch in einem Test entdeckt; das Markenzeichen und Verkehrszeichen japanischer Ramen „Tiankapin“ „Einfahrt verboten“ kann fälschlicherweise von der erkannt werden Auto das erste halbautomatische Auto in Japan. In den letzten Jahren hat die rasante Entwicklung selbstfahrender Autos einen Trend zur Praktikabilität gezeigt. Zur Verdeutlichung: Um die Robustheit zu erklären, nimmt dieser Artikel das autonome Fahrsystem (ADS) eines Autos als Beispiel. Das PC Magazine definiert ein autonomes Auto als „ein selbstfahrendes Auto“. „fahrendes Auto, das von einem Computer gesteuert wird“ [29 ]. Das automatische Fahrsystem wird auf Autos angewendet, um sicherzustellen, dass das Auto die Umgebung wahrnehmen und im unbemannten Betrieb sicher fahren kann. Forschungs- und Entwicklungsexperimente zu automatischen Fahrsystemen begannen in den 1920er Jahren. Und 1977 testete das Unternehmen erfolgreich 1.1.3 Robustheitsbeispiel aufgrund von Änderungen in der Umgebung, Eingabe und anderen Faktoren. Ebenso wie die Arbeit von Hamon et al. darauf hinwies, dass die Systeme der künstlichen Intelligenz derzeit entwickelt werden sind noch weit davon entfernt, die minimalen Robustheits- und Sicherheitsanforderungen autonomer Systeme zu erreichen [28]. Wie man die Systemrobustheit verbessern kann Um Systemfehler zu reduzieren, ist es zu einem dringenden Problem geworden, das gelöst werden muss. Robustheit ist eine wichtige nicht- Funktionsattribut von Softwaresystemen mit künstlicher Intelligenz [26,27]. Da künstliche Intelligenz allmählich eine entscheidende Rolle bei der Entscheidungsfindung und in autonomen Systemen spielt, beispielsweise in autonomen Fahrsystemen, Malware-Erkennungssystemen und medizinischen Diagnosesystemen, haben Softwaresysteme mit künstlicher Intelligenz zunehmend eine entscheidende Rolle gespielt Es wurde festgestellt, dass es beim Testen und bei der Anwendung häufig zu Systemfehlern kommt 1.1.2 Notwendigkeit der Robustheit ∀x; x' : ||x - x'||p ≤ → h(x) - h(x') ≤ " ; (3) Die oben genannten Arbeiten zeigen Folgendes: Im Gegensatz zu Korrektheit und Überanpassungsgrad ist Robustheit ein Maß für die Korrektheit des Systems bei Vorhandensein von Rauschinterferenzen [6,25], d. h. einem bestimmten 34> A Ein System mit ausgezeichneter Robustheit sollte in der Lage sein, Störungen gut zu widerstehen und seine eigene Leistung unter Störeinflüssen beizubehalten. 106 Journal of Software, Band 34, Ausgabe 1, 2023 ist -lokal robust.∀x ' : ||x - x'||p ≤ → h(x) = h(x') (2) handelt es sich um die Robustheit gegenüber einer bestimmten Testeingabe, während bei der globalen gegnerischen Robustheit die Robustheit gegenüber allen Eingaben gemeint ist." Lokale kontradiktorische Robustheit erfordert, dass alle Stichproben innerhalb der Domäne einer gegebenen Eingabe liegen mit der gleichen Bezeichnung klassifiziert. Mit anderen Worten, bei der lokalen gegnerischen Robustheit Die erste ist die lokale gegnerische Robustheit . Angenommen: x ist eine Testeingabe des Lernmodells h für künstliche Intelligenz; Ausgaben von x und x' auf Modell h. Für jedes x' gilt, wenn es Formel (2) erfüllt, Modell h als in. Die Eingabe x bei, die gegnerische Robustheit kann in lokale gegnerische Robustheit und globale gegnerische Robustheit unterteilt werden, wie in Formel (2) und Formel (3) gezeigt. ③ Bei großen Abweichungen im Modell kann die Leistung des Algorithmus nicht beeinträchtigt werden. Erzeugen Sie „zerstörerische“ Effekte (hauptsächlich Ausreißer, Ausreißer). ② Für kleine Abweichungen im Modell, es kann nur einen geringen Einfluss auf die Leistung des Algorithmus haben (hauptsächlich Rauschen, Rauschen); ① Die Grundvoraussetzungen für alle Lernmodelle in Softwaresystemen für künstliche Intelligenz; das Modell weist eine hohe Genauigkeit oder Wirksamkeit auf; (2) Huber gab systematisch drei Indikatoren für Robustheit aus statistischer Sicht an. Das Konzept des Levels [23 ]: Daher misst Robustheit die Widerstandsfähigkeit eines Softwaresystems mit künstlicher Intelligenz gegenüber Störungen. System, dann Robustheit r des Softwaresystems für künstliche Intelligenz S ist das Maß für die Differenz zwischen E(S) und E(S), das heißt: r = E(S) - E(#(S)) (1) E(S) ist die Korrektheit von S; es ist das System nach Eingriffen in beliebige Komponenten (z. B. Daten, Lernprogramme oder Frameworks) des Softwaresystems für künstliche Intelligenz S (1) Robustheit wird in der IEEE-Software-Engineering-Standardterminologie [21,22] definiert: „Unter ungültiger Eingabe oder stressiger Umgebung wird das System oder der Grad.“ „Beziehen Sie sich auf diese Definition und verwenden Sie Formel (1), um die Definition der Robustheit in Softwaresystemen mit künstlicher Intelligenz anzugeben. Nehmen Sie an, dass S ein Softwaresystem mit künstlicher Intelligenz ist; Derzeit haben verschiedene Studien unterschiedliche Definitionen von Robustheit.#( S )E(#(S )) 1.1.1 Definition von Robustheit 1.1 Robustheit Leistung usw. In diesem Abschnitt werden die oben genannten nichtfunktionalen Attribute in vier Aspekten näher erläutert: Attributdefinition, Attributnotwendigkeit, Attributbeispiele und gemeinsame Qualität Assurance-Methoden. Funktionale Attribute beschreiben die Fähigkeit von Softwaresystemen mit künstlicher Intelligenz, verschiedene Anforderungen zu erfüllen. Nichtfunktionale Attribute hängen ab von Funktionale Attribute stellen Systemeigenschaften und -beschränkungen dar. Zu den häufigen nichtfunktionalen Attributen von Softwaresystemen mit künstlicher Intelligenz gehören Robustheit, Sicherheit, Datenschutz, Fairness, Erklärbarkeit und Verfügbarkeit. aufgrund einer Überanpassung der aktuell verfügbaren Daten. Ein Indikator vom Grad der Vorhersage zukünftiger Ergebnisse [14]. Die Forschung zur Überanpassung konzentriert sich hauptsächlich auf die Ursachen der Überanpassung (komplexe Modelle [15], spärliche Stichproben [16–18]) und die Überprüfung der Modellüberanpassung [19,20]. Aspekte. Der Grad der Überanpassung ist ein Maß für die Unfähigkeit des Modellalgorithmus, zukünftige Daten gut oder zuverlässig anzupassen Die Fähigkeit, verschiedene Eingaben zu verarbeiten und korrekte Ausgaben zu erzeugen (Wahrscheinlichkeit) [6]. Die Forschung zur Korrektheit konzentriert sich hauptsächlich auf Daten [10], Modelle [11] und statistische Methoden [12,13 ] Zu den allgemeinen Funktionsattributen von Softwaresystemen für künstliche Intelligenz gehören Korrektheit und Überanpassung. Korrektheit bedeutet, dass das System korrekt sein kann
Dies ist ein neuer Durchbruch in der Entwicklung von Software für künstliche Intelligenz.
ist das gleiche Logo; bei dem tödlichen Unfall eines selbstfahrenden Autos in Arizona im Jahr 2018 [30] identifizierte das Systemmodell Fußgänger fälschlicherweise als Objekte,
was zu fehlerhaften Fahrentscheidungen führte Die in diesem Abschnitt untersuchte Robustheit ist das Attribut, das anzeigen kann, dass das System seine Korrektheit in einer störenden Umgebung beibehält.
1.1.4 Gängige Qualitätssicherungsmethoden< a i=3> Die Die aktuelle gängige Methode zur Robustheitsqualitätssicherung von Softwaresystemen mit künstlicher Intelligenz ist das kontradiktorische Lernen. Basierend auf vorhandenen Arbeiten kann kontradiktorisches Lernen in die folgenden zwei Typen unterteilt werden.< a i=5> (1) Generierung gegnerischer Stichproben Basierend auf der Arbeit von Szegedy et al. [31] und Wang et al. [32] kann der Angreifer normalerweise eine kleine Anzahl korrekt gekennzeichneter Eingaben konstruieren Eingaben, die zu einer falschen Ausgabe des Systems führen, werden diese Eingaben als gegnerische Stichproben bezeichnet. Die meisten vorhandenen Methoden verbessern das System Angriffsfähigkeit ; Tjeng et al. [25] schlugen vor, den Abstand zwischen der Testeingabe und ihrem nächsten gegnerischen Beispiel zu verwenden, um die Robustheit zu messen. (2) Gegnerisches Lerntraining Translation, NMT) Störungen auf Vokabular- und Feature-Ebene hinzu. Die Trainingsergebnisse zeigen, dass die Robustheit und Übersetzung Die Leistung von NMT wurde erheblich verbessert; Gehr et al. [40] und Ross et al. [41] verwendeten die klassische Abstraktionsinterpretation bzw. Eingabegradienten-Regularisierung. Um die Robustheit und Interpretierbarkeit des Modells zu verbessern, verwendeten Kwiatkowska et al. [42] untersuchten kontradiktorische Störungen tiefer neuronaler Netze. Sie führten die Entwicklung tiefer neuronaler Netze ein. >s automatische Verifizierungs- und Testtechnologie und nutzen diese Technologie, um die Sicherheit und Robustheit von Modellentscheidungen bei begrenzten Eingabestörungen sicherzustellen. a> Ähnlich wie bei der Robustheit gibt es auch bei der Sicherheit Anforderungen, um externen Angriffen standzuhalten. Der Unterschied besteht darin, dass Robustheit ein Maß für die Fähigkeit des Systems ist, seine Korrektheit nach einer Störung aufrechtzuerhalten . Sicherheit Es misst die Fähigkeit, die internen Komponenten des Systems vor Schäden zu schützen oder den Grad der Beschädigung zu reduzieren. Mit anderen Worten: Die Messung der Robustheit basiert auf dem Grad der Korrektheit des Systems bei Störungen durch Faktoren wie Rauschen< /span> und das System Die Bewertung der Sicherheit hängt mehr vom Grad der Schädigung des Modells selbst durch externe Angriffe ab. Seval(S )S(S )eval(S )eval((S ))< /span> und unter keinen Umständen die Sicherheit von Systemkomponenten und -funktionen garantieren zu können. Ersteres gehört zur Forschungsmotivation der Robustheit, letzteres gehört dazu /span> kann Es wird in mehreren Systemmodulen verwendet, einschließlich Wahrnehmung, Steuerung, Routing usw. Das autonome Fahrsystem übernimmt induktives Training, das heißt, es gibt keine klaren Anforderungen oder Designs Im traditionellen Transportwesen wird die Fahrsicherheit von Autos hauptsächlich von Menschen kontrolliert, ergänzt durch andere Sicherheitsfunktionen (wie Spurhaltung, Notbremsung) a>< a i=49> usw.) sollen helfen und Risiken reduzieren. Das heißt, menschliche Kontroll- und Sicherheitsmechanismen bilden das Sicherheitsgarantiesystem herkömmlicher Autos. Bei selbstfahrenden Autos künstliche Intelligenz Nehmen Sie die Automobilautomatisierung Nehmen Sie das Fahrsystem als Beispiel. Sowohl bei den selbstfahrenden Autos von Uber als auch bei Tesla kam es aufgrund von Fehlern im Erkennungssystem zu schweren Verkehrsunfällen. Häufige Unfälle mit selbstfahrenden Autos haben bei den Menschen Bedenken hinsichtlich hoher Risiken geweckt. Bedenken hinsichtlich der Sicherheit von Anwendungen der künstlichen Intelligenz. 1.2.3 Sicherheitsbeispiel Sicherheit war schon immer ein sehr wichtiger Indikator zur Messung der Systemleistung. Man kann sagen, dass Sicherheitsfragen den Kern der Entwicklung und Prüfung autonomer Fahrsysteme bilden. Für Softwaresysteme mit künstlicher Intelligenz in sicherheitskritischen oder unternehmenskritischen Bereichen, Im Rahmen der Sicherheitsforschung in diesem Abschnitt. Obwohl die Vermarktung autonomer Fahrzeuge spannend ist, weist das aktuelle autonome Fahrsystem immer noch viele Probleme auf, einschließlich der Unfähigkeit des Systems, dies zu tun Die absolute Korrektheit der Entscheidungsfindung in jeder Umgebung aufrechtzuerhalten 1.2.2 Sicherheitsnotwendigkeit Dann ist die Sicherheit des Systems das Maß für den Unterschied zwischen: s = eval(S ) - eval((S )) (4 ) Softwaresystem für künstliche Intelligenz Die Sicherheitsformel wird wie in Formel (4) definiert definiert, wobei Folgendes angenommen wird: ist ein Softwaresystem mit künstlicher Intelligenz; ist die Sicherheitsbewertungsfunktion des Systems; ist ein manipuliertes oder illegal zugegriffenes Systemmodelllernen Komponente (z. B. Daten, Lernprogramm oder Framework); Zhang et al. definierten Sicherheit in ihrer Arbeit als [6]: Die Sicherheit eines Softwaresystems mit künstlicher Intelligenz bezieht sich auf die Fähigkeit des Systems, potenziellen Schäden, Gefahren oder Verlusten zu widerstehen, die durch verursacht werden Manipulation oder illegaler Zugriff auf Modelllernkomponenten. 1.2 .1 Sicherheitsdefinition 1.2 Sicherheit Der von den Forschern vorgeschlagene Algorithmus verlässt sich zu sehr auf ein bestimmtes Modell oder eine bestimmte Umgebung. Obwohl mit diesem Modell gute Ergebnisse erzielt werden können, weist der Algorithmus gewisse Probleme in seiner allgemeinen Anwendbarkeit und Portabilität auf. Es gibt auch Mängel im Kompromiss zwischen Satzgröße und Zeitverbrauch; andererseits, ob es sich um den Generierungsprozess kontradiktorischer Proben oder den Trainingsprozess kontradiktorischen Lernens handelt, Ye Shijun et al.: Eine Überprüfung der nichtfunktionalen Attribute von Softwaresystemen mit künstlicher Intelligenz und ihrer Qualitätssicherungsmethoden 107 Bestehende Methoden für Es gibt noch einige Probleme in der Forschung zu Qualitätssicherungsmethoden für die Robustheit von Softwaresystemen mit künstlicher Intelligenz. Einerseits ist die Forschungsrichtung der Methode relativ einheitlich, und die Hauptforschung konzentriert sich im Wesentlichen auf die Verbesserung der Qualität durch gegnerisches Lernen. Die Robustheit des Systems, während sich die meiste Forschung auf gegnerische Angriffe konzentriert, Daten umfangreicher Fehlerinjektionsexperimente. Bastani et al. [44] schlugen drei Indikatoren zur Messung der Robustheit neuronaler Systeme vor Netzwerke und entwickelten basierend auf robust codierter linearer Programmierung einen neuen Algorithmus zur Annäherung dieser Metriken; Banerjee et al. [45] untersuchten die Verwendung von Bayesian Deep Learning, um Fehler innerhalb der Ausbreitung tiefer neuronaler Netze zu modellieren und die Empfindlichkeit neuronaler Netze gegenüber Hardware mathematisch zu modellieren Fehler ohne Durchführung Dazu gehören neben Adversarial Learning auch Methoden der künstlichen Intelligenz zur Modellierung und Konstruktion von Indikatoren für die Robustheit intelligenter Softwaresysteme. Beispielsweise führten Fawzi et al. [43] die erste quantitative Analyse zur Robustheit durch von nichtlinearen Klassifikatoren unter allgemeinen Rauschbedingungen und beweist die hervorragende Allgemeingültigkeit der experimentellen Schlussfolgerungen zu verschiedenen neuesten DNN- und Datensätzen;. Zum Beispiel Gao et al. schränken die Fähigkeit des Angreifers ein, gegnerische Proben zu generieren, indem unnötige Funktionen im DNN-Modell identifiziert und gelöscht werden [37]; Cheng et al. verbessern das gegnerische Stabilitätstraining durch gegnerisches Stabilitätstraining. Um die Robustheit des NMT-Modells zu verbessern [38, 39] fügen sie dem Encoder und Decoder im neuronalen maschinellen Übersetzungsmodell (Neural Machine Diese Art von Methode wird durch Hinzufügen von Rauschen, Zufälligkeit oder kontradiktorischem Verlust während des Optimierungsprozesses des Softwaresystemmodells für künstliche Intelligenz implementiert, mit dem Ziel, das trainierte Modell robuster zu machen
Einblicke. Dies macht es für das System unmöglich, alle unbekannten Fälle abzudecken. Wenn unbekannte Fälle während der Fahrt auftreten, kann es zu Unfällen kommen.
Derzeit hauptsächlich selbstfahrende Autos Verwenden Sie gefährliche Azimut-Alarmindikatoren, um die Sicherheit zu erhöhen, einschließlich Fehlerbaumanalyse (FTA), Vorwärts- und Rückwärtssuche (FBS), Analyse von Fehlermöglichkeiten und -auswirkungen (FMEA), Gefahren und möglichen. Eine Vielzahl von Kombinationsalgorithmen und -strategien, einschließlich Betriebsforschung (HAZOP). . 1.2.4 Gängige Qualitätssicherungsmethoden Dieser Abschnitt fasst die aktuelle Sicherheit von Softwaresystemen für künstliche Intelligenz zusammen. Die Forschungsarbeiten zur sexuellen Qualitätssicherung sind hauptsächlich in drei Kategorien unterteilt. (1) Kategorie 1 untersucht gängige Angriffsmethoden in Softwaresystemen mit künstlicher Intelligenz, um sich gegen die meisten Angriffe auf das System zu verteidigen. . Die erste Art von Angriff ist ein Modell Inversionsangriff. Derzeit haben viele Internetunternehmen Dienste oder Entwicklungsplattformen für künstliche Intelligenz eingeführt, um vielen Entwicklern Komfort zu bieten Es wird durch Technologie der künstlichen Intelligenz unterstützt, bietet Angreifern aber auch neue Angriffsmethoden. Seitdem Das Modell wird durch eine Reihe von Parametern bestimmt. Der Angreifer kann dies erreichen, indem er die Modellparameter-Angriffsmethode auflöst Modellplagiate, wodurch dem Modellinhaber Verluste entstehen. Dieser Angriff wird als Modellinversion bezeichnet attack. n + 1 Tramèr et al. [46] erwähnten dies in ihrer 2016 erschienenen Arbeit An attack method; für ein lineares Modell mit n-dimensionaler Eingabe, basierend auf der Idee, Gleichungen zu lösen (das heißt, eine Gleichung mit n Elementen kann mit mindestens n Gleichungen gelöst werden), benötigt der Angreifer nur Dieses Modell kann durch Ausführen einer Abfrage gestohlen werden über die API-Schnittstelle; Batina et al. [47] haben auch bewiesen, dass der Angreifer, vorausgesetzt, dass er die verwendete Struktur des neuronalen Netzwerks kennt, diese nur über eine einzige Kante stehlen kann. Die Kanalmessung kann die Eingabe des neuronalen Netzwerks rückentwickeln; Yang et al. [48] schlug eine Methode vor, die durch die effektive Kombination von Hilfssatz- und Kürzungstechnologie auch dann verwendet werden kann, wenn das Zielmodell eine Black Box ist. Angriffsmethode zur Modellinversion. Während des Trainingsprozesses des Modells ändert der Angreifer den vorhandenen Trainingssatz des Modells oder fügt zusätzliche schädliche Daten hinzu [49], was sich letztendlich auf die Integrität des Modells und des Modells auswirkt Ergebnisse des Modelltrainings; gegnerische Stichprobenangriffe treten in der Vorhersagephase des Modells auf und äußern sich in: Das Hinzufügen kleiner Störungen, die mit bloßem Auge nicht erkannt werden können, zu den Daten vor dem Training führt zu Fehlern in den Ergebnissen des Modells. (2) Die zweite Kategorie beginnt mit dem Aufbau von Softwaresystemen für künstliche Intelligenz und stärkt die Sicherheit von Systemen für künstliche Intelligenz durch die Einrichtung eines Sicherheitsdemonstrationssystems, Bedrohungsanalyse- und Schutzmechanismen sowie Entwurfsprinzipien für Sicherheitssysteme. (Strategie), Bedrohungsmodellanalyse, Angriffsoberflächenanalyse und Systemschutzmechanismusanalyse. Papernot et al. [50] führten in ihrer Arbeit die Angriffsoberfläche und das Bedrohungsmodell durch< /span> a> Um das Risiko jedes Elements zu beurteilen. Basierend auf den oben genannten Informationen können Entwickler grundsätzlich die Bedrohungen bestimmen, denen das Softwaresystem für künstliche Intelligenz ausgesetzt sein wird, und die Gegenmaßnahmen, die ergriffen werden können. Sicherheitsfaktoren des Systems aufrechtzuerhalten: Vertraulichkeit, Integrität, Ausnutzbarkeit, Authentizität, Sicherheitslebenszyklus und Unbestreitbarkeit. Basierend auf den Arten von Angriffen, die gegen Softwaresysteme mit künstlicher Intelligenz gestartet werden Der dritte Schritt besteht darin, Sicherheitsziele auf hoher Ebene für den Umgang mit Bedrohungen festzulegen. Für verschiedene Objekte, Entwickler kann verschiedene Sicherheitsziele festlegen, um die 6 des Schweregrads des Angriffs kann Entwicklern dabei helfen Weisen Sie begrenzte Entwicklungsressourcen angemessen zu. Houmb et al. [53] schlugen ein Risikoniveau-Schätzmodell vor, das Risikoniveaus als Häufigkeit und Auswirkung abschätzen kann. Bedingte Wahrscheinlichkeiten werden abgeleitet. Häufigkeits- und Auswirkungsschätzungen werden aus dem Common Vulnerability Scoring System (CVSS) abgeleitet. . Dieses Modell funktioniert auf Schwachstellenebenen (genau wie CVSS) und kann Schwachstellen in Serviceebenen gruppieren. Die Bedrohungs- und Systemsicherheitsstufeneinstellungen werden hauptsächlich auf der Grundlage der Schwere des Angriffs bestimmt. Derzeit ermittelte Systemsicherheitsbedrohungen verwenden im Allgemeinen das STRIDE-Modell (Identitätsspoofing, Datenmanipulation, Denial, Informationsleck, Denial of Service und Rechteausweitung). Durch die Analyse des STRIDE-Bedrohungsmodells können Anwendungsprozesse aufgedeckt werden Der zweite Schritt besteht darin, potenzielle Gegner, Angriffsflächen und Bedrohungen zu identifizieren. Bei den meisten Softwaresystemen für künstliche Intelligenz sind potenzielle Gegner hauptsächlich Remote-Software-Angreifer und Netzwerkangreifer, außerdem sind böswillige Insider-Angreifer häufig leicht zu erkennen ignorierte und fortgeschrittene Hardware-Angreifer mit sehr ausgefeilten Angriffsmethoden.Benutzer, die mit dem Softwaresystem für künstliche Intelligenz interagieren, sowie potenzielle Angreifer oder Gegner. Die Der erste Schritt besteht darin, das System zu analysieren und externe Einheiten und die zu schützenden Assets zu definieren. Der erste Schritt beim Sicherheitsdesign besteht darin, die Umgebung zu verstehen, in der das System ausgeführt wird, und die Asset-Ziele, die der Angreifer angreifen möchte. Nehmen wir das Auto zum autonomen Fahren Beispielsweise umfassen die Assets die System-Firmware, Systemdaten, Lernmodelle usw. Zu den externen Einheiten zählen In Bezug auf das Bedrohungsmodell schlug Suresh 5 Schritte zur Erstellung eines Bedrohungsmodells vor [51]. Gehen Sie in die Vorverarbeitungsphase (in digitale Darstellung umwandeln) und dann Konvertieren Sie das Bild in einen dreidimensionalen Tensor (Repräsentationstransformation); 3) Wenden Sie das Modell an, um die Klassifizierungskonfidenz zu berechnen (die Repräsentation tritt in die Trainingsphase des Modells für maschinelles Lernen ein); 4) Geben Sie eine Rückmeldung an die physische Welt und lassen Sie das Fahrzeug bremsen (die Modell kehrt zur Schlussfolgerung in die physische Welt zurück) Vorhersagephase). Phase und die Phase des Eintritts in das Modell des maschinellen Lernens. In der Trainingsphase kehrt das Modell zur Inferenz- und Vorhersagephase in die physische Welt zurück. Am Beispiel des automatischen Fahrsystems für Kraftfahrzeuge entsprechen die vier Angriffe: 1) Verwenden von Fahrsensoren, um Verkehrszeichen wie Parken zu erhalten (Erhalten Sie Informationen zur physischen Welt); 2) Konvertieren Sie die erhaltenen Informationen in BilderDiskussion teilten sie die Angriffsfläche im Systementscheidungsprozess in vier Phasen ein: die Phase des Erhaltens von Informationen aus der physischen Welt, die Phase der Umwandlung von Informationen in eine digitale Darstellungsform Beim Aufbau von Softwaresystemen mit künstlicher Intelligenz müssen Entwickler detaillierte Sicherheitsüberlegungen für das entworfene System anstellen. Einschließlich die Sicherheit der Systemanforderungen Künstliche Intelligenz verbessern Die Sicherheit von Softwaresystemen erstreckt sich über den gesamten Prozess der Systemkonstruktion. Das heißt, Entwickler müssen ein Sicherheitsdemonstrationssystem einrichten, relevante Gefahren und Sicherheitsanforderungen identifizieren, potenzielle Gefahrenquellen ermitteln und einen Plan formulieren für jede Gefahr. Strategien zur Schadensbegrenzung und Bereitstellung von Beweisen zum Nachweis, dass Schadensbegrenzungsmaßnahmen ordnungsgemäß umgesetzt werden. 108 Journal of Software, Band 34 , Ausgabe 1, 2023 Die zweite häufige Angriffsmethode ist der Integritätsangriff. Zu den häufigsten Integritätsangriffen gehören Data-Poisoning-Angriffe [49] und Adversarial-Sample-Angriffe. Poisoning-Angriffe kommen häufig vor
Der fünfte Schritt besteht darin, alle Informationen in die Bedrohungsübersichtstabelle zu integrieren. Führen Sie die auf der Grundlage der vorherigen 4 Schritte erhaltenen Informationen in der Bedrohungsübersichtstabelle zusammen und erhalten Sie schließlich die aktuelle
Bedrohungsmodell für Softwaresysteme mit künstlicher Intelligenz.
Entwickler müssen sich beim Entwurf von Systemen an grundlegende Sicherheitsdesignprinzipien halten.
● Prinzip der geringsten Privilegien; Systemkomponenten sollten das Notwendige erhalten Rechte zur Implementierung ihrer Funktionen mit den geringsten Privilegien. Ziel ist es, die Auswirkungen kompromittierter Komponenten zu minimieren.
● Isolationsprinzip; Interaktionen zwischen Komponenten sollten das erforderliche Maß nicht überschreiten. Ziel ist die Reduzierung des Trusted Computing Basisgröße (TCB).
Das Prinzip der geringsten Rechte verhindert, dass hochprivilegierte Komponenten beschädigt werden und Systemabstürze verursachen, indem die unnötigen Berechtigungen jeder Systemkomponente reduziert werden. Das heißt, das System wird daran gehindert Ein Absturz wie in Abbildung 5 dargestellt
zeigt, dass der Betrieb des gesamten Systems aufgrund der hohen Berechtigungen der Netzwerkkomponenten ins Chaos gerät oder stagniert, wenn Netzwerkkomponenten durch Angriffe wie Trojaner beschädigt werden
. McGraw et al. erwähnten bei der Erörterung der Softwaresicherheit, dass das System auf Design- und Architekturebene konsistent sein und eine einheitliche Sicherheitsarchitektur darstellen muss, die Sicherheitsprinzipien berücksichtigt (z. B. das Prinzip des geringsten Privilegs) [ 54]; Gollmann et al. [55] betonten in ihrer Arbeit zur Computersicherheit, dass die Gestaltung von Sicherheitssystemen den Schutzprinzipien wie dem in Ref13 festgelegten Prinzip des geringsten Privilegs folgen sollte.< a i =10> Ye Shijun et al.: Eine Überprüfung der nichtfunktionalen Attribute von Softwaresystemen mit künstlicher Intelligenz und ihrer Qualitätssicherungsmethoden 109 Das Isolationsprinzip erfordert, dass die Kopplung zwischen Komponenten ebenso stark reduziert wird wie möglich und der TCB des Softwaresystems für künstliche Intelligenz reduziert werden (Trusted Computing Base). Wie in Abbildung 6 dargestellt, werden die Auswirkungen von Schäden an Netzwerkkomponenten aufgrund der geringen Kopplung zwischen Komponenten auf einen begrenzten Nicht-TCB und begrenzt Wird nicht Es stellt eine erhebliche Bedrohung für die Sicherheit von Softwaresystemen für künstliche Intelligenz dar. TCB ist die Komponente, die für die Festlegung von Sicherheitsanforderungen im System verantwortlich ist. Wenn ein TCB zerstört wird, bedeutet dies, dass das System sicher ist. 14> Alle sind bedroht, weiter im Gegenteil, Nicht-TCB-Komponenten werden zerstört, aber die Systemsicherheit bleibt erhalten, sodass bei schlechtem Systemdesign TCB dem gesamten System entspricht. (3) Kategorie 3 Die Arbeit ist dem Design gewidmet aufgabenspezifische benutzerdefinierte Sicherheitsprotokolle für Softwaresysteme mit künstlicher Intelligenz. Da klassische Allzweck-Sicherheitscomputerprotokolle nicht auf reale Anwendungen mit künstlicher Intelligenz ausgeweitet werden können, um dieses Problem zu lösen, In den letzten Jahren Arbeiten auf dem Gebiet des maschinellen Lernens haben verschiedene sichere Computerbasen kombiniert, um aufgabenspezifische benutzerdefinierte Protokolle zu entwerfen. Dazu gehören eingeschränkte Optimierung [56] und K-Nearest-Neighbor-Klassifizierung [57] usw.< /span> Im traditionellen Bereich des maschinellen Lernens konzentrieren sich Forscher auf die Genauigkeit des Modells bei der Vorhersage von Ergebnissen und hoffen gleichzeitig, dass das Modell stark ist 1.3.2 Die Notwendigkeit des Datenschutzes. Basierend auf der obigen Definition ist dies möglich Es ist ersichtlich, dass differenzielle Privatsphäre nur in einem Fall gewährleistet werden kann. Wenn sie sich von den Beispielen unterscheiden, sollten Lernende nicht mehr Informationen von ihnen erhalten als von sein ausgedrückt durch die folgende Formel: Pr[A(D1) ∈ S ] ≤ e'' ∗ Pr[A(D2) ∈ S ] + (5)D1D2D1D2 Budget führt zu einer stärkeren Datenschutzgarantie); der Parameter ist die Fehlerrate (die die Toleranz für die definierte Grenze bestimmen kann, indem sie nicht wahr ist). Dann kann differenzierter Datenschutz ein randomisierter Algorithmus; und sind zwei Trainingsdatensätze, die sich nur in einer Instanz unterscheiden; S ist eine Teilmenge des Ausgabesatzes von A; der Parameter ist das Datenschutzbudget (der kleinere Für die Formeldefinition des Datenschutzes verwendet dieser Artikel die differenzielle Privatsphäre in der Arbeit von Dwork et al. [62]; Wie in Formel (5) gezeigt, wird davon ausgegangen, dass A ist Datenschutz in Softwaresystemen für künstliche Intelligenz ist die Fähigkeit des Systems, private Dateninformationen zu speichern[ 50]. D1D2"" 1.3.1 Definition von Datenschutz 1.3 Datenschutz Leistungsprobleme. Beim Entwurf und Aufbau von Softwaresystemen für künstliche Intelligenz muss darauf geachtet werden, wie diese drei Aspekte richtig in Einklang gebracht werden können. Bestehende Sicherheitsmaßnahmen für Softwaresysteme mit künstlicher Intelligenz Es gibt mehrere Mängel in der Forschung zu Qualitätssicherungsmethoden. Erstens, obwohl die bestehende Forschung verschiedene vorgeschlagen hat Methoden zur Verbesserung der Sicherheit von Softwaresystemen mit künstlicher Intelligenz gibt es in der Forschung zu Sicherheits-Benchmarks noch immer nicht. Wenn Forscher beispielsweise unterschiedliche Datensätze in unterschiedlichen Arbeiten verwenden, ist es schwierig, die Vor- und Nachteile dieser Methoden zu vergleichen. Zweitens ist es übertrieben Sicherheit führt zu größerem Algorithmen-Overhead und geringerer Generalisierung. und automatisch. Die adaptive Gradientenmethode verbessert nicht nur die Sicherheit erheblich, sondern auch erheblich verbessert die Trainingsgeschwindigkeit im Vergleich zu früheren Arbeiten [59-61]. Agrawal et al. [58] optimierten sowohl den DNN-Trainingsalgorithmus als auch das Sicherheitsprotokoll und schlugen die QUOTIENT-Methode vor. Diese Methode verwendet Normalisierung Aus diesem Grund sind regulatorische Regelungen wie die EU-Datenschutzgrundverordnung (DSGVO)[ 63] und California CCPA[64] wurden nacheinander eingeführt. Stellen Sie sicher, dass das Softwaresystem für künstliche Intelligenz Benutzer Benutzer Eingabenin das Netzwerk Benutzer Netz Eingabe Eingabe Abbildung 5 Prinzip der Mindestens Berechtigung Benutzer Ausrüstung Einstellungen Benutzer BenutzerVorbereitungSetupBenutzer BenutzerSystemSystemDateienDokumenteSystemSystem Datei Dokument System System DateiDokumentImportierenImportierenHaushaltVerwenden SieSystemSystemDatei DokumentKünstliche Intelligenz-Softwaresystem Netzwerk Netzwerk Netzwerk Netzwerk NetzwerkNetzwerkKünstliche Intelligenz-SoftwaresystemNetzwerk
Netzwerk
Netzwerk
Netzwerk
Dokumente
Dateien
System
System
Benutzer
Haushalt
Eingabe
Zugriff
Netzwerk
Netzwerk
Datei
Datei
System
System
Dokumente
Dokumente
System
System
Benutzer
Benutzer
Ausrüstung
Ausrüstung
Netzwerk
Netzwerk
Dokument
Datei
Abteilung
System
Benutzer
Benutzer
Ausrüstung
Abbildung 6 Isolationsprinzipien< /span> k-anonymity Privacy Protection Model [68], dieses Modell kann dafür sorgen, dass der Dateninhaber sicherstellt, dass die Daten weiterhin verfügbar sind, und andere sie nicht erhalten können, wenn sie ihre privaten Daten freigeben. Sensible persönliche Informationen Der Nachteil der Anonymisierungsmethode besteht darin, dass der Arbeitsaufwand für die anonyme Datenanalyse sehr groß ist, sodass mit dieser Methode nicht immer eine effektive Datenanonymisierung erreicht werden kann und die meisten vorhandenen Methoden Die Praktikabilität von Datenattributen wurde nicht vollständig berücksichtigt. Derzeit sind dies auch einige Forscher Durchführung von Untersuchungen zur Verbesserung von Datenanonymisierungsmethoden. Beispielsweise schlugen Gao et al. eine attributbasierte Methode vor, die auf dem Konzept der mehrdimensionalen Anonymisierung basiert. Reihenfolgesensitive praktische Anonymisierungsmethode [69]. (2) Prävention und Clustering sind die Datensätze im System nicht voneinander zu unterscheiden, um den Zweck des Datenschutzes zu erreichen. Sweeney et al. schlugen a vor Methode namens Diese Art von Methode wird hauptsächlich in einigen Anwendungen mit Mikrodaten (einschließlich medizinischem Datenschutz) verwendet basiert hauptsächlich auf globalen, lokalen Systemaufzeichnungen. Durch die Anonymisierungsmethode von Aufzeichnungen Sekunden mehr als 1 GB Daten. Eine so große Datenmenge erfordert sehr detaillierte persönliche Datenschutzinformationen der Autonutzer, was für die Automobilherstellung sehr wichtig ist. > Derzeit gibt es die folgenden gängigen Methoden zur Qualitätssicherung von Daten Privatsphäre in Softwaresystemen für künstliche Intelligenz. 1.3.4 Gängige Methoden zur Qualitätssicherung Wert. Es besteht ein enormes Potenzial für Hersteller, Mobilfunkbetreiber, Versicherungsgesellschaften, Hotels und andere Dienstleistungs- und Produktanbieter, die sich mit selbstfahrenden Autos oder deren Nutzern befassen möchten . In Neben der Medizinbranche ist Datenschutz auch für die Automobilindustrie wichtig. Sehr wichtig. Nach der Vermarktung selbstfahrender Autos wird die Automobilindustrie in Zukunft nicht nur zu einem Datenkonsumenten, sondern auch zu einem großen Datenproduzenten . Laut den Statistiken von Google generierte ein durchschnittliches Auto in seinen selbstfahrenden Autos alle, um die Trainingsdaten des ursprünglichen Modells wiederherzustellen., um eine große Anzahl von Abfragen durchzuführen, und erstellten eine unendliche Näherung basierend auf der Abfrage Eingabe und zurückgegebene Ausgabe. Ein neues Modell des ursprünglichen Modells und schließlich basierend auf dem neuen Modell eine Umkehrung Es wurde jedoch festgestellt, dass die genetischen Informationen des Patienten durch umgekehrtes Denken basierend auf dem Modell des maschinellen Lernens und den statistischen Informationen zu demografischen Merkmalen des Patienten erhalten werden können [66]. Fredrikson et al. stellten in ihrer Forschungsarbeit aus dem Jahr 2015 vor, wie dies anhand der Ausgabeergebnisse geschieht des Modells, um die Eingabedaten des Modells abzuleiten [67]. Sie verwendeten die vom System bereitgestellte Abfrageschnittstelle von Informationen sind eng miteinander verbunden, daher ist es notwendig, die Privatsphäre dieser Daten zu schützen. Die Forschungsarbeit von Fredrikson et al. aus dem Jahr 2014 zum Arzneimittelempfehlungssystem Im medizinischen Bereich wird die Technologie der künstlichen Intelligenz hauptsächlich für medizinische Diagnosen und Arzneimittelempfehlungen verwendet. Zum Trainieren des Modells sind große Mengen an medizinischen Daten und Patienten erforderlich. Die Privatsphäre möglicherweise von Angreifern entwickelte Stealth-Tools verwenden. Mit dem Mithilfe der vorab trainierten Modelldaten kann der Angreifer leicht an die privaten Daten des Benutzers gelangen, indem er die Modellparameter dekodiert. In der Arbeit in [65] wurde auch erwähnt, dass die Plattform für maschinelles Lernen zwar sicher und zuverlässig ist, die Algorithmen jedoch durch maschinelles Lernen bereitgestellt werden Modellanbieter sind möglicherweise nicht vertrauenswürdig. Es bietet eine Abkürzung zum Erstellen privater Modelle, erhöht jedoch auch das Risiko einer Gefährdung der Privatsphäre der Benutzer. Der Grund dafür ist, dass Dateninhaber bei der Verwendung von MLaaSKünstliche Intelligenz hat sich zu einem Geschäftsmodell entwickelt, und die Entwicklung und Anwendung von maschinellem Lernen als Service (MLaaS) hat einer großen Zahl nicht professioneller Dateninhaber geholfen 1.3.3 Datenschutz Sexuelles Beispiel Datenschutz von Anwendungen.
110 Journal of Software, Band 34, Ausgabe 1, 2023