Jaki jest najlepszy sposób na programowe wykrywanie obrazów pornograficznych? [Zamknięte]

Akismet wykonuje niesamowitą robotę w wykrywaniu komentarzy spamowych. Jednak komentarze nie są obecnie jedyną formą spamu. Co jeśli chciałbym, aby coś takiego jak akismet automatycznie wykryło obrazy porno w serwisie społecznościowym, który umożliwia użytkownikom przesyłanie zdjęć, awatarów itp.?

Istnieje już kilka wyszukiwarek opartych na obrazach, a także narzędzi do rozpoznawania twarzy, więc zakładam, że nie byłaby to nauka o rakietach i można to zrobić. Jednak nie mam pojęcia, jak to działa i jak powinienem się do tego zabrać, jeśli chcę go rozwijać od podstaw.

Jak mam zacząć?

Czy jest na to jakiś projekt open source?

Zostało to napisane w 2000 roku, nie jestem pewien, czy stan wiedzy w zakresie wykrywania pornografii w ogóle się rozwinął, ale wątpię w to.

http://www.dansdata.com/pornsweeper.htm

Wydaje się, że PORNsweeper ma pewną zdolność rozróżniania zdjęć ludzi od zdjęć rzeczy, które nie są ludźmi, o ile zdjęcia są kolorowe. Mniej skuteczny jest w odróżnianiu zdjęć ludzi brudnych od czystych.

Przy domyślnej, średniej czułości, jeśli dział kadr przesyła dookoła zdjęcie nowego faceta z kont, masz około 50% szans na to. Jeśli twoja siostra prześle ci zdjęcie swojego sześciomiesięcznego dziecka, podobnie prawdopodobnie zostanie zatrzymane.

Uczciwie jest wskazanie zabawnych błędów, takich jak wywołanie pornografii Mona Lisy, jeśli są one reprezentatywne dla zachowania oprogramowania. Jeśli twórcy przyznają, że ich algorytmiczny system rozpoznawania obrazu upuści kulkę w 15% przypadków, to naśmiewanie się z niej, gdy robi to dokładnie, jest głupie.

Ale PORNsweeper wydaje się spełniać określone specyfikacje tylko w jednym dziale - wykrywaniu rzeczywistego porno. Jest w połowie przyzwoity w wykrywaniu pornografii, ale jest zły w wykrywaniu czystych zdjęć. I nie zdziwiłbym się, gdyby w najbliższej przyszłości nie dokonano większych skoków w tej dziedzinie.

W rzeczywistości jest to dość łatwe. Możesz programowo wykrywać odcienie skóry - a obrazy porno mają zwykle dużo skóry. Spowoduje to fałszywe alarmy, ale jeśli jest to problem, możesz przekazać obrazy wykryte w ten sposób poprzez faktyczną moderację. To nie tylko znacznie ogranicza pracę moderatorów, ale także zapewnia dużo darmowego porno. To wygrana-wygrana.

#!python    
import os, glob
from PIL import Image

def get_skin_ratio(im):
    im = im.crop((int(im.size[0]*0.2), int(im.size[1]*0.2), im.size[0]-int(im.size[0]*0.2), im.size[1]-int(im.size[1]*0.2)))
    skin = sum([count for count, rgb in im.getcolors(im.size[0]*im.size[1]) if rgb[0]>60 and rgb[1]<(rgb[0]*0.85) and rgb[2]<(rgb[0]*0.7) and rgb[1]>(rgb[0]*0.4) and rgb[2]>(rgb[0]*0.2)])
    return float(skin)/float(im.size[0]*im.size[1])

for image_dir in ('porn','clean'):
    for image_file in glob.glob(os.path.join(image_dir,"*.jpg")):
        skin_percent = get_skin_ratio(Image.open(image_file)) * 100
        if skin_percent>30:
            print "PORN {0} has {1:.0f}% skin".format(image_file, skin_percent)
        else:
            print "CLEAN {0} has {1:.0f}% skin".format(image_file, skin_percent)

Ten kod mierzy odcienie skóry na środku obrazu. Przetestowałem na 20 stosunkowo oswojonych obrazach „porno” i 20 zupełnie niewinnych obrazach. Oznacza 100% „pornografii” i 4 z 20 czystych obrazów. To dość wysoki współczynnik fałszywych trafień, ale scenariusz ma być dość ostrożny i można go dalej dostroić. Działa na jasne, ciemne i azjatyckie odcienie skóry.

Głównymi słabościami fałszywych alarmów są brązowe obiekty, takie jak piasek i drewno, i oczywiście nie ma różnicy między „niegrzecznym” a „miłym” ciałem (jak zdjęcia twarzy).

Słabość z fałszywymi negatywami to obrazy bez zbytnio odsłoniętego ciała (jak wiązanie skóry), pomalowana lub wytatuowana skóra, obrazy czarno-białe itp.

kod źródłowy i przykładowe obrazy

Wolałbym pozwolić użytkownikom zgłaszać złe obrazy. Rozwój rozpoznawania obrazu może wymagać wiele wysiłku i czasu i nie będzie tak dokładny jak ludzkie oczy. O wiele taniej jest zlecić tę moderację na zewnątrz.

Spójrz na: Amazon Mechanical Turk

„ Amazon Mechanical Turk (MTurk) jest jednym z pakietów Amazon Web Services, rynku crowdsourcingowego, który umożliwia programom komputerowym koordynację wykorzystania ludzkiej inteligencji do wykonywania zadań, których komputery nie są w stanie wykonać”.

• Modele work-of-Visual-Words do klasyfikacji i filtrowania obrazów dla dorosłych
• Jaki jest najlepszy sposób na programowe wykrywanie obrazów pornograficznych?
• Krótki przegląd oprogramowania do wykrywania / usuwania pornografii
• Wykrywanie pornograficznych obrazów cyfrowych (2011!)

BUM! Oto raport zawierający algorytm.

Czy ktoś wie, skąd wziąć kod źródłowy do implementacji Java (lub dowolnego języka)?

To by wstrząsnęło.

Jeden algorytm o nazwie WISE ma 98% współczynnik dokładności, ale 14% współczynnik fałszywie pozytywnych wyników. Więc co robisz, to pozwalasz użytkownikom oznaczać 2% fałszywych wyników negatywnych, najlepiej z automatycznym usuwaniem, jeśli pewna liczba użytkowników oznaczy to, a moderatorzy sprawdzają 14% fałszywych trafień.

Nude.js na podstawie białej księgi Rigana Ap-apida z De La Salle University.

Istnieje oprogramowanie, które wykrywa prawdopodobieństwo wystąpienia pornografii, ale nie jest to nauka ścisła, ponieważ komputery nie potrafią rozpoznać, co jest na zdjęciach (zdjęcia to tylko duży zestaw wartości na siatce bez znaczenia). Możesz po prostu nauczyć komputer, czym jest pornografia, a czego nie, podając przykłady. Ma to tę wadę, że rozpoznaje tylko te lub podobne obrazy.

Biorąc pod uwagę powtarzalność pornografii, masz duże szanse, jeśli trenujesz system z kilkoma fałszywymi alarmami. Na przykład, jeśli trenujesz system z nagimi osobami, zdjęcia plaży z „prawie” nagimi ludźmi mogą również oznaczać jako porno.

Podobnym oprogramowaniem jest oprogramowanie Facebook, które niedawno wyszło. Specjalizuje się tylko w twarzach. Główna zasada jest taka sama.

Technicznie rzecz biorąc, zaimplementowałbyś jakiś rodzaj detektora cech, który wykorzystuje filtrowanie Bayesa. Detektor funkcji może szukać funkcji, takich jak procent pikseli w kolorze ciała, jeśli jest to prosty detektor, lub po prostu oblicza podobieństwo bieżącego obrazu z zestawem zapisanych obrazów porno.

Oczywiście nie ogranicza się to do pornografii, w rzeczywistości jest to raczej przypadek narożny. Myślę, że bardziej powszechne są systemy, które próbują znaleźć inne rzeczy na obrazach ;-)

Odpowiedź jest naprawdę prosta: można śmiało powiedzieć, że nie będzie to możliwe w ciągu najbliższych dwóch dekad. Wcześniej zapewne otrzymamy dobre narzędzia tłumaczeniowe. Kiedy ostatni raz sprawdzałem, faceci z AI walczyli o zidentyfikowanie tego samego samochodu na dwóch zdjęciach zrobionych pod nieco zmienionym kątem. Zobacz, ile czasu zajęło im uzyskanie razem wystarczająco dobrego OCR lub rozpoznawania mowy. Są to problemy z rozpoznawaniem, które mogą wiele zyskać dzięki słownikom i nadal są dalekie od znalezienia całkowicie niezawodnych rozwiązań, pomimo rzuconych na nie wielu milionów ludzi miesięcy.

Biorąc to pod uwagę, możesz po prostu dodać „ofensywę”? link obok rywalizacji wygenerowanej przez użytkownika i poproś mod krzyż o sprawdzenie napływających skarg.

edytować:

Zapomniałem o czymś: JEŚLI zamierzasz zaimplementować jakiś filtr, będziesz potrzebować niezawodnego. Jeśli twoje rozwiązanie byłoby poprawne w 50%, 2000 z 4000 użytkowników z przyzwoitymi obrazami zostanie zablokowanych. Spodziewaj się oburzenia.

Absolwent z National Cheng Kung University na Tajwanie przeprowadził badania na ten temat w 2004 roku. Udało mu się osiągnąć wskaźnik sukcesu 89,79% w wykrywaniu nagich zdjęć pobranych z Internetu. Oto link do jego pracy magisterskiej: Badanie nad wykrywaniem obrazów nagich ludzi na podstawie koloru skóry
Jest w języku chińskim, więc jeśli nie możesz go przeczytać, możesz potrzebować tłumacza.

krótka odpowiedź: skorzystaj z moderatora;)

Długa odpowiedź: nie sądzę, że istnieje projekt w tej sprawie, czym jest porno? Tylko nogi, pełna nagość, karły itp. To subiektywne.

Dodaj obraźliwy link i zapisz md5 (lub inny skrót) obraźliwego obrazu, aby w przyszłości mógł zostać automatycznie oznaczony.

Jak fajnie by było, gdyby ktoś miał dużą publiczną bazę danych obrazu md5 wraz z opisowymi tagami działającymi jako usługa sieciowa? Wiele pornografii nie jest oryginalnymi dziełami (w tym sensie, że osoba, która je ma, prawdopodobnie tego nie zrobiła), a popularne obrazy mają tendencję do unoszenia się w różnych miejscach, więc może to naprawdę zmienić.

Jeśli naprawdę masz czas i pieniądze:

Jednym ze sposobów jest 1) napisanie algorytmu wykrywania obrazu w celu ustalenia, czy obiekt jest człowiekiem, czy nie. Można to zrobić przez maskowanie bitów obrazu w celu odzyskania jego „konturów” i sprawdzenia, czy kontury pasują do konturów człowieka.

2) Wydobywam wiele obrazów pornograficznych i wykorzystuję techniki eksploracji danych, takie jak algorytmy C4 lub Optymalizacja roju cząstek, aby nauczyć się wykrywać wzorce pasujące do obrazów pornograficznych.

Będzie to wymagało określenia, jak nagi mężczyzna / kobieta muszą wyglądać kontury ludzkiego ciała w formacie cyfrowym (można to osiągnąć w ten sam sposób, w jaki działają algorytmy rozpoznawania obrazu OCR).

Mam nadzieję, że dobrze się bawisz! :-)

Wydaje mi się, że główną przeszkodą jest zdefiniowanie „obrazu porno”. Jeśli możesz to łatwo zdefiniować, prawdopodobnie mógłbyś napisać coś, co by działało. Ale nawet ludzie nie mogą się zgodzić co do tego, czym jest porno. W jaki sposób aplikacja będzie wiedzieć? Moderacja użytkowników to prawdopodobnie najlepszy wybór.

Widziałem aplikację filtrującą w sieci, która filtruje obrazy porno, przepraszam, że nie pamiętam nazwy. Był dość podatny na fałszywe alarmy, ale przez większość czasu działał.

Myślę, że główną sztuczką jest wykrycie „zbyt dużej ilości skóry na zdjęciu :)

Wykrywanie obrazów pornograficznych jest nadal określonym zadaniem AI, które jest jeszcze bardzo teoretyczne.

Zdobądź zbiorową władzę i ludzką inteligencję, dodając przycisk / link „Zgłoś spam / nadużycie”. Lub zatrudnij kilku moderatorów do wykonania tej pracy.

PS Naprawdę zaskoczony, jak wiele osób zadaje pytania zakładając, że oprogramowanie i algorytmy są wszechmocne, nawet nie zastanawiając się, czy to, czego chcą, można zrobić. Czy są przedstawicielami tej nowej rasy programistów, którzy nie rozumieją sprzętu, niskopoziomowego programowania i całej tej „magii”?

PS nr 2. Pamiętam też, że okresowo zdarza się, że do sądu trafia sytuacja, w której ludzie sami nie mogą zdecydować, czy zdjęcie jest pornografią, czy sztuką. Nawet po orzeczeniu sądu jest szansa, że ​​połowa ludzi uzna tę decyzję za złą. Ostatnia taka głupia sytuacja miała miejsce całkiem niedawno, kiedy strona Wikipedii została zbanowana w Wielkiej Brytanii z powodu okładki płyty CD z nagością.

Dwie opcje, które przychodzą mi do głowy (chociaż żadna z nich nie wykrywa programowo pornografii):

1. Blokuj wszystkie przesłane obrazy, dopóki jeden z administratorów ich nie obejrzy. Nie ma powodu, dla którego miałoby to zająć dużo czasu: możesz napisać oprogramowanie, które wyświetla 10 obrazów na sekundę, prawie jak film - nawet przy tej szybkości człowiek może łatwo zauważyć potencjalnie pornograficzny obraz. Następnie przewijasz do tyłu w tym oprogramowaniu i przyjrzyj się bliżej.
2. Dodaj zwykłą opcję „oznacz ten obraz jako nieodpowiedni”.

BrightCloud serwis internetowy API jest idealny do tego. Jest to interfejs API REST do wyszukiwania witryn internetowych w ten sposób. Zawiera bardzo dużą i bardzo dokładną bazę danych do filtrowania sieci, a jedna z kategorii, dla dorosłych, ma ponad 10 milionów witryn pornograficznych!

Słyszałem o narzędziach, które wykorzystywały bardzo prosty, ale dość skuteczny algorytm. Algorytm obliczył względną liczbę pikseli z wartością koloru zbliżoną do niektórych wstępnie zdefiniowanych kolorów „karnacji”. Jeśli ta kwota jest wyższa niż pewna z góry określona wartość, wówczas obraz uznaje się za zawierający treści erotyczne / pornograficzne. Oczywiście ten algorytm da fałszywie pozytywne wyniki w przypadku zbliżeń twarzy i wielu innych rzeczy.
Ponieważ piszesz o sieciach społecznościowych, będzie dużo "normalnych" zdjęć z dużą ilością koloru skóry, więc nie powinieneś używać tego algorytmu do odrzucania wszystkich zdjęć z wynikiem pozytywnym. Ale możesz go użyć, aby zapewnić pomoc moderatorom, na przykład oznaczyć te zdjęcia z wyższym priorytetem,

Ten wygląda obiecująco. Zasadniczo wykrywają skórę (z kalibracją poprzez rozpoznawanie twarzy) i określają „ścieżki skóry” (tj. Mierzą proporcję pikseli skóry do pikseli skóry twarzy / pikseli skóry). Ma to przyzwoitą wydajność. http://www.prip.tuwien.ac.at/people/julian/skin-detection

Spójrz na nazwę pliku i wszelkie atrybuty. Nie ma wystarczającej ilości informacji, aby wykryć nawet 20% niegrzecznych obrazów, ale prosta czarna lista słów kluczowych mogłaby przynajmniej wykryć obrazy z opisowymi etykietami lub metadanymi. 20 minut kodowania zapewniającego 20% wskaźnik sukcesu nie jest złym interesem, zwłaszcza jako ekran wstępny, który może przynajmniej złapać kilka prostych, zanim przekażesz resztę moderatorowi do oceny.

Inną przydatną sztuczką jest oczywiście odwrotność: utrzymuj białą listę źródeł obrazów, aby zezwalać bez umiaru lub sprawdzania. Jeśli większość twoich obrazów pochodzi od znanych bezpiecznych uploaderów lub źródeł, możesz je po prostu zaakceptować.

Nie będę dziś próbował dalej definiować rodzajów materiałów, które, jak rozumiem, powinny być zawarte w tym skróconym opisie [„twarda pornografia”]; i być może nigdy nie udałoby mi się to w zrozumiały sposób. Ale wiem to, kiedy to widzę, a film, którego dotyczy ten przypadek, nie jest tym.

- Sędzia Sądu Najwyższego Stanów Zjednoczonych Potter Stewart, 1964

W sieci można znaleźć wiele raportów na ten temat.

To nie jest fizyka jądrowa. Nigdy więcej. Jest to bardzo podobne do rozpoznawania twarzy. Myślę, że najłatwiej sobie z tym poradzić dzięki uczeniu maszynowemu. A ponieważ mamy do czynienia z obrazami, mogę wskazać sieci neuronowe, ponieważ wydaje się, że są one preferowane dla obrazów. Będziesz potrzebował danych treningowych. Możesz znaleźć mnóstwo danych treningowych w Internecie, ale musisz przyciąć obrazy do określonej części, którą algorytm ma wykryć. Oczywiście będziesz musiał rozbić problem na różne części ciała, które chcesz wykryć i utworzyć dane treningowe dla każdej z nich, i wtedy sytuacja staje się zabawna.

Jak powiedział ktoś powyżej, nie da się tego zrobić w 100%. Będą przypadki, w których takie algorytmy zawiodą. Rzeczywista precyzja zostanie określona przez twoje dane treningowe, strukturę twoich sieci neuronowych i to, jak zdecydujesz się zgrupować dane treningowe (penisy, pochwy, piersi itp. Oraz ich kombinacje). W każdym razie jestem przekonany, że można to osiągnąć z dużą dokładnością w przypadku wyraźnych zdjęć pornograficznych.

To jest wykrywacz nagości. Nie próbowałem tego. To jedyny OSS, jaki udało mi się znaleźć.

https://code.google.com/p/nudetech

Nie ma sposobu, abyś mógł to zrobić w 100% (powiedziałbym, że może 1-5% byłoby prawdopodobne) przy dzisiejszej wiedzy. Uzyskasz znacznie lepszy wynik (niż te 1-5%) po prostu sprawdzając nazwy obrazów pod kątem słów związanych z płcią :).

@SO Troll: To prawda.