Анализ Дартмута показал, что неспециалисты, которые ответили на интернет-опрос, выполненный одинаково хорошо как система программного обеспечения Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), используемая судами, чтобы помочь определить риск рецидивизма.Бумага также демонстрирует, что, хотя COMPAS использует более чем сто сведений, чтобы сделать предсказание, тот же самый уровень точности может быть достигнут только с двумя переменными – возраст ответчика и количество предшествующих убеждений.Согласно научно-исследовательской работе, COMPAS использовался, чтобы оценить более чем один миллион преступников, так как это было развито в 1998 с его компонентом предсказания рецидивизма в использовании с 2000.
Анализ, изданный в журнале Science Advances, был выполнен исследовательской группой студенческой способности Джулии Дрессель и Хэни Фарида.«Это беспокоит тот нетренированный Интернет, который могут выполнить рабочие, а также компьютерная программа раньше принимала изменяющие жизнь решения относительно обвиняемых», сказал Фарид, профессор третьего века Альберта Брэдли 1915 года Информатики в Дартмутском колледже. «Использование такого программного обеспечения не может делать ничего, чтобы помочь людям, которым могли отказать во втором шансе алгоритмы черного ящика».
Согласно бумаге, программные средства используются в до суда, досрочном условном освобождении и решениях приговора предсказать преступное поведение, включая то, кто, вероятно, появится не на судебном слушании и кто, вероятно, повторно нарушит в какой-то момент в будущем. Сторонники таких систем утверждают, что большие данные и передовое машинное обучение делают эти исследования более точными и менее предубежденными, чем предсказания сделанный людьми.«Заявления, что скрытные и на вид современные инструменты данных более точны и справедливы, чем люди, просто не поддержаны нашими результатами исследования», сказал Дрессель, который выполнил исследование как часть ее студенческого тезиса в информатике в Дартмуте.Научно-исследовательская работа сравнивает коммерческое программное обеспечение COMPAS с рабочими, законтрактованными через краудсорсинговый рынок Mechanical Turk Amazon онлайн, чтобы видеть, какой подход более точен и справедлив, судя возможность рецидивизма.
В целях исследования рецидивизм был определен как совершение проступка или уголовного преступления в течение двух лет после последнего ареста ответчика.Группы интернет-рабочих видели краткие описания, которые включали пол ответчика, возраст и предыдущую преступную историю. Человеческие результаты были тогда по сравнению с результатами системы COMPAS, которая использует 137 переменных для каждого человека.Полная точность была основана на уровне, по которому ответчик был правильно предсказан к recidivate или нет.
Исследование также сообщило о ложных положительных сторонах – когда ответчик предсказан к recidivate, но не делает – и ложные отрицательные стороны – когда ответчик предсказан не к recidivate, но делает.Со значительно меньшей информацией, чем COMPAS – семь особенностей по сравнению с 137 – когда результаты были объединены, чтобы определить «мудрость толпы», люди без предполагаемого опыта уголовного судопроизводства были точны в 67 процентах представленных случаев, статистически то же самое как точность на 65,2 процентов COMPAS.
Изучите участников, и COMPAS согласились для 69,2 процентов 1 000 ответчиков, предсказывая, кто повторит их преступления.Согласно исследованию, вопрос точного предсказания рецидивизма не ограничен COMPAS.
Отдельный обзор, процитированный в исследовании, показал, что восемь из девяти программ не сделали точные предсказания.«Все использование инструментов предсказания рецидивизма в залах суда должно быть подвергнуто сомнению», сказал Дрессель. «Наряду с предыдущей работой над справедливостью алгоритмов уголовного судопроизводства, эти объединенные результаты бросают значительное сомнение на всем усилии по предсказанию рецидивизма».В отличие от других исследований, которые сосредотачиваются на том, оказывают ли на алгоритмы в расовом отношении влияние, исследование Дартмута рассматривает более основную проблему того, является ли алгоритм COMPAS немного лучше, чем нетренированные люди при предсказании рецидивизма точным и справедливым способом.Однако то, когда гонку рассмотрели, исследование нашло, что следует и из человеческих ответчиков и из программного обеспечения, показало значительные различия между тем, как оценены темнокожие и белые ответчики.
Согласно бумаге, ценно спросить, поместили ли бы мы эти решения в руки нетренированных людей, которые отвечают на интернет-опрос, потому что, в конце, «результаты этих двух подходов, кажется, неразличимы».