Могут быть вирусы на рутрекере
Обновлено: 07.05.2024
Любая деятельность генерирует данные. Чем бы вы ни занимались, у вас наверняка на руках кладезь необработаной полезной информации, ну или хотя бы доступ к его источнику.
Сегодня побеждает тот, кто принимает решения, основываясь на объективных данных. Навыки аналитика как никогда актуальны, а наличие под рукой необходимых для этого инструментов позволяет всегда быть на шаг впереди. Это и является подспорьем появления данной статьи.
У вас есть свой бизнес? Или может… хотя, не важно. Сам процесс добычи данных бесконечен и увлекателен. И даже просто хорошо покопавшись в интернете можно найти себе поле для деятельности.
Что она может рассказать владельцам рутрекера? А непосредственным пособникам пиратства в интернете? Или обычному юзеру, увлекающемуся аниме, например?
Понимаете о чем я?
Я не поддерживаю пиратство в интернете и против него. Прибегаю к использованию торрентов только в случае скачивания open source продуктов.
Выбор данной темы вызван исключительно интересом к аналитике и big data.
Стэк – R, Clickhouse, Dataiku
Любая аналитика проходит несколько основных этапов: извлечение данных, их подготовка и изучение данных (визуализация). Для каждого этапа — свой инструмент. Потому сегодняшний стэк:
- R. Да, непопулярный и уступает Python. Но до того же чистый и приятный со своим dplyr и ggplot2. Он рожден для аналитики и не пользоваться этим – преступление.
- Clickhouse. Колоночная аналитическая СУБД. Наверняка слышали: “clickhouse не тормозит” или “скорость на грани фантастики”. Народ не врет, и мы в этом убедимся. В ответе за моментальность.
- Dataiku. Платформа для обработки, визуализации и прогнозного анализа бизнес-данных.
Ревью: Dataiku работает на линуксе и маке. Доступна бесплатная версия с ограничением пользователей до 3 человек. Документация тут.
Big Data – big problems
Загрузить такой объем в R Studio – ха! Не вариант. Мы люди простые, ресурсы ограничены.
Значит нужна БД, дабы подключаться и делать запросы через R. Поскольку имеем дело с Big Data, выбираем Clickhouse и … не так быстро, у нас все еще xml–файл. Надо распарсить. И опять упираемся в ресурсы.
Тут на сцену выходит наш сегодняшний дебютант. Импортировать и подготовить такой объем в Dataiku DSS не проблема. Но у нас будет ограничение на отображаемый семпл – 10 000 строк. Просмотреть аналитику также можно только в рамках семпла. Но для парсинга нам достаточно, вполне. Лимит на семпл можно и поднять, документация для корректной работы советует не больше 200 000 строк.
Создаем проект, импортируем дату. Пару минут и сырые данные готовы к предобработке.
Получили данные разных форматов. Самые интересные: колонка content — с описанием каждого торрента в разметке форумного движка и несколько колонок в формате массива json.
Удаляем пока колонку content, для сквозного анализа она будет нам в тягость. Но к ней мы еще вернемся – там есть где закопаться.
Создаем recipe — правила предобработки. Из соответствующих колонок достаем информацию о торренте, загружаемом файле и форуме к которому он относится. Благо датайку позволяет нам парсить json массивы.
Форматируем дату регистрации торрента. Отмечу, ни строчки кода еще не написано, и это огромный + для dataiku.
Запускаем наш recipe, ждем полчаса — на выходе все красиво.
Забираем csv с чистой датой и импортируем в Clickhouse.
Простота и фантастическая скорость
Давайте протестируем Clickhouse и охватим наконец все 15 лет существования rutracker-a.
Сколько же торрентов в нашей базе?
Итого 1.5 млн торрентов и 25 млн строк. За 0.3 с! Попробуем запрос посложнее и понаблюдаем за скоростью.
Посмотрим, к примеру, сколько книжек нам доступно для скачивания.
300 тыс — читать не перечитать! Но согласитесь, там есть дубли. Раз уж на то пошло узнаем их суммарный вес.
Итог – мы охватили 25 млн строк менее чем за пол секунды. Приятно, не правда ли?
Добыча данных в R
Продолжим добывать данные уже в R. Подключим библиотеки, в часности DBI (для работы с БД). И установим соединение с Clickhouse.
Все, можно делать запросы и сразу же визуализировать. А благодаря dplyr можем легко обойтись и без переменных.
Количество файлов последние года очевидно возрастает, при том что количество торрентов остается практически на одном уровне. Это значит, что на один торрент приходится все больше возможных расширений.
Пролить свет на данную картину нам поможет статистика ТОПа расширений за весь период.
И вот ответ. Очень существенно возросло количество картинок в торрентах. Они и влияют на рост количества файлов.
Давайте погуляем по разделам rutracker-a. Узнаем их суммарный вес и количество торрентов внутри.
Топ увесистых разделов вполне понятен и логичен. А вот антилидеры — Мобильные устройства и Иностранные языки — вероятно на торрентах умирают. Взглянув на распределение количества торрентов, мы в этом убедимся. Тут же, рядом расположился и раздел с Apple.
Уяснив ранее, что торренты с годами не умирают, у вас вероятно возник вопрос: а как же тогда время влияет на понятие торрент-трекера.
Тут мы можем использовать агрегацию по разделам и просмотреть тенденции за ~15 лет.
Кино-пиратство на торрентах умирает — это факт. С ним за руку — Apple и мобильные устройства, которых почти и не видно.
При этом в последнее время явно возрастает количество игр и сериалов. Вероятно эта тенденция будет сохраняться.
Сразу бросается в глаза всплеск активности в 2017 году. (ред. В мае того года на GitHub было выложено приложение для борьбы с попытками российских властей замедлять скорость скачивания файлов). А вот блокировка сайта в 2016 году отнюдь не очевидна, т.к существенно не повлияла на активность добавления торрентов.
Закопаться можно и хочется в любую из найденных выше закономерностей. Добывать данные можно до бесконечности. А писать и читать статью – нет.
Давайте еще немного поиграем, вернем весьма информативную колонку content и посмотрим, что нам расскажут данные, к примеру, об аниме за последние 15 лет.
Её величество Dataiku
Создаем новую ветку, оставляем все видео файлы касательно аниме и парсим колонку с описанием торрентов: вытягиваем режиссера, страну, жанр, продолжительность и год выхода анимешки.
Отфильтруем картинки, субтитры и инфо-файлы. Также поднимем лимит отображаемого семпла. Пару кликов – все красиво.
Предлагаю взглянуть на года выхода наших анимешек и в тоже время потрогать удобнейшую функцию датайку – внутриколоночную аналитику.
Платформа также позволяет моментально визуализировать данные. И при этом, напомню, никакого кода. Просто выбираем нужные фильтры.
К примеру, агрегируем Японию и возьмем топ самых продуктивных режиссеров. Получаем тепловую карту их активности простым перетаскиванием переменных.
К чему я веду, dataiku — отличный инструмент для аналитика любого уровня. Импорт, подготовка, анализ и визуализация данных реализуется как кодом (R, Python), так и кликаньем мышки. Но это уже совсем другая история и отличная тема для следующей статьи.
А пока, возвращаясь к RuTracker, констатируем: торренты не умирают, даже в условиях блокировок. Сама же база раздач невероятно емкая и может ответить еще не на один вопрос. Могу пообещать сделать больше аналитики, при проявленном интересе. Предлагайте свои гипотезы в комментариях.
UPD: В ответ на один из комментариев, опишу детальнее этап формирования recipe в dataiku.
Условно, приведенный в данной статье recipe, можно разделить на две части: подготовка данных для анализа в R и подготовка данных об аниме для анализа непосредственно на платформе.
Состоит из блоков парсинга json-колонок и даты.
Блоки однотипны. Задаем колонку из которой нужно достать переменную и ее название.
Парсим и форматируем timestamp указав удобный формат.
Этап в основном состоит из фильтров, нацеленных на отбор только видео файлов, связанных с аниме. Также он содержит блок парсинга колонки content — Descr_Data.
С помощью regexp достаем данные о режиссере, стране, жанре, продолжительности и дате выхода аниме. Отмечу, что синтаксис regexp в dataiku немного специфичный и к нему нужно приловчиться.
Когда-то для того, чтобы переписываться с друзьями, слушать музыку или смотреть кино, требовались отдельные программы. Сейчас большинство задач можно решить в браузере. Чем больше данных люди передают через браузер, тем больший интерес он представляет для злоумышленников. Вмешаться в работу браузера можно разными способами. Один из них — вредоносные браузерные расширения.
Что такое расширения
Расширения — это программы-модули, которые подключаются к браузеру и расширяют (отсюда и название) его возможности. С их помощью каждый может добавить в браузер те функции, которые нужны именно ему: например, блокировку неприятной рекламы, автоматический перевод текста на веб-страницах, ночной режим просмотра сайтов или экранную клавиатуру с эмодзи.
В чём опасность
Расширения привлекают злоумышленников по нескольким причинам. Во-первых, у них широкие полномочия. Расширения имеют доступ к данным, которыми обмениваются пользователь и сайт, могут влиять на отображение страниц и менять интерфейс браузера: добавлять новые кнопки, панели или закладки. Во-вторых, расширения живут внутри браузера: их установка никак не сказывается на операционной системе компьютера. Поэтому если с расширением что-то не так, вовсе не факт, что на это отреагирует обычная система антивирусной защиты.
Расширения, созданные злоумышленниками, проявляют себя по-разному. Иногда их действия просто неприятны, а иногда представляют непосредственную угрозу для пользователя. Самое распространённое поведение — это:
Подмена контента. Расширение изменяет содержимое веб-страницы. Злоумышленники могут заменить баннеры на популярных ресурсах или добавить на сайт дополнительные рекламные блоки — на этом можно неплохо заработать.
Вторжение в интерфейс браузера. Расширение изменяет главную страницу или добавляет в закладки сайты, на которых человек никогда не был. Таким способом недобросовестные разработчики накручивают посещаемость своих ресурсов.
Слежка. Расширение собирает данные о действиях человека: например, на какие страницы он заходит. Эту информацию можно использовать для показа рекламы. Некоторые расширения перехватывают данные из форм на веб-страницах.
Активность в соцсетях. Расширение публикует посты от имени пользователя или ставит лайки под сомнительными публикациями. Зачастую жертва не замечает этого, пока ей не сообщают внимательные друзья. Не очень внимательные переходят по ссылкам в постах и тоже становятся распространителями спама.
Расширения могут выполнять сразу несколько нежелательных действий сразу. Некоторые умеют менять поведение, подчиняясь командам, которые отдают злоумышленники. Например, сегодня такое расширение может накручивать клики по рекламным объявлениям мошенников, а завтра — собирать данные о пользователях.
Распространение
Полезные расширения распространяются через магазины. Так называют каталоги, где собраны расширения от разных разработчиков. Как правило, каталогом управляет компания, выпустившая браузер. У магазинов есть системы проверки, которые блокируют нежелательные и вредоносные расширения. Поэтому мошенники продвигают свои программы окольными путями — например:
Иногда в комплекте с загружаемым файлом идёт программа-установщик. Она протаскивает в браузер целый набор нежелательных расширений. Избавиться от них трудно — после удаления и перезагрузки компьютера они появляются снова.
В нагрузку к полезному контенту мошенники дают не только расширения и установщики, но и другой нежелательный и даже опасный софт: трояны, приложения для накрутки кликов, программы для доставки рекламы.
Яндекс.Браузер умеет предупреждать пользователей о сайтах, распространяющих нежелательные программы. Предупреждение показывается заранее — до того, как компьютеру может быть нанесён вред. В 2016 году Браузер выдал 137 млн предупреждений, которые увидели более 15 млн человек.
Обманом — нежелательная программа выдаётся за полезную. В таких случаях мошенники утверждают, что их софт предоставляет пользователю ту или иную нужную возможность. Здесь возможны варианты: либо в дополнение к полезной функции программа обладает одной или несколькими неполезными, либо расширение даже не пытается делать то, что было обещано в описании.
Подобные программы часто распространяют через соцсети. Например, человек натыкается в Facebook на ролик с ярким описанием, но при попытке запустить видео ему говорят, что для просмотра нужен специальный видеоплеер.
Шантажом — пользователя вынуждают поставить расширение. Человек попадает на мошеннический сайт и не может его покинуть. При попытке закрыть вкладку ему сообщают, что это можно сделать только после установки дополнительной программы. Понятно, что от неё не стоит ждать ничего хорошего.
Как защитить себя
Расширения — часть экосистемы браузера. Многие из них сильно упрощают жизнь, поэтому отказываться от расширений только из-за риска встретить злоумышленников не стоит. Чтобы обезопасить пользователей от нежелательных программ, в Яндекс.Браузере предусмотрено несколько механизмов защиты. Все они — часть комплексной системы Protect, встроенной в Браузер.
Во-вторых, Браузер проверяет все файлы, которые загружает пользователь. Проверка выполняется в момент, когда файл загружен, но ещё не начал исполняться. Браузер изучает файл и его происхождение и выявляет характерные для него свойства — у каждого файла их более двухсот. Эти свойства анализирует система безопасности, основанная на машинном обучении. Она делает вывод о том, опасен файл или нет. Если есть угроза, файл блокируется. Каждый месяц через систему проходят более пяти миллионов уникальных файлов.
Очень приятный сайт. Почти всегда в наличии нужный фильмы, и полезные программы. Много аудиокниг. А главное, нет вероятность подцепить на компьютер какую нибудь вирусную гадость. Так же из бонусов полезные обычно отзывы.
Рутрекер.орг - торрент трекер, это значит сайт где лежат торрент-файлы для скачивания контента с помощью BitTorrent-клиентов.
Почему это удобнее чем прямое скачивание? Потому что при идеальных условиях скачивать можно с предельной возможной скоростью которую позволяет развить оборудование и скорость интернета.
Почему рутрекер один из лучших трекеров? Хотя бы потому что это один из самых старых трекеров рунета. Хотя тут целый комплекс факторов - и мало рекламы, и не помойка, и всегда нормальная скорость скачивания, и форум полезный, там даже есть своя база знаний по теме технологий титторрент с ответами на распространенные вопросы типа "как это работает?", "как настроить роутер" и "какой клиент лучше?"
Почему при переходе на рутрекер говорят что он заблокирован? Потому, что он заблокирован по требованию роскомнадзора.
Почему такой полезный трекер с качественным контентом заблокирован? Именно потому, что на нем очень много качественного контента.
Как же пользоваться рутрекером если он заблокирован? Вариантов масса о некоторых из них можно почитать тут. Лично я рекомендую расширение для браузера.
Можно ли заразить ПК вирусом качая с рутрекера? Да, такая опасность есть - раздачи создают пользователи и среди пользователей могут найтись люди по не знанию или специально распространяющие вредоносов. Однако сообщество трекера бриться и с сорным контентом и с пользователями распространяющих вредоносов. Рутрекер не помойка, шанс получить зловреда на рутрекере гораздо ниже чем на других трекерах.
А это вообще законно? Пока (2018 год) посещение заблокированных сайтов законом не запрещено.
По мимо огромного количества "халявы" на рутрекере есть огромное количество почти уникального контента который взять больше и негде.
Выбираю любой фильм, качаю его. И скачивается именно этот фильм!
Rutracker! Где мои видосы про террористов, зараженных вирусами и пропагандирующие наркотики?
Это что за фигня такая вообще?! Весь вечер блин на смарку!
Тоже хотел скачать фильм про вирус-бомбу из гашиша, но скачал только "Люди в черном", где мое кино?
Ну так это вопрос не к рутрекеру, а к НТВ.
Внезапно
Познакомился с девушкой, пригласил на свидание.
Сидим, она говорит о себе, обо мне, и я на автомате азбукой Морзе по столу сказал: "Милая".
Она посмотрела на меня и отбила: "Ты тоже".
В Москве! Девушка! Морзе!
Ушиб всей бабки.
Свидание
Шоколадная девочка
Пикабу настолько заполнен двойными стандартами, что даже у модераторов подгорает
Про намёки
С нетерпением ждем, когда в отношении Галкина будет возбуждено дело о распространении ложной информации о действиях ВС РФ
Когда фанатка подарила Джонни Деппу мягкую игрушку, а охрана пыталась ее у него отобрать
Как такое пережить?
Посмотрел этот ролик. В шоке просто. Тут на ум только одно приходит - давить до конца!
Спасибо за ещё одну причину переехать в Москву. в центр.
Какой-то Азиатский чувак пришел забрать документы на немецкое гражданство. Вот как он был одет
Ну надо так надо.
Мастер маскировки
В помощь диванным ПВО войскам
Компактный набор фильтрации информации и борьбы с фейками:
Но теперь ты знаешь как
Когда Европа решила покупать газ за свою цену
Спасибо всем огромное.
Ровно 3 месяца назад не стало моей жены. И я в порыве отчаяния запилил пост с вопросом как сказать об этом детям.
Я получил множество советов и огромное количество слов поддержки.
Сейчас не стало легче. Да и вряд ли станет. Но мы стараемся справляться и жить дальше. Мы друг друга отвлекаем от грустных мыслей и веселим. Мне кажется не будь у меня детей я бы уже сошел с ума.
Самое тяжелое оказалось это "чек поинты": тут мы гуляли, тут кофе пили, тут я предложение сделал, это ее любимая песня и т.д. И в такие моменты бывают срывы, слезы. Но кажется если иногда не давать волю эмоциям можно просто взорваться.
Ладно о грустном, я к чему это.
Ребят, спасибо всем огромное! Правда. Вот те ваши буквы в моем смартфоне - это так ценно. Это невероятно приятно, что так много незнакомых мне людей меня поддержали в тяжелую минуту.
Мы тут стресс снимаем выпечкой с детьми. Ловите вкусняшки)))
Читайте также: