Дорвеи Парсинг текста под Пандору

[Amiramus]

И снова привет всем.
Как лучше парсить тексты под дорген Пандора: в один файл или раскидать по разным файлам (каждый тхт с текстами релевантными каждому конкретному ключу?
Или в принципе пофиг?

 

[AlisaK]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

 

[Amiramus]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

X-parser
Спасибо за ответ.
А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

 

[pirate]

Pirate Cards Service - Получите виртуальную карту за считанные секунды. Оплачивайте любые сервисы без ограничений. Наслаждайтесь платежами по всему миру уже сегодня. Анонимно.

Необходимо оплатить подписку/товар или услугу на зарубежном сайте/сервисе? Выпустите виртуальную карту за несколько минут и оплачивайте любые сервисы или услуги безопасно.

Работаете в сфере интернет-рекламы? Наш сервис создан для вас и ваших потребностей. Закажите любое количество карт под ваши нужды.

Собираетесь в путешествие, а банковской карты для поездки нет? Закажите виртуальную карту и привяжите ее к смартфону. Оплачивайте гостиницы, билеты и любые товары без ограничений.

Подробнее о сервисе

 

[rippptop]

Или чем больше тем лучше

текстовки очень много нужно! но тематической!

 

[AlisaK]

А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

вообще ваш первоначальный вопрос был в том что один текстовик на один какой то ключ, а теперь почему то вы решили по одному ключу парсить нн-ое количество статей. это вот и не то к чему надо стремиться, я делаю парсинг скрапбоксом там по умолчанию каждый ключ - свой текстовый файл и всё, пусть там нет логической последовательности, но это же вы делаете под доры и при генерации пандорой вновь будет задействован рандом, так что в итоге лишние манипуляции и не более

 

[AlisaK]

текстовки очень много нужно! но тематической!

сейчас в основном в кулуарах обсуждают не парсинг контента, а его генерацию при помощи тех же нейронных сетей